摘要
数据库管理系统旨在容纳数据,但偶尔也可能需要与另一个DBMS通信。我们访问的外部服务器可能托管了另外的DBMS。随着这样的异构环境变得越来越普遍,用于这些服务器之间的桥梁被建立了。我们将此称为称为“外部数据包装器”(FDW)。 PostgresSQL在2013年发布的9.3的版本中完成了对SQL/MED的支持。 外部数据封装器是由PostgreSQL服务器加载的共享库。它允许在PostgreSQL中创建外部表,作为另一个数据源的代理。
查询外表时,Postgres将请求传递给关联的外部数据封装器。 FDW创建连接并检索或更新外部数据存储中的数据。由于PostgreSQL规划器也涉及所有这个过程,因此当从数据源检索时,它可能执行某些操作,如聚合或连接数据。我将在本文稍后介绍其中一些内容。
wangliyun发布于2019-05-28 08:19:19
评论:1
浏览: 9528
顶: 724
踩: 749
wangliyun发布于2019-05-28 08:19:19
评论:1
浏览: 9528
顶: 724
踩: 749
Visual Studio Code (VSCode)是一个轻量级但功能强大的源代码编辑器,可在桌面上运行,适用于Windows,macOS和Linux。 它内置了对JavaScript,TypeScript和Node.js的支持,并具有丰富的其他语言(如C++,C#,Java,Python,PHP,Go)和运行时(如.NET和Unity)的扩展生态系统。本文介绍如何使用VSCode进行PostgreSQL开发
redraiment发布于2019-05-25 00:01:58
评论:2
浏览: 25094
顶: 928
踩: 946
redraiment发布于2019-05-25 00:01:58
评论:2
浏览: 25094
顶: 928
踩: 946
早在20世纪80年代,得益于像Linux这样的平台,技术世界经历了第一波开源软件浪潮。开源软件在充满活力的开发人员和用户社区的帮助下不断完善和调整,受到了程序员、业余爱好者和其他开源技术支持者的热捧。然而,公司很难想象开源解决方案能够为其执行关键任务的应用程序提供动力。他们对于是否能信任某人在地下室开发的软件深表怀疑。
wangliyun发布于2019-05-21 08:59:16
评论:2
浏览: 6248
顶: 629
踩: 663
wangliyun发布于2019-05-21 08:59:16
评论:2
浏览: 6248
顶: 629
踩: 663
上篇介绍了集群概述、分布式数据存储和分布式查询优化。本篇继续介绍分布式查询执行、分布式事务、数据洗牌和集群管理等方面。
一、分布式执行器
现在有了分布式数据存储机制,也生成了分布式查询计划,下一步是如何在集群里执行分布式计划,最终返回结果给用户。
Greenplum 执行器相关概念
wangliyun发布于2019-05-09 08:25:28
评论:3
浏览: 9969
顶: 888
踩: 806
wangliyun发布于2019-05-09 08:25:28
评论:3
浏览: 9969
顶: 888
踩: 806
一、数据库内核揭秘
Greenplum 是最成熟的开源分布式分析型数据库(今年6月份预计发布的 Greenplum 6 之OLTP性能大幅提升,将成为一款真正的HTAP数据库,评测数据将于近期发布),Gartner 2019 最新评测显示 Greenplum 在经典数据分析领域位列全球第三,在实时数据分析领域位列并列第四。两个领域中前十名中唯一一款开源数据库产品。这意味着如果选择一款基于开源的产品,前十名中别无选择,唯此一款。Gartner 报告原文。
wangliyun发布于2019-05-08 08:35:26
评论:3
浏览: 17857
顶: 769
踩: 923
wangliyun发布于2019-05-08 08:35:26
评论:3
浏览: 17857
顶: 769
踩: 923
这是我的第三份有关哪些人对PostgreSQL开发作出贡献的年度报告。我被要求过多次将谁雇佣了这些贡献者也加入报告内容,但我选择暂不包括这些内容,一方面我无法确保这些信息的准确性,另一方面,我也无法完整列出所有人的相关信息,在2018年有几位作出显著贡献的人员,我甚至不知道他们在哪工作。
wangliyun发布于2019-05-07 08:46:39
评论:2
浏览: 5468
顶: 663
踩: 653
wangliyun发布于2019-05-07 08:46:39
评论:2
浏览: 5468
顶: 663
踩: 653
如果您曾经想知道哪种类型的应用程序是在Kubernetes上运行的最佳候选者,那么扩展的分布式应用程序(如Greenplum)肯定是我们发现的最重要,最适合的应用程序。
我们的项目始于2017年底,目的是调查Greenplum如何从容器和Kubernetes等容器管理平台中获益。此时,Greenplum已经有了使用UDF(用户定义的函数)的SQL查询触发容器(请参阅PL / Container)。这些容器过去和现在仍然可用于以更精细和精确的方式隔离功能和管理资源。我们的下一步是将所有Greenplum转移到容器中。这是一种不自然的行为,一个可以被视为“提升和切换”遗留应用程序的合适解决方案,还是两种类似手套增强技术的结合?
wangliyun发布于2019-05-06 08:51:32
评论:1
浏览: 6775
顶: 705
踩: 699
wangliyun发布于2019-05-06 08:51:32
评论:1
浏览: 6775
顶: 705
踩: 699
我们看到数据库管理系统(DBMS)的容器部署开始飞速增加,离开了炒作阶段并成为主流。 容器化数据库趋势的一个迹象是Postgres,一个著名的开源关系数据库,在调查中被列为Docker容器中运行的第三大最受欢迎的技术。
wangliyun发布于2019-04-29 08:22:10
评论:2
浏览: 6680
顶: 687
踩: 681
wangliyun发布于2019-04-29 08:22:10
评论:2
浏览: 6680
顶: 687
踩: 681
背景
开源软件pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对pg_lightool的代码做了升级,它可以基于一个basebackup和basebackup之后的wal日志完成某个数据表的恢复或者某些page的恢复。项目开源地址:https://gitee.com/movead/pg_lightool。
工具的安装方法在之前的博客里有详细说明,不再赘述。本文主要说明一下pg_lightool新功能的使用方法。新功能的主要应用场景:有基础备份的数据量级比较大的数据库,在发生表或者块数据损坏时,用于损坏数据的快速恢复。
wangliyun发布于2019-04-24 08:57:41
评论:4
浏览: 5470
顶: 745
踩: 716
wangliyun发布于2019-04-24 08:57:41
评论:4
浏览: 5470
顶: 745
踩: 716
作者简介
Naju Mancheril,来自卡耐基梅隆大学。这是一篇介绍在PostgreSQL中应用新型硬件GPU提升排序性能的论文,是当前热门的数据库前沿技术研究领域。原论文名称为《GPU-based Sorting in PostgreSQL》。
译者简介
朱君鹏,华东师范大学博士研究生,个人兴趣主要集中在:新型硬件(GPU、RDMA、FPGA)等在数据库中的应用,架构设计与并行计算。
陈河堆,中兴通讯数据库平台负责人,曾参与和主导公司自研高性能内存数据库、分布式数据库和分布式缓存等系统的开发和设计,目前致力于PostgreSQL数据库的研究和推广。
wangliyun发布于2019-04-22 18:23:54
评论:3
浏览: 6173
顶: 678
踩: 694
wangliyun发布于2019-04-22 18:23:54
评论:3
浏览: 6173
顶: 678
踩: 694
笔者最近发现很多朋友经常遇到PostgreSQL坏块或者数据混乱的情况,网上中文资料比较少,于是整理了一下笔者遇到各种各样的报错以及解决方案
redraiment发布于2019-04-18 13:39:53
评论:2
浏览: 10682
顶: 797
踩: 866
redraiment发布于2019-04-18 13:39:53
评论:2
浏览: 10682
顶: 797
踩: 866
count(*)在PostgreSQL上经常被抱怨执行非常慢。而在一段时间中我收到过很多count(1)比count(*)快的说法,并将这种理解此应用于我的工作中。
redraiment发布于2019-04-17 00:40:19
评论:1
浏览: 11428
顶: 817
踩: 828
redraiment发布于2019-04-17 00:40:19
评论:1
浏览: 11428
顶: 817
踩: 828
ShardingSphere的第一个Apache Release将在近期发布,新版的Sharding-Proxy首次实现了对PostgreSQL的支持,欢迎试用。
redraiment发布于2019-04-16 00:43:25
评论:2
浏览: 8275
顶: 731
踩: 686
redraiment发布于2019-04-16 00:43:25
评论:2
浏览: 8275
顶: 731
踩: 686
近期在互联网媒体上流传PostgreSQL存在任意代码执行的漏洞:“拥有‘pg_read_server_files’权限的攻击者可利用此漏洞具备超级用户权限,执行任意系统命令”。针对此言论,PostgreSQL官方在2019年4月4日发表声明。
redraiment发布于2019-04-12 09:00:56
评论:1
浏览: 6577
顶: 686
踩: 671
redraiment发布于2019-04-12 09:00:56
评论:1
浏览: 6577
顶: 686
踩: 671
自从PostgreSQL 9.4 支持logical级别的WAL后,PostgreSQL可以通过逻辑解码的方式(基于行或语句的logical replication)来解读WAL中的内容。通过slot在从节点解码WAL中的数据变更流进行重演实现数据库的逻辑复制。
redraiment发布于2019-04-10 09:33:03
评论:7
浏览: 17980
顶: 1172
踩: 915
redraiment发布于2019-04-10 09:33:03
评论:7
浏览: 17980
顶: 1172
踩: 915
Walminer工具是一款wal日志的解析工具,它可以从wal日志中解析出用户执行的DML语句,以及用户执行DDL语句对系统表产生的DML语句。它的前身是xlogminer,但是xlogminer有较大的限制,比如wal日志级别需要是logical、需要将表改为FULL模式。Walminer则不需要这些限制,它可以解析普通的archive或replica级别以上的wal日志。
redraiment发布于2019-04-01 17:14:00
评论:7
浏览: 9934
顶: 847
踩: 783
redraiment发布于2019-04-01 17:14:00
评论:7
浏览: 9934
顶: 847
踩: 783
PostgreSQL 11 版本在并行方面得到增强,例如支持并行创建索引、并行Hash Join、并行 `CREATE TABLE .. AS`等,本文先介绍并行创建索引。
PostgreSQL 11 版本并行创建索引仅支持 B-tree 索引,其它类型索引现阶段不支持并行创建。
redraiment发布于2019-03-28 23:33:27
评论:1
浏览: 6987
顶: 680
踩: 1019
redraiment发布于2019-03-28 23:33:27
评论:1
浏览: 6987
顶: 680
踩: 1019
PostgreSQL并未有闪回和数据误删除保护的功能,但是在一些场景下也可以实现。
redraiment发布于2019-03-28 11:33:57
评论:3
浏览: 6853
顶: 485
踩: 503
redraiment发布于2019-03-28 11:33:57
评论:3
浏览: 6853
顶: 485
踩: 503
近期遇到一个案例,一个分析型应用的DB在早上的时候出现OOM,OS kill用户进程,数据库进入recovery,几十秒后数据库恢复。
redraiment发布于2019-03-19 08:30:29
评论:2
浏览: 6390
顶: 669
踩: 685
redraiment发布于2019-03-19 08:30:29
评论:2
浏览: 6390
顶: 669
踩: 685
PostgreSQL 11 版本一个重量级新特性是对存储过程的支持,同时支持存储过程嵌入事务,存储过程是很多 PostgreSQL 从业者期待已久的特性,尤其是很多从Oracle转到PostgreSQL朋友,尽管PostgreSQL提供函数可以实现大多数存储过程的功能,但在函数中无法执行事务实现部分提交,换句话说,函数中的SQL要么都执行成功,要不全部返回失败。
PostgreSQL 11 版本对存储过程的支持,从兼容层面考虑和Oracle的兼容性进一步增强,本文演示下PostgreSQL存储过程的创建和调用,并且演示存储过程支持嵌入事务样例。
redraiment发布于2019-03-12 08:57:57
评论:5
浏览: 8746
顶: 811
踩: 719
redraiment发布于2019-03-12 08:57:57
评论:5
浏览: 8746
顶: 811
踩: 719
本页更新于: