强人随笔EcoX-PostgreSQL高可用集群最佳实践

EcoX数据库高可用集群管理系统软件,该软件包含数据库高可用、读写分离、负载均衡、连接池等功能,能够保证业务7*24小时连续运行,保护业务最大可用性。其特点如下: 基于可靠的ZAB协议传递消息和控制指令,确保系统准确无误运行和执行指定的命令。 采用集群仲裁机制,防止单点故障和误操作。 单套ECOX集群能够管理成百上千个PostgreSQL集群,帮助企业和运维人员提高效率,简化运维难度。

wangliyun 发布于 2019-06-21 08:36:11
评论:0   浏览:189
顶:2   踩:4

强人随笔PostgreSQL的clog—从事务回滚速度谈起

如果是之前学习别的数据库的人,看PostgreSQL会感觉到有句话非常奇怪:“PostgreSQL的回滚是立即完成的,不会受到事务大小本身的影响”。

wangliyun 发布于 2019-06-19 08:05:11
评论:0   浏览:174
顶:5   踩:6

强人随笔PostgreSQL变更事件捕获 (CDC)

数据库在本质上是一个状态集合,任何对数据库的变更(增删改)本质上都是对状态的修改。 在实际生产中,我们经常需要把数据库的状态同步到其他地方去,例如同步到数据仓库进行分析,同步到消息队列供下游消费,同步到缓存以加速查询。总的来说,搬运状态有两大类方法:ETL与CDC。

wangliyun 发布于 2019-06-18 09:06:15
评论:0   浏览:138
顶:4   踩:5

强人随笔pgrouting图关系插件在存储配置管理系统的应用

作者简介: 帅宇,资深DBA,从事Oracle数据库管理和SQL开发超过15年,3年+PG数据库开发经验,擅长数据库建模设计,SQL开发,SQL性能调优。现就职于平安科技数据库技术部,云数据库架构师,负责平安云数据库产品配置管理系统设计和后台SQL开发。 1.RDS的图之尴尬 图是一种应用广泛但比较复杂的数据结构。但传统的关系型数据库很难处理图的一些问题,例如求最短路径。让我们看一个简单的例子:

wangliyun 发布于 2019-06-15 08:56:34
评论:0   浏览:167
顶:6   踩:7

强人随笔增加索引真能提升查询性能吗?

众所周知,当创建一个新的索引之后,数据的修改操作会变慢并且该索引会占据一定的磁盘存储空间,这是我们创建一个新索引必须付出的代价。这也是为什么你需要尝试没有创建多余索引的原因。

wangliyun 发布于 2019-06-14 09:08:32
评论:0   浏览:190
顶:7   踩:6

强人随笔PostgreSQL的Tuple内幕探索

PostgreSQL的堆表由多个页组成。业内结构如上图所示(代码readme中),由5部分构成,如下。 模块 描述 页头 24字节长,包含页内的总体信息与空闲空间的位置。 行指针 每个行指针占4个字节,由两项信息构成(offset,length) ,指向实际的Tuple数据。 空闲空间 页内未分配的空间,如果FreeSpace剩下的空间放不下一个元组,那么该页就是满了。新的行指针从空闲空间的头部开始分配,相应的Tuple数据从空闲空间的尾部开始分配。 Tuple 实际的Tuple数据 特殊空间 如果是索引页,那么根据索引类型的不同存储的数据也不同。

wangliyun 发布于 2019-06-12 08:05:46
评论:0   浏览:234
顶:11   踩:12

强人随笔PostgreSQL 使用clickhousedb_fdw插件访问ClickHouse

摘要 数据库管理系统旨在容纳数据,但偶尔也可能需要与另一个DBMS通信。我们访问的外部服务器可能托管了另外的DBMS。随着这样的异构环境变得越来越普遍,用于这些服务器之间的桥梁被建立了。我们将此称为称为“外部数据包装器”(FDW)。 PostgresSQL在2013年发布的9.3的版本中完成了对SQL/MED的支持。 外部数据封装器是由PostgreSQL服务器加载的共享库。它允许在PostgreSQL中创建外部表,作为另一个数据源的代理。 查询外表时,Postgres将请求传递给关联的外部数据封装器。 FDW创建连接并检索或更新外部数据存储中的数据。由于PostgreSQL规划器也涉及所有这个过程,因此当从数据源检索时,它可能执行某些操作,如聚合或连接数据。我将在本文稍后介绍其中一些内容。

wangliyun 发布于 2019-05-28 08:19:19
评论:0   浏览:386
顶:23   踩:22

强人随笔如何使用VSCode进行PostgreSQL开发及调试

Visual Studio Code (VSCode)是一个轻量级但功能强大的源代码编辑器,可在桌面上运行,适用于Windows,macOS和Linux。 它内置了对JavaScript,TypeScript和Node.js的支持,并具有丰富的其他语言(如C++,C#,Java,Python,PHP,Go)和运行时(如.NET和Unity)的扩展生态系统。本文介绍如何使用VSCode进行PostgreSQL开发

redraiment 发布于 2019-05-25 00:01:58
评论:0   浏览:675
顶:26   踩:22

强人随笔为什么你应当选择PostgreSQL而不是Oracle?

早在20世纪80年代,得益于像Linux这样的平台,技术世界经历了第一波开源软件浪潮。开源软件在充满活力的开发人员和用户社区的帮助下不断完善和调整,受到了程序员、业余爱好者和其他开源技术支持者的热捧。然而,公司很难想象开源解决方案能够为其执行关键任务的应用程序提供动力。他们对于是否能信任某人在地下室开发的软件深表怀疑。

wangliyun 发布于 2019-05-21 08:59:16
评论:0   浏览:944
顶:27   踩:23

强人随笔Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(下篇)

上篇介绍了集群概述、分布式数据存储和分布式查询优化。本篇继续介绍分布式查询执行、分布式事务、数据洗牌和集群管理等方面。 一、分布式执行器 现在有了分布式数据存储机制,也生成了分布式查询计划,下一步是如何在集群里执行分布式计划,最终返回结果给用户。 Greenplum 执行器相关概念

wangliyun 发布于 2019-05-09 08:25:28
评论:0   浏览:868
顶:45   踩:46

强人随笔Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(上篇)

一、数据库内核揭秘 Greenplum 是最成熟的开源分布式分析型数据库(今年6月份预计发布的 Greenplum 6 之OLTP性能大幅提升,将成为一款真正的HTAP数据库,评测数据将于近期发布),Gartner 2019 最新评测显示 Greenplum 在经典数据分析领域位列全球第三,在实时数据分析领域位列并列第四。两个领域中前十名中唯一一款开源数据库产品。这意味着如果选择一款基于开源的产品,前十名中别无选择,唯此一款。Gartner 报告原文。

wangliyun 发布于 2019-05-08 08:35:26
评论:0   浏览:1191
顶:38   踩:30

强人随笔哪些人在2018年度对PostgreSQL作出了贡献?

这是我的第三份有关哪些人对PostgreSQL开发作出贡献的年度报告。我被要求过多次将谁雇佣了这些贡献者也加入报告内容,但我选择暂不包括这些内容,一方面我无法确保这些信息的准确性,另一方面,我也无法完整列出所有人的相关信息,在2018年有几位作出显著贡献的人员,我甚至不知道他们在哪工作。

wangliyun 发布于 2019-05-07 08:46:39
评论:0   浏览:472
顶:33   踩:38

强人随笔如何将一个大规模并行的PostgreSQL数据库移植到Kubernetes上?

如果您曾经想知道哪种类型的应用程序是在Kubernetes上运行的最佳候选者,那么扩展的分布式应用程序(如Greenplum)肯定是我们发现的最重要,最适合的应用程序。 我们的项目始于2017年底,目的是调查Greenplum如何从容器和Kubernetes等容器管理平台中获益。此时,Greenplum已经有了使用UDF(用户定义的函数)的SQL查询触发容器(请参阅PL / Container)。这些容器过去和现在仍然可用于以更精细和精确的方式隔离功能和管理资源。我们的下一步是将所有Greenplum转移到容器中。这是一种不自然的行为,一个可以被视为“提升和切换”遗留应用程序的合适解决方案,还是两种类似手套增强技术的结合?

wangliyun 发布于 2019-05-06 08:51:32
评论:0   浏览:628
顶:36   踩:37

强人随笔对于容器中的数据库和PostgreSQL需要知道的11件事

我们看到数据库管理系统(DBMS)的容器部署开始飞速增加,离开了炒作阶段并成为主流。 容器化数据库趋势的一个迹象是Postgres,一个著名的开源关系数据库,在调查中被列为Docker容器中运行的第三大最受欢迎的技术。

wangliyun 发布于 2019-04-29 08:22:10
评论:0   浏览:578
顶:40   踩:39

强人随笔pg_lightool基于basebackup的单表恢复和块恢复

背景 开源软件pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对pg_lightool的代码做了升级,它可以基于一个basebackup和basebackup之后的wal日志完成某个数据表的恢复或者某些page的恢复。项目开源地址:https://gitee.com/movead/pg_lightool。 工具的安装方法在之前的博客里有详细说明,不再赘述。本文主要说明一下pg_lightool新功能的使用方法。新功能的主要应用场景:有基础备份的数据量级比较大的数据库,在发生表或者块数据损坏时,用于损坏数据的快速恢复。

wangliyun 发布于 2019-04-24 08:57:41
评论:0   浏览:520
顶:47   踩:47

强人随笔新型硬件GPU在PostgreSQL的应用

作者简介 Naju Mancheril,来自卡耐基梅隆大学。这是一篇介绍在PostgreSQL中应用新型硬件GPU提升排序性能的论文,是当前热门的数据库前沿技术研究领域。原论文名称为《GPU-based Sorting in PostgreSQL》。 译者简介 朱君鹏,华东师范大学博士研究生,个人兴趣主要集中在:新型硬件(GPU、RDMA、FPGA)等在数据库中的应用,架构设计与并行计算。 陈河堆,中兴通讯数据库平台负责人,曾参与和主导公司自研高性能内存数据库、分布式数据库和分布式缓存等系统的开发和设计,目前致力于PostgreSQL数据库的研究和推广。

wangliyun 发布于 2019-04-22 18:23:54
评论:0   浏览:767
顶:53   踩:44

强人随笔PostgreSQL物理坏块和文件损坏案例分享

笔者最近发现很多朋友经常遇到PostgreSQL坏块或者数据混乱的情况,网上中文资料比较少,于是整理了一下笔者遇到各种各样的报错以及解决方案

redraiment 发布于 2019-04-18 13:39:53
评论:0   浏览:711
顶:63   踩:58

强人随笔PostgreSQL的count(1)真的比count(*)快么?

count(*)在PostgreSQL上经常被抱怨执行非常慢。而在一段时间中我收到过很多count(1)比count(*)快的说法,并将这种理解此应用于我的工作中。

redraiment 发布于 2019-04-17 00:40:19
评论:0   浏览:886
顶:60   踩:51

强人随笔ShardingSphere即将支持PostgreSQL代理

ShardingSphere的第一个Apache Release将在近期发布,新版的Sharding-Proxy首次实现了对PostgreSQL的支持,欢迎试用。

redraiment 发布于 2019-04-16 00:43:25
评论:0   浏览:760
顶:52   踩:49

强人随笔声明:CVE-2019-9193 不是安全漏洞

近期在互联网媒体上流传PostgreSQL存在任意代码执行的漏洞:“拥有‘pg_read_server_files’权限的攻击者可利用此漏洞具备超级用户权限,执行任意系统命令”。针对此言论,PostgreSQL官方在2019年4月4日发表声明。

redraiment 发布于 2019-04-12 09:00:56
评论:0   浏览:569
顶:50   踩:46
© 2010 PostgreSQL中文社区