【技术讨论】... GPkafka-Kafka数据导入GreenPlum实践

Kafka是分布式消息订阅系统，有非常好的横向扩展性，可实时存储海量数据，是流数据处理中间件的事实标准。当通过Kafka和greenplum搭建流处理管道时，如何高速可靠的完成流数据加载，成为用户最关心的问题。

doudou586 发布于 2019-03-04 20:59:39　　 评论:6　　 浏览: 15160    顶: 1224　 踩: 1305　

【强人随笔】... PostgreSQL中的并行查询

现代CPU的内核数量愈发可观。多年来，应用程序一直在向数据库并行发送查询。如果查询处理许多行数据，使用多核的能力有助于查询更快地执行。PostgreSQL中的并行查询允许我们利用多核来更快地完成报表查询（reporting queries）。并行查询功能在9.6中实现，从PostgreSQL 9.6开始，报表查询能够并行使用多核，高效完成查询。 并行查询执行的初始实现花了三年时间。并行的支持需要在许多查询执行阶段进行代码更改。PostgreSQL 9.6为进一步的代码改进创建了一个基础架构。更高版本则扩展了对其他查询类型的并行执行支持。

redraiment 发布于 2019-02-28 15:52:37　　 评论:1　　 浏览: 11953    顶: 837　 踩: 1003　

【强人随笔】... 如何估算maintenance_work_mem内存大小？

`maintenance_work_mem`控制在两种不同场景下系统将分配的内存总量，这两种场景基本上毫不相干。首先，它控制系统在构建索引时将使用的最大内存量。为了构建一个B树索引，必须对输入的数据进行排序，如果要排序的数据在`maintenance_work_mem`设定的内存中放置不下，它将会溢出到磁盘中。起码在我的个人经验中，这不会成为一个大问题。索引构建很少发生在安装过程中，通常是手动发起的，因此，如果你确定增加该配置值有助于提升你所在环境的性能，那么，在执行CREATE INDEX命令之前，你可以在本地会话中使用SET命令增加该值。`maintenance_work_mem`所做的第二件事是控制vacuum进程将分配的内存量，以存储那些无效索引元组的TID。

redraiment 发布于 2019-02-25 15:42:13　　 评论:4　　 浏览: 10570    顶: 700　 踩: 693　

【强人随笔】... 布道PostgreSQL让开源数据库在中国开花结果

撒下什么种，就会结什么果。最近2015-2018年PostgreSQL中国用户会轮席主席、阿里云高级产品专家萧少聪接受中国软件网记者采访时认为，从传统业界巨头，到云及互联网新霸主，再到PostgreSQL社区生态，各类公司都十分活跃，在全球包括中国涌现出大批基于PostgreSQL的商业公司。不过当前市场上的竞争还只于萌芽阶段，而带动PostgreSQL产品的开发者及周边工具发布，将会成为竞争的焦点。

redraiment 发布于 2019-02-20 09:33:47　　 评论:1　　 浏览: 6764    顶: 704　 踩: 702　

【强人随笔】... 一个奇异的WAL文件分裂案例

在过去八年我使用Postgres流复制的过程中，我遇到过大约两次这样的场景：由于一个WAL文件已经在主服务器上被移除，后备机上的复制无法继续，因此它会执行B计划，也就是尝试使用restore_command来取得相关的WAL文件（假定归档已被设置好并且工作正常），但是在重放取得的文件时，我们听到了另一个牢骚：“No such file or directory.”

redraiment 发布于 2019-01-29 22:12:39　　 评论:2　　 浏览: 6832    顶: 742　 踩: 751　

【热点话题】... 微软收购Citus Data！再次肯定对开源的承诺，并加速AzurePostgreSQL的性能和扩展

数据和分析越来越多地成为数字化转型的中心，最先进的企业利用数据来推动客户获取和满意度、长期战略规划以及新市场扩张。 这场数字革命正在对技术解决方案提出令人难以置信的需求，使其更加开放、灵活和可扩展，以满足大数据量，亚秒级响应时间和分析驱动的业务洞察力的需求。

redraiment 发布于 2019-01-25 08:44:51　　 评论:1　　 浏览: 8516    顶: 1245　 踩: 1266　

【强人随笔】... 如何为PostgresQL做贡献？

经常会遇到这个问题：“我如何为Postgres做贡献？”。PostgreSQL是一个很棒的开源数据库，具有非常良好的代码基础，对于我们许多技术人来说，贡献和回馈开源亦是一件值得骄傲的事儿。关于回馈Postgres，您通常不会立即提交代码和实现您贡献PostgreSQL的良好愿望。因此，从哪里开始为Postgres作出贡献很关键。如果您正在考虑更多地参与Postgres，我有一些对您可能有用的提示。

redraiment 发布于 2019-01-23 10:19:23　　 评论:4　　 浏览: 6228    顶: 681　 踩: 661　

【强人随笔】... PostgreSQL MVCC快照机制浅析

快照隔离是数据库实现并发控制的一种常用技术。本文简单探讨了快照理论模型、PostgreSQL的工程实践以及由此推广至Postgres-XL的可能改进思路等。

redraiment 发布于 2019-01-22 09:50:54　　 评论:2　　 浏览: 8875    顶: 837　 踩: 822　

【强人随笔】... PostgreSQL 何以蝉联db-engines 2017、2018年度数据库大奖？

PostgreSQL如何能蝉联db-engines 2017、2018年度数据库大奖？PG为什么如此倍受企业欢迎？

redraiment 发布于 2019-01-17 23:59:49　　 评论:2　　 浏览: 6272    顶: 692　 踩: 693　

【强人随笔】... 如何打造 PostgreSQL 闪回环境？

在 PostgreSQL 数据库；目前是不支持类似 Oracle 闪回特性；我们知道 Oracle 闪回特性在数据恢复是非常简单给力。增加数据库操作人员（开发，DBA）的容错率。

redraiment 发布于 2019-01-16 02:20:58　　 评论:3　　 浏览: 7851    顶: 714　 踩: 736　

【强人随笔】... 再谈PostgreSQL的膨胀和vacuum机制及最佳实践

这两天有两篇专门介绍PostgreSQL的vacuum机制的技术文章，得到了比较热烈和正面的反馈，让用户可以比较清楚地理解和使用这个特性。

redraiment 发布于 2019-01-16 02:17:03　　 评论:1　　 浏览: 7531    顶: 759　 踩: 778　

【社区活动】... PostgreSQL中文社区官方微店开业（内有福利）

七年不痒,初心未改:2018年PostgreSQL中国技术大会于12月16日圆满落幕，但小伙伴们的热情不减，好多PGer对没有得到大会纪念款卫衣深表遗憾，告诉大家一个好消息，PostgreSQL中文社区官方微店开业啦！预订2018大象汇特别定制纪念款卫衣，原价399元，拼团价只要369元，不仅有面，并且还很暖和！拼团截止日期 ：2019年1月20日，预计发货日期：2019年1月28日。

redraiment 发布于 2019-01-16 02:09:39　　 评论:3　　 浏览: 5461    顶: 623　 踩: 757　

【强人随笔】... PostgreSQL高级扩展之IP4R

虽然PostgreSQL已有内置数据类型 'inet' 及 'cidr'， 但本模块的作者发现一些内置数据类型没有解决的问题。

redraiment 发布于 2019-01-09 21:32:05　　 评论:2　　 浏览: 6702    顶: 742　 踩: 722　

【强人随笔】... 也谈PostgreSQL的Vacuum机制及其最佳实践

因为多数有事务的数据库都是有回滚段的，所以大家对于PostgreSQL中没有回滚段表示很诧异，PostgreSQL中的vacuum在对旧版本数据做清理时会占用一些IO而对业务可能会产生一些负面影响，这些负面影响在口口相传中会被放大。而在笔者的最佳实践中这个问题并没有网上传的那么严重。实际上PostgreSQL数据库没有回滚段的设计是比较有创意的地方，但一些人也认为这是有争议的地方，笔者以前是Oracle DBA，也熟悉MySQL数据库，所以试图最佳实践的角度和从原理上把有回滚段和没有回滚的好处和坏处和大家讲清楚。

redraiment 发布于 2019-01-08 20:02:24　　 评论:2　　 浏览: 9493    顶: 816　 踩: 822　

【强人随笔】... PostgreSQL 事务日志WAL探秘（下篇）

本文对PG中事务日志文件的结构进行了简要的剖析，内容包括WAL基本术语、WAL文件组成、WAL segment file内部结构和内容剖析、XLOG Record内存组织以及`pg_waldump`工具简介。本篇是第二部分，内容包括WAL segment file内容剖析、XLOG Record内存组织以及`pg_waldump`工具简介。 

发布于 2019-01-03 23:00:42　　 评论:3　　 浏览: 8179    顶: 742　 踩: 724　

【强人随笔】... PostgreSQL 事务日志WAL探秘（上篇）

本文对PG中事务日志文件的结构进行了简要的剖析，内容包括WAL基本术语、WAL文件组成、WAL segment file内部结构和内容剖析、XLOG Record内存组织以及pg_waldump工具简介。本篇是第一部分，内容包括WAL基本术语、WAL文件组成以及WAL segment file的内部结构。

redraiment 发布于 2019-01-02 09:03:46　　 评论:1　　 浏览: 12323    顶: 722　 踩: 719　

【强人随笔】... PostgreSQL何以支持丰富的NoSQL特性?

上篇文章介绍了PostgreSQL的典型高级SQL特性，PostgreSQL不仅是关系型数据库，同时支持丰富的NoSQL特性，本文将从 《PostgreSQL实战》 一书的“ 第9章 PostgreSQL的NoSQL特性”中摘选部分内容介绍。

redraiment 发布于 2018-12-30 00:19:33　　 评论:2　　 浏览: 5831    顶: 723　 踩: 702　

【社区活动】... [合肥] 云栖TechDay - PG天天象上活动 - 合肥站

为帮助企业掌握PostgreSQL，具备去O能力。阿里云PG产品团队联合PG社区、云栖社区、云栖技术日、阿里云技术创新中心共同推出《PostgreSQL 应用案例、原理、最佳实践》、《PPAS + ADAM Oracle 迁移上云》、《企业数据库安全、自主可控》系列主题活动。

redraiment 发布于 2018-12-29 23:58:53　　 评论:1　　 浏览: 5665    顶: 743　 踩: 743　

【社区活动】... CockroachDB中国社区大会

本次 Meetup 北京站 Cockroach Labs创始人及核心团队成员之一将首次现场亮相中国社区大会，且会给大家带来现场议题互动及全球成功案例分享。现场还邀请到业界嘉宾给大家分享 CockroachDB 的使用及业界NewSQL数据库相关技术。

redraiment 发布于 2018-12-28 20:03:46　　 评论:3　　 浏览: 7364    顶: 811　 踩: 828　

【社区活动】... PGconf US 2019大会参与号召书

2019年3月18日到3月22日，第八届Postgres Conference US大会（以下简称“PGConf US”）将在美国纽约时代广场喜来登酒店召开。PGConf US是美国最大的PostgreSQL教育和宣传平台，每届大会都将安排持续一个周的系列活动，包括培训、主题演讲及分组会议。历届PGConf US大会参与者已达到70000余人次，涵盖学生、DBA、开发人员等人群，从初学者到资深专家，从初创公司到世界五百强企业都是重要的参会群体。

redraiment 发布于 2018-12-21 14:50:03　　 评论:3　　 浏览: 7235    顶: 1082　 踩: 770