【其他】... 华为招聘分布式云数据库开发高级工程师

工作岗位 分布式云数据库开发高级工程师

wangliyun 发布于 2020-09-09 08:00:00　　 评论:1　　 浏览: 4796    顶: 644　 踩: 655　

【强人随笔】... PostgreSQL 逻辑复制异常引发Pg_wal目录膨胀一例

前几天一位社区朋友咨询一个PostgreSQL的WAL文件膨胀案例，有个生产库最近几天pg_wal目录的WAL文件爆涨到了7万多个，把硬盘空间撑满，造成数据库故障。 为了快速恢复，这位朋友删除了pg_wal目录下10天前的WAL文件，将硬盘空间使用率降下来，使得数据库恢复，但pg_wal目录下的WAL文件依然涨得很快

wangliyun 发布于 2020-09-08 08:00:00　　 评论:4　　 浏览: 6280    顶: 586　 踩: 608　

【强人随笔】... PostgreSQL并发控制机制（1）：隔离级别

并发控制是多个事务在并发运行时，数据库保证事务一致性（Consistency）和隔离性（Isolation）的一种机制。主流商用关系数据库使用的并发控制技术主要有三种：严格两阶段封锁（S2PL）、多版本并发控制（MVCC）和乐观并发控制（OCC）。 PostgreSQL使用了多版本并发控制技术的一种变体：快照隔离Sanpshot Isolation（简称SI）。通过SI，PostgreSQL提供了四个事务隔离级别，但实现与ANSI SQL标准有一些差异。

wangliyun 发布于 2020-09-05 08:00:00　　 评论:1　　 浏览: 6200    顶: 606　 踩: 638　

【社区活动】... 第23期直播预告/< citus高可用环境搭建>

本周钉钉线上直播精彩继续，欢迎大家扫描下方活动海报里的二维码加入我们，不见不散哦!

wangliyun 发布于 2020-09-04 08:00:00　　 评论:1　　 浏览: 4302    顶: 630　 踩: 592　

【强人随笔】... PostgreSQL 逻辑复制数据不一致,导致主库wal log 无限增大

PostgreSQL heap TABLE AM引擎，使用多版本来解决快照问题，版本处于当前数据文件中，有垃圾回收进程进行回收，那么哪些垃圾不能被回收呢？ WAL是PG的REDO文件，哪些WAL不能被回收重复利用？什么情况下可能会一直增长不清理呢？

wangliyun 发布于 2020-09-02 08:00:00　　 评论:2　　 浏览: 5611    顶: 855　 踩: 564　

【强人随笔】... PgSQL · 应用案例 · 什么情况下可能表膨胀

背景 PostgreSQL heap TABLE AM引擎，使用多版本来解决快照问题，版本处于当前数据文件中，有垃圾回收进程进行回收，那么哪些垃圾不能被回收呢？ WAL是PG的REDO文件，哪些WAL不能被回收重复利用？什么情况下可能会一直增长不清理呢？ heap或INDEX的膨胀有些时候并不是因为回收慢，而是有些是无法被回收的垃圾，通常被称为膨胀点。本文对膨胀点进行逐一解释(回收慢不解释，可能: worker太少,io太差,worker睡眠太长或频繁,vacuum mem太少放不下所有垃圾行CTID导致多次扫描索引,launcher唤醒周期太长,表太大未支持并行垃圾回收, …)。 除了snapshot too old以外，12新增AM例如zedstore, zheap将彻底解决heap的垃圾版本带来的膨胀问题。

wangliyun 发布于 2020-09-01 08:00:00　　 评论:2　　 浏览: 5465    顶: 591　 踩: 601　

【强人随笔】... PostgreSQL关系膨胀:原理，监控与处理

PostgreSQL使用了MVCC作为主要并发控制技术，它有很多好处，但也会带来一些其他的影响，例如关系膨胀。关系（表与索引）膨胀会对数据库性能产生负面影响，并浪费磁盘空间。为了使PostgreSQL始终保持在最佳性能，有必要及时对膨胀的关系进行垃圾回收，并定期重建过度膨胀的关系。

wangliyun 发布于 2020-08-29 08:00:00　　 评论:1　　 浏览: 5820    顶: 587　 踩: 616　

【强人随笔】... PgSQL · 应用案例 · 如何修改PostgreSQL分区表分区范围

已有分区表，修改分区的范围。 例如拆分分区，合并分区。 语法如下，PG支持非常灵活的分区布局，看本文提到的HASH分区拆分，支持任意层级的分区，支持每个分区的层级深度不一样。特别适合某些数据分布不均匀的情况。例如id=1落在同一个分区但是数据量非常庞大，可以对这个分区再进行二级分区（使用其他分区方法，其他字段都可以，非常灵活）。

wangliyun 发布于 2020-08-27 08:00:00　　 评论:2　　 浏览: 8923    顶: 588　 踩: 555　

【强人随笔】... PgSQL · 最佳实践 · pg_cron 内核分析及用法简介

pg_cron 是 PostgreSQL（9.5或更高版本）的一个简单的基于cron的作业调度程序，它作为扩展在数据库中运行。它与常规 cron 保持相同的语法，但它允许直接从数据库安排 PostgreSQL 命令。作为一个独立运行的工作者进程，其生命周期管理、内存空间都依赖于 postgreSQL 。本文主要从启动、生命周期、状态机、用法介绍该插件在 postgresQL 数据库中的应用。

wangliyun 发布于 2020-08-26 08:00:00　　 评论:3　　 浏览: 5631    顶: 449　 踩: 509　

【强人随笔】... PostgreSQL 中 Pgbouncer 能用后，问自己5个问题

知识的学习是越学越不会,越学发现的"黑洞"和自己的欠缺就会越多,所以一直报以心虚的状态来学,可能理解多年的东西他变化了,或者当初就没有理解的彻底,而不自知. Pgbouncer 看似是一个轻量级的连接缓冲,今天就来整理一下,来看看知识的黑洞

wangliyun 发布于 2020-08-25 08:00:00　　 评论:3　　 浏览: 4550    顶: 549　 踩: 547　

【社区活动】... 第22期直播预告/

本周直播活动精彩继续

wangliyun 发布于 2020-08-21 08:00:00　　 评论:2　　 浏览: 3799    顶: 599　 踩: 577　

【强人随笔】... PostgreSQL Pgbouncer 到底怎么使用,疗效有多大

接上期为什么postgresql 需要连接池的问题过后, 本期还是要说说pgbouncer 连接池,并且需要做一个实验看看pgbouncer 到底在处理并发连接到底有多大的功效.

wangliyun 发布于 2020-08-20 08:00:00　　 评论:1　　 浏览: 5342    顶: 520　 踩: 547　

【强人随笔】... PgSQL · 特性分析 · 浅析PostgreSQL 的JIT

估计很多同学看过之前的月报PgSQL · 特性分析· JIT 在数据仓库中的应用价值，对JIT（just in time）和LLVM（Low Level Virtual Machine）有了一定的了解。概括地来说： JIT 指的是即时编译，即程序在运行过程中即时进行编译，其中可以把编译的中间代码缓存或者优化。相对于静态编译代码，即时编译的代码可以处理延迟绑定并增强安全性。 LLVM 就提供了一种在程序运行时编译执行代码的程序框架，它对外提供API，使实现JIT 变得更加简单。 PostgreSQL 社区从2016年就开始对JIT 的实现进行了讨论，详见邮件列表。

wangliyun 发布于 2020-08-19 08:00:00　　 评论:2　　 浏览: 4353    顶: 538　 踩: 549　

【强人随笔】... PgSQL · 应用案例 · PG有standby的情况下为什么停库可能变慢？

背景 PostgreSQL 有3种停库模式： “Smart” mode waits for all active clients to disconnect and any online backup to finish. If the server is in hot standby, recovery and streaming replication will be terminated once all clients have disconnected.

wangliyun 发布于 2020-08-18 08:00:00　　 评论:2　　 浏览: 4510    顶: 522　 踩: 471　

【强人随笔】... PgSQL · 最佳实践 · 回归测试探寻

每当开发完一个新的功能后，要想让其稳定的上线的前提是必须完成回归测试，回归测试定义为一种软件测试，用于确认最近的程序或代码更改未对现有功能产生负面影响。回归测试只不过是已经执行的测试用例的全部或部分选择，这些测试用例被重新执行以确保现有功能正常工作。对于最先进的开源数据库Postgresql当然也提供了它的回归测试。我们在官方文档中可以找到其具体的使用方法。

wangliyun 发布于 2020-08-15 08:00:00　　 评论:2　　 浏览: 4770    顶: 532　 踩: 523　

【社区活动】... 第21期直播预告/PG 线上答疑

本周钉钉线上直播精彩继续，本周直播采用PG线上答疑方式，各位小伙伴们准备好你们的提问哈，也欢迎大家跟直播嘉宾进行技术探讨，大家可以扫描下方活动海报里的钉钉群二维码加入我们，不见不散哦!

wangliyun 发布于 2020-08-14 08:00:00　　 评论:2　　 浏览: 3995    顶: 577　 踩: 529　

【强人随笔】... 在 ARM 架构服务器上编译 Greenplum6并制作rpm安装包

Greenplum 是一款开源MPP数据分析平台，提供包括数据分析、机器学习和人工智能等特色功能。目前 Greenplum 的二进制发行版本只能运行在 X86 服务器。github上的Greenplum releases只有x86的发行版，没有提供ARM 发行版。Greenplum 是开源软件，我们可以通过编译 Greenplum 源代码自行构建 Greenplum 的 ARM 版本。

wangliyun 发布于 2020-08-13 08:00:00　　 评论:2　　 浏览: 6492    顶: 538　 踩: 564　

【其他】... 乘风破浪的中国数据库

“科技行业已经没有什么惊心动魄的大事了！” 进入2020年，已经有不止一家媒体或者科技KOL 做出这样的断言。 相比2012年的O2O大战、2015年的双创热潮、2016年的小巨头合并，以及2018至2019年的中概股扎堆上市，2020年显得格外寂寞。

wangliyun 发布于 2020-08-12 08:00:00　　 评论:2　　 浏览: 4088    顶: 543　 踩: 582　

【其他】... 乘风破浪的中国数据库

“科技行业已经没有什么惊心动魄的大事了！” 进入2020年，已经有不止一家媒体或者科技KOL 做出这样的断言。 相比2012年的O2O大战、2015年的双创热潮、2016年的小巨头合并，以及2018至2019年的中概股扎堆上市，2020年显得格外寂寞。

wangliyun 发布于 2020-08-12 08:00:00　　 评论:1　　 浏览: 4585    顶: 580　 踩: 619　

【其他】... Qunar诚聘Oracle/PostgreSQL DBA

1. 负责Oracle 集群部署及高可用架构设计; 2. 负责Oracle 运维/监控; 3. 负责Oracle 备份/恢复; 4. 负责Oracle SQL, PL/SQL及其他性能调优工作; 5. 负责Oracle 审计相关工作; 6. 参与PostgreSQL DB日常运维及调优; 7. 参与PostgreSQL DB自动化运维工具开发;

wangliyun 发布于 2020-08-08 08:00:00　　 评论:2　　 浏览: 4195    顶: 572　 踩: 557