强人随笔pg_lightool基于basebackup的单表恢复和块恢复

背景 开源软件pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对pg_lightool的代码做了升级,它可以基于一个basebackup和basebackup之后的wal日志完成某个数据表的恢复或者某些page的恢复。项目开源地址:https://gitee.com/movead/pg_lightool。 工具的安装方法在之前的博客里有详细说明,不再赘述。本文主要说明一下pg_lightool新功能的使用方法。新功能的主要应用场景:有基础备份的数据量级比较大的数据库,在发生表或者块数据损坏时,用于损坏数据的快速恢复。

wangliyun 发布于 2019-04-24 08:57:41
评论:0   浏览:21
顶:0   踩:0

强人随笔新型硬件GPU在PostgreSQL的应用

作者简介 Naju Mancheril,来自卡耐基梅隆大学。这是一篇介绍在PostgreSQL中应用新型硬件GPU提升排序性能的论文,是当前热门的数据库前沿技术研究领域。原论文名称为《GPU-based Sorting in PostgreSQL》。 译者简介 朱君鹏,华东师范大学博士研究生,个人兴趣主要集中在:新型硬件(GPU、RDMA、FPGA)等在数据库中的应用,架构设计与并行计算。 陈河堆,中兴通讯数据库平台负责人,曾参与和主导公司自研高性能内存数据库、分布式数据库和分布式缓存等系统的开发和设计,目前致力于PostgreSQL数据库的研究和推广。

wangliyun 发布于 2019-04-22 18:23:54
评论:0   浏览:123
顶:3   踩:3

强人随笔PostgreSQL物理坏块和文件损坏案例分享

笔者最近发现很多朋友经常遇到PostgreSQL坏块或者数据混乱的情况,网上中文资料比较少,于是整理了一下笔者遇到各种各样的报错以及解决方案

redraiment 发布于 2019-04-18 13:39:53
评论:0   浏览:162
顶:5   踩:3

强人随笔PostgreSQL的count(1)真的比count(*)快么?

count(*)在PostgreSQL上经常被抱怨执行非常慢。而在一段时间中我收到过很多count(1)比count(*)快的说法,并将这种理解此应用于我的工作中。

redraiment 发布于 2019-04-17 00:40:19
评论:0   浏览:276
顶:6   踩:4

强人随笔ShardingSphere即将支持PostgreSQL代理

ShardingSphere的第一个Apache Release将在近期发布,新版的Sharding-Proxy首次实现了对PostgreSQL的支持,欢迎试用。

redraiment 发布于 2019-04-16 00:43:25
评论:0   浏览:214
顶:5   踩:5

强人随笔声明:CVE-2019-9193 不是安全漏洞

近期在互联网媒体上流传PostgreSQL存在任意代码执行的漏洞:“拥有‘pg_read_server_files’权限的攻击者可利用此漏洞具备超级用户权限,执行任意系统命令”。针对此言论,PostgreSQL官方在2019年4月4日发表声明。

redraiment 发布于 2019-04-12 09:00:56
评论:0   浏览:243
顶:9   踩:7

强人随笔一款PostgreSQL WAL日志解析工具: wal2json

自从PostgreSQL 9.4 支持logical级别的WAL后,PostgreSQL可以通过逻辑解码的方式(基于行或语句的logical replication)来解读WAL中的内容。通过slot在从节点解码WAL中的数据变更流进行重演实现数据库的逻辑复制。

redraiment 发布于 2019-04-10 09:33:03
评论:0   浏览:299
顶:11   踩:15

强人随笔Wal日志解析工具开源: Walminer

Walminer工具是一款wal日志的解析工具,它可以从wal日志中解析出用户执行的DML语句,以及用户执行DDL语句对系统表产生的DML语句。它的前身是xlogminer,但是xlogminer有较大的限制,比如wal日志级别需要是logical、需要将表改为FULL模式。Walminer则不需要这些限制,它可以解析普通的archive或replica级别以上的wal日志。

redraiment 发布于 2019-04-01 17:14:00
评论:0   浏览:398
顶:13   踩:12

强人随笔PostgreSQL 11 新特性解读|支持并行创建索引

PostgreSQL 11 版本在并行方面得到增强,例如支持并行创建索引、并行Hash Join、并行 `CREATE TABLE .. AS`等,本文先介绍并行创建索引。 PostgreSQL 11 版本并行创建索引仅支持 B-tree 索引,其它类型索引现阶段不支持并行创建。

redraiment 发布于 2019-03-28 23:33:27
评论:0   浏览:394
顶:12   踩:14

强人随笔PostgreSQL误删数据怎么破?

PostgreSQL并未有闪回和数据误删除保护的功能,但是在一些场景下也可以实现。

redraiment 发布于 2019-03-28 11:33:57
评论:0   浏览:396
顶:15   踩:13

强人随笔平安科技PostgreSQL案例分享|进程私有内存探密

近期遇到一个案例,一个分析型应用的DB在早上的时候出现OOM,OS kill用户进程,数据库进入recovery,几十秒后数据库恢复。

redraiment 发布于 2019-03-19 08:30:29
评论:0   浏览:436
顶:20   踩:22

强人随笔PostgreSQL 11新特性解读|支持存储过程(SQL Stored Procedures)

PostgreSQL 11 版本一个重量级新特性是对存储过程的支持,同时支持存储过程嵌入事务,存储过程是很多 PostgreSQL 从业者期待已久的特性,尤其是很多从Oracle转到PostgreSQL朋友,尽管PostgreSQL提供函数可以实现大多数存储过程的功能,但在函数中无法执行事务实现部分提交,换句话说,函数中的SQL要么都执行成功,要不全部返回失败。 PostgreSQL 11 版本对存储过程的支持,从兼容层面考虑和Oracle的兼容性进一步增强,本文演示下PostgreSQL存储过程的创建和调用,并且演示存储过程支持嵌入事务样例。

redraiment 发布于 2019-03-12 08:57:57
评论:0   浏览:728
顶:26   踩:24

强人随笔Postgres 12 highlight - SKIP_LOCKED for VACUUM and

Postgres 11已经扩展了VACUUM,因此可以在单次查询中指定多张表,每次处理一张表。但是当VACUUM卡在一张表上很长时间,由于表被锁或者别的原因时,应由触发VACUUM的应用层仔细查看并解除阻塞情况。SKIP_LOCKED通过立即跳过任何在VACUUM或者ANALYZE处理开始时无法锁定的表,实现了对这种场景的更多控制,这意味着这种处理方式将可能以不做任何事情为代价及时完成,如果表不断累积膨胀而不被清理,这也可能是危险的。

redraiment 发布于 2019-03-09 10:35:02
评论:0   浏览:338
顶:21   踩:23

强人随笔PostgreSQL中的并行查询

现代CPU的内核数量愈发可观。多年来,应用程序一直在向数据库并行发送查询。如果查询处理许多行数据,使用多核的能力有助于查询更快地执行。PostgreSQL中的并行查询允许我们利用多核来更快地完成报表查询(reporting queries)。并行查询功能在9.6中实现,从PostgreSQL 9.6开始,报表查询能够并行使用多核,高效完成查询。 并行查询执行的初始实现花了三年时间。并行的支持需要在许多查询执行阶段进行代码更改。PostgreSQL 9.6为进一步的代码改进创建了一个基础架构。更高版本则扩展了对其他查询类型的并行执行支持。

redraiment 发布于 2019-02-28 15:52:37
评论:0   浏览:893
顶:27   踩:25

强人随笔如何估算maintenance_work_mem内存大小?

`maintenance_work_mem`控制在两种不同场景下系统将分配的内存总量,这两种场景基本上毫不相干。首先,它控制系统在构建索引时将使用的最大内存量。为了构建一个B树索引,必须对输入的数据进行排序,如果要排序的数据在`maintenance_work_mem`设定的内存中放置不下,它将会溢出到磁盘中。起码在我的个人经验中,这不会成为一个大问题。索引构建很少发生在安装过程中,通常是手动发起的,因此,如果你确定增加该配置值有助于提升你所在环境的性能,那么,在执行CREATE INDEX命令之前,你可以在本地会话中使用SET命令增加该值。`maintenance_work_mem`所做的第二件事是控制vacuum进程将分配的内存量,以存储那些无效索引元组的TID。

redraiment 发布于 2019-02-25 15:42:13
评论:0   浏览:644
顶:33   踩:26

强人随笔布道PostgreSQL让开源数据库在中国开花结果

撒下什么种,就会结什么果。最近2015-2018年PostgreSQL中国用户会轮席主席、阿里云高级产品专家萧少聪接受中国软件网记者采访时认为,从传统业界巨头,到云及互联网新霸主,再到PostgreSQL社区生态,各类公司都十分活跃,在全球包括中国涌现出大批基于PostgreSQL的商业公司。不过当前市场上的竞争还只于萌芽阶段,而带动PostgreSQL产品的开发者及周边工具发布,将会成为竞争的焦点。

redraiment 发布于 2019-02-20 09:33:47
评论:0   浏览:850
顶:37   踩:29

强人随笔一个奇异的WAL文件分裂案例

在过去八年我使用Postgres流复制的过程中,我遇到过大约两次这样的场景:由于一个WAL文件已经在主服务器上被移除,后备机上的复制无法继续,因此它会执行B计划,也就是尝试使用restore_command来取得相关的WAL文件(假定归档已被设置好并且工作正常),但是在重放取得的文件时,我们听到了另一个牢骚:“No such file or directory.”

redraiment 发布于 2019-01-29 22:12:39
评论:0   浏览:988
顶:48   踩:46

强人随笔如何为PostgresQL做贡献?

经常会遇到这个问题:“我如何为Postgres做贡献?”。PostgreSQL是一个很棒的开源数据库,具有非常良好的代码基础,对于我们许多技术人来说,贡献和回馈开源亦是一件值得骄傲的事儿。关于回馈Postgres,您通常不会立即提交代码和实现您贡献PostgreSQL的良好愿望。因此,从哪里开始为Postgres作出贡献很关键。如果您正在考虑更多地参与Postgres,我有一些对您可能有用的提示。

redraiment 发布于 2019-01-23 10:19:23
评论:0   浏览:1004
顶:51   踩:48

强人随笔PostgreSQL MVCC快照机制浅析

快照隔离是数据库实现并发控制的一种常用技术。本文简单探讨了快照理论模型、PostgreSQL的工程实践以及由此推广至Postgres-XL的可能改进思路等。

redraiment 发布于 2019-01-22 09:50:54
评论:0   浏览:1017
顶:57   踩:59

强人随笔PostgreSQL 何以蝉联db-engines 2017、2018年度数据库大奖?

PostgreSQL如何能蝉联db-engines 2017、2018年度数据库大奖?PG为什么如此倍受企业欢迎?

redraiment 发布于 2019-01-17 23:59:49
评论:0   浏览:1264
顶:51   踩:52
© 2010 PostgreSQL中文社区