一款PostgreSQL WAL日志解析工具: wal2json__自从PostgreSQL 9.4 支持logical级别的WAL后，PostgreSQL可以通过逻辑解码的方式（基于行或语句的logical replication）来解读WAL中的内容。通过slot在从节点解码WAL中的数据变更流进行重演实现数据库的逻辑复制。_

PG中文社区 /

mdi-home

首页

社区新闻

中文文档

加入ACE

mdi-home

首页

mdi-chat-processing

社区新闻

mdi-book-open-variant

中文文档

mdi-account-multiple-check

加入ACE

mdi-file-multiple-outline

相关资料

mdi-blank

mdi-exit-to-app

退出账号

一款PostgreSQL WAL日志解析工具: wal2json

原作者：钟硕　　创作时间：2019-04-10 09:33:03+08　　

redraiment 发布于2019-04-10 09:33:03　　

评论: 4　　

顶: 855　

踩: 755　

## 译者简介

**钟硕**，现供职于迪卡侬，PostgreSQL & Oracle DBA

## 正文

Debezium 属于红帽开源项目，wal2json作为其组成部分可以提供基于PG库级别的DML日志挖掘工作。

* Debezium针对几类主流数据库的连接器：https://debezium.io/docs/connectors/
* Wal2json安装页面：https://debezium.io/docs/install/postgres-plugins/

Debezium 目地在于提供一个分布式的平台，将数据库日志中的事件记录转化为事件流，使得外部应用能够对数据库中的行级操作做出快速响应。Debezium 可以建立在Apache kafka的上层，为kafka connect提供可兼容的连接器用于监控和管理特定的数据库。

## wal2json工具的安装

自从PostgreSQL 9.4 支持logical级别的WAL后，PostgreSQL可以通过逻辑解码的方式（基于行或语句的logical replication）来解读WAL中的内容。

* Logical Decoding Output Plugins：https://www.postgresql.org/docs/9.4/logicaldecoding-output-plugin.html
* WAL_LEVEL支持的四个级别：https://www.postgresql.org/docs/9.4/runtime-config-wal.html

通过slot在从节点解码WAL中的数据变更流进行重演实现数据库的逻辑复制。

安装：

```sh
export PATH="$PATH:/usr/pgsql-9.5/bin"
```

注意：这里一定要确认系统环境中找到正确版本的pg\_config（如果安装过多个版本的PostgreSQL）

```sh
git clone https://github.com/eulerto/wal2json -b master --single-branch
cd wal2json
make && make install 
```

正确安装后的输出

```
Cloning into 'wal2json'...
remote: Enumerating objects: 47, done.
remote: Counting objects: 100% (47/47), done.
remote: Compressing objects: 100% (24/24), done.
remote: Total 496 (delta 26), reused 38 (delta 23), pack-reused 449
Receiving objects: 100% (496/496), 204.39 KiB | 0 bytes/s, done.
Resolving deltas: 100% (345/345), done.

gcc -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -fno-strict-aliasing -fwrapv -fexcess-precision=standard -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC -I. -I./ -I/usr/pgsql-9.5/include/server -I/usr/pgsql-9.5/include/internal -D_GNU_SOURCE -I/usr/include/libxml2  -I/usr/include  -c -o wal2json.o wal2json.c
gcc -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -fno-strict-aliasing -fwrapv -fexcess-precision=standard -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC -L/usr/pgsql-9.5/lib -Wl,--as-needed  -L/usr/lib64 -Wl,--as-needed -Wl,-rpath,'/usr/pgsql-9.5/lib',--enable-new-dtags  -shared -o wal2json.so wal2json.o

/usr/bin/mkdir -p '/usr/pgsql-9.5/lib'
/usr/bin/install -c -m 755  wal2json.so '/usr/pgsql-9.5/lib/'
```

## PostgreSQL服务端配置

```
shared_preload_libraries = 'wal2json'
wal_level = logical
max_wal_senders = 4 
max_replication_slots = 4
```

创建具有Replication和Login授权的用户

```sql
CREATE ROLE <name> REPLICATION LOGIN;
```

修改pg\_hba.conf，使该用户可以远程或本地访问数据库

```
############ REPLICATION ##############
local   replication     <name>                              trust
host    replication     <name>    127.0.0.1/32     trust host    replication     <name>    ::1/128              trust
```

## 建立测试环境

```sql
CREATE DATABASE test;

CREATE TABLE test_table (
    id char(10) NOT NULL,
    code        char(10),
    PRIMARY KEY (id)
);
```

另开一个会话窗口

```sh
pg_recvlogical -d test --slot test_slot --create-slot -P wal2json
pg_recvlogical -d test --slot test_slot --start -o pretty-print=1 -f -
```

## 进行一些基本的DML操作

```
test=# INSERT INTO test_table (id, code) VALUES('id1', 'code1');
INSERT 0 1
test=# update test_table set code='code2' where id='id1';
UPDATE 1
test=# delete from test_table where id='id1';
DELETE 1
```

对应DML的输出：

**INSERT**

```json
{
  "change": [
    {
      "kind": "insert",
      "schema": "mdmv2",
      "table": "test_table",
      "columnnames": ["id", "code"],
      "columntypes": ["character(10)", "character(10)"],
      "columnvalues": ["id1       ", "code1     "]
    }
  ]
}
```

**UPDATE**

```json
{
  "change": [
    {
      "kind": "update",
      "schema": "mdmv2",
      "table": "test_table",
      "columnnames": ["id", "code"],
      "columntypes": ["character(10)", "character(10)"],
      "columnvalues": ["id1       ", "code2     "],
      "oldkeys": {
        "keynames": ["id"],
        "keytypes": ["character(10)"],
        "keyvalues": ["id1       "]
      }
    }
  ]
}
```

**DELETE**

```json
{
  "change": [
    {
      "kind": "delete",
      "schema": "mdmv2",
      "table": "test_table",
      "oldkeys": {
        "keynames": ["id"],
        "keytypes": ["character(10)"],
        "keyvalues": ["id1       "]
      }
    }
  ]
}
```

也可以用PostgreSQL提供的REPLICA IDENTITY来决定对表UPDATE和DELETE操作时，logical日志输出信息的详细程度。

* DEFAULT：逻辑日志中包含表中主键列被UPDATE或DELETE的前值的信息。
* NOTHING：逻辑日志中不包含表中任何UPDATE或DELETE变更的信息。
* FULL：逻辑日志中包含表中被UPDATE或DELETE列的前值的整行信息。
* USING INDEX <index\_name>：仅包含指定索引中所有列的前值信息。

**ALTER TABLE test_table REPLICA IDENTITY USING INDEX test_table_pkey;**

注意：

* wal2json 插件无法很好的处理引号标识符
* wal2json 插件无法输出没有主键的表的事件信息
* wal2json 插件不支持特殊浮点类型的值（Nan 或 infinity）

## 参考

https://debezium.io/docs/install/postgres-plugins/

![CENTER_PostgreSQL_Community](/images/news/2016/pg_bot_banner.jpg)

评论:4　　

顶: 855　

踩: 755　

请在登录后发表评论，否则无法保存。

1# __ xiaowu 回答于 2024-04-23 14:49:59+08

如果有一天我消失了:https://www.nanss.com/yuedu/4342.html 传奇角色名:https://www.nanss.com/mingcheng/5508.html 祝福朋友的话语:https://www.nanss.com/yulu/5960.html qq适合学生发的说说:https://www.nanss.com/wenan/5811.html 撕心裂肺的网名:https://www.nanss.com/mingcheng/5054.html 健康最重要的经典语录:https://www.nanss.com/yulu/5902.html 人生哲理的句子经典:https://www.nanss.com/yulu/4224.html 十岁成长仪式祝福语:https://www.nanss.com/xuexi/5790.html 心痛到撕心裂肺的网名繁体字:https://www.nanss.com/mingcheng/5676.html 探花是第几名:https://www.nanss.com/shenghuo/5422.html 久违的阳光朋友圈说说:https://www.nanss.com/wenan/5771.html 形容花开得很美的诗句:https://www.nanss.com/xuexi/5970.html 春耕的优美句子:https://www.nanss.com/yulu/5952.html 流氓有内涵的名字:https://www.nanss.com/mingcheng/5566.html 鹏程万里造句:https://www.nanss.com/xuexi/5125.html 向优秀的人看齐的名言:https://www.nanss.com/yulu/5774.html 平凡网名:https://www.nanss.com/mingcheng/5488.html 亲爱的安德烈读后感:https://www.nanss.com/xuexi/4838.html 鼓励小朋友坚持不放弃的句子:https://www.nanss.com/xuexi/5824.html 我终于可以不再爱你了:https://www.nanss.com/yuedu/4556.html 比较有文化底蕴的群名:https://www.nanss.com/mingcheng/5737.html 捉迷藏作文:https://www.nanss.com/xuexi/5753.html 高级昵称月亮:https://www.nanss.com/mingcheng/5602.html 茶文案:https://www.nanss.com/wenan/5981.html 家庭琐事很烦很累的心情说说:https://www.nanss.com/wenan/5655.html 打篮球作文:https://www.nanss.com/xuexi/5757.html 我喜欢你微笑的样子:https://www.nanss.com/yuedu/5976.html 欢迎新老师的话简短:https://www.nanss.com/xuexi/5241.html 40年同学聚会金句:https://www.nanss.com/wenan/5996.html 微信视频号名字:https://www.nanss.com/mingcheng/5998.html

2# __ longten 回答于 2019-11-12 20:14:09+08

你好有没有在 centos上安装过尝试安装的过程中出现 gcc -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -fno-strict-aliasing -fwrapv -fexcess-precision=standard -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC -shared -o decoderbufs.so src/decoderbufs.o src/proto/pg_logicaldec.pb-c.o -L/usr/pgsql-11/lib -Wl,--as-needed -L/usr/lib64/llvm5.0/lib -L/usr/lib64 -Wl,--as-needed -Wl,-rpath,'/usr/pgsql-11/lib',--enable-new-dtags -L/usr/local/lib -lprotobuf-c -L/usr/local/lib -llwgeom /usr/bin/ld: 找不到 -llwgeom collect2: 错误：ld 返回 1 make: *** [decoderbufs.so] 错误 1 是出现在 postgres-decoderbufs 的编译过程中

3# __ silencecxq 回答于 2019-08-06 12:19:32+08

您好，麻烦问一下，我安装完成以后执行pg_recvlogical -d test --slot test_slot --start -o pretty-print=1 -f - 输出有乱码，这个是什么原因呢,输出如下： `ϋ¬public.test_table * iB id1 * codB code1 : character(10): character(10) ᒸpublic.test_table * iB id1 * codB code2 : character(10): character(10) �¬public.test_table 2 iB id1 2 code `

4# __ silencecxq 回答于 2019-08-06 12:19:23+08