作者简介

刘阳明，数据库研发工程师，对数据库内核有浓厚兴趣；看好PostgreSQL的前景，希望有PostgreSQL被更多的人深入了解。

一、总体结构

PostgreSQL的堆表由多个页组成。业内结构如上图所示(代码readme中)，由5部分构成，如下。

Page Header

•LSN：在BufferManager中，为了保证WAL的原则（thou shalt write xlog before data），对每个块标记了一个日志序列号（Log Sequence Number）。

•prune xid：PostgreSQL中有一个对页内空间进行整理的过程，该列记录了上一个对页进行整理的xid。

Item ID(行指针)

包括偏移和长度两个信心，另外还有一个标记位，标记该行指针的状态。为了节省空间，代码中多处Struct中标记了位域，如下，行指针只占4个字节了。

二、Tuple

Tuple Header

Tuple头部是由23byte固定大小的前缀和可选的NullBitMap构成。

postgres=# SELECT pg_column_size(row());
 pg_column_size
----------------
             24

如上，一个空行的大小是24byte，说明最后一个byte被对齐了；

postgres=# SELECT pg_column_size(row(NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL));
 pg_column_size
----------------
             24

而一个有8个空值的行的长度也是24byte，说明最后一个byte当做了bitmap；

postgres=# SELECT pg_column_size(row(NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,NULL));
 pg_column_size
----------------
             32

有超过8个空值后，那么就需要重新按照8字节对齐。在Tuple数据中，不会存储Null数据。

另外在tinfomask2和tinfomask中，存储了属性列的个数以及若干标记位，其中就包括HEAP_HASNULL(标识bitmap存不存在)，如下。

Tuple data

Tuple由多种类型构成。在PostgreSQL中，pg_type系统表中记录了各种类型的信息；通过如下查询，我们可以知道每个类型的传递方式（值or引用），长度以及对齐方式（和C结构体对齐相似）。

postgres=# select typname,typbyval,typlen,typalign from pg_type limit 3;
 typname | typbyval | typlen | typalign
---------+----------+--------+----------
 bool    | t        |      1 | c
 bytea   | f        |     -1 | i
 char    | t        |      1 | c
(3 rows)

长度列存在负数，负数是对应于变长类型。其中，-2对应的是cstring和unknown类型。-1对应的是其他变长类型。

类型对齐方式有几种取值，分别对应不同长度的对齐：c（char，1），s（short，2），i（int，4），d（double，8）

对齐存储

当你创建一个数据表时，通过检查pg_type中属性长度，合理安排属性顺序，可节省空间，如下例所示。

postgres=# CREATE TABLE t1 (a char , b int2 , c char , d int4 , e char , f int8);
CREATE TABLE
postgres=# CREATE TABLE t2 (f int8 , d int4 , b int2 , a char , c char , e char);
CREATE TABLE
postgres=# insert into t1 values ( 'a',1,'a',1,'a',1);
INSERT 0 1                      
postgres=# insert into t2 values ( 1,1,1,'a','a','a');
INSERT 0 1
postgres=# create extension pageinspect ;
CREATE EXTENSION
postgres=# select lp, t_data from
                     heap_page_items(get_raw_page('t1', 0));
 lp |                       t_data
----+----------------------------------------------------
  1 | \x056101000561000001000000056100000100000000000000
(1 row)

postgres=# select lp, t_data from
                     heap_page_items(get_raw_page('t2', 0));
 lp |                   t_data
----+--------------------------------------------
  1 | \x0100000000000000010000000100056105610561
(1 row)

变长属性列

每个PostgreSQL类型都有一个存储方式，如下查看test表的结构，其中表示了每个列的存储方式。

postgres=# \d+ test
                                         Table "public.test"
 Column |       Type        | Collation | Nullable | Default | Storage  | Stats target | Description
--------+-------------------+-----------+----------+---------+----------+--------------+-------------
 a      | boolean           |           |          |         | plain    |              |
 b      | character varying |           |          |         | extended |              |

可以看出来boolean类型的存储方式是plain，varchar的存储类型是extended。存储方式共有4种：

•PLAIN ：避免压缩和行外存储。

•EXTENDED ：先压缩，后行外存储。

•EXTERNAL ：允许行外存储，但不许压缩。

•MAIN ：允许压缩，尽量不使用行外存储更贴切。

那么，何时压缩数据？何时行外存储呢？

Tuple压缩：当Tuple大小超过大概2KB时，PostgreSQL会尝试基于LZ压缩算法进行压缩。

行外存储（TOAST）：toasted属性的本意是The Oversized-Attribute Storage Technique，对于某个超长的属性单独存储。当某行数据超过PostgreSQL页大小（8k）后，会将这个页放到系统命名空间pg_toast下的一个单独的表中，而在原表中存储一个TOAST pointer，如下。

typedef struct
{
    uint8       va_header;      /* Always 0x80 or 0x01 */
    uint8       va_tag;         /* Type of datum */
    char        va_data[FLEXIBLE_ARRAY_MEMBER]; /* Type-specific data */
} varattrib_1b_e;

typedef struct varatt_external
{
    int32       va_rawsize;     /* Original data size (includes header) */
    int32       va_extsize;     /* External saved size (doesn't) */
    Oid         va_valueid;     /* Unique ID of value within TOAST table */
    Oid         va_toastrelid;  /* RelID of TOAST table containing it */
}            varatt_external;

三、启发

了解了PostgreSQL的Tuple细节，对我们使用PostgreSQL有什么启发呢？

•如果没有NULL值且没有变长字段，那么Tuple的长度是可以估计的；

•合理排列Tuple列，可以减少表占用空间。

–首先是Not NULL固定长度的属性。

–其次是合理排列固定长度的属性

–将所有变长列放到右边

四、新书推荐

《PostgreSQL指南：内幕探索》出版了，该书为《The Internals of PostgreSQL for database administrators and system developers》一书的中文翻译书籍，作者为日本 PostgreSQL 数据库专家 SUZUKI，其中对数据库的集群、架构、SQL 处理、外部表接口、并发控制、垃圾回收、 HOT、堆表、索引存储结构、BUFFER 管理、WAL 日志、时间点恢复、流复制等原理进行了深 入浅出的讲解。

京东链接 ： https://item.jd.com/12527505.html