PostgreSQL的Tuple内幕探索__PostgreSQL的堆表由多个页组成。业内结构如上图所示(代码readme中)，由5部分构成，如下。模块描述页头 24字节长，包含页内的总体信息与空闲空间的位置。行指针每个行指针占4个字节，由两项信息构成(offset,length) ，指向实际的Tuple数据。空闲空间页内未分配的空间，如果FreeSpace剩下的空间放不下一个元组，那么该页就是满了。新的行指针从空闲空间的头部开始分配，相应的Tuple数据从空闲空间的尾部开始分配。 Tuple 实际的Tuple数据特殊空间如果是索引页，那么根据索引类型的不同存储的数据也不同。: 世界上功能最强大的开源数据库...

#### 作者简介
#### 刘阳明，数据库研发工程师，对数据库内核有浓厚兴趣；看好PostgreSQL的前景，希望有PostgreSQL被更多的人深入了解。
### 一、总体结构

![CENTER_PostgreSQL_Community]( /images/news/2019/20190611_1440_图片1.png)

![CENTER_PostgreSQL_Community]( /images/news/2019/20190611_1442_图片2.png)

#### •LSN：在BufferManager中，为了保证WAL的原则（thou shalt write xlog before data），对每个块标记了一个日志序列号（Log Sequence Number）。
#### •prune xid：PostgreSQL中有一个对页内空间进行整理的过程，该列记录了上一个对页进行整理的xid。
#### Item ID(行指针)

![CENTER_PostgreSQL_Community]( /images/news/2019/20190611_1443_图片3.png)

#### 包括偏移和长度两个信心，另外还有一个标记位，标记该行指针的状态。为了节省空间，代码中多处Struct中标记了位域，如下，行指针只占4个字节了。
### 二、Tuple
#### Tuple Header

![CENTER_PostgreSQL_Community]( /images/news/2019/20190611_1445_图片4.png)

#### Tuple头部是由23byte固定大小的前缀和可选的NullBitMap构成。
```
postgres=# SELECT pg_column_size(row());
 pg_column_size
----------------
             24
```
#### 如上，一个空行的大小是24byte，说明最后一个byte被对齐了；
```
postgres=# SELECT pg_column_size(row(NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL));
 pg_column_size
----------------
             24
```
#### 而一个有8个空值的行的长度也是24byte，说明最后一个byte当做了bitmap；
```
postgres=# SELECT pg_column_size(row(NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,NULL));
 pg_column_size
----------------
             32
```
#### 有超过8个空值后，那么就需要重新按照8字节对齐。在Tuple数据中，不会存储Null数据。
#### 另外在tinfomask2和tinfomask中，存储了属性列的个数以及若干标记位，其中就包括HEAP_HASNULL(标识bitmap存不存在)，如下。

![CENTER_PostgreSQL_Community]( /images/news/2019/20190611_1459_图片5.png)
#### Tuple data
#### Tuple由多种类型构成。在PostgreSQL中，pg_type系统表中记录了各种类型的信息；通过如下查询，我们可以知道每个类型的传递方式（值or引用），长度以及对齐方式（和C结构体对齐相似）。
```
postgres=# select typname,typbyval,typlen,typalign from pg_type limit 3;
 typname | typbyval | typlen | typalign
---------+----------+--------+----------
 bool    | t        |      1 | c
 bytea   | f        |     -1 | i
 char    | t        |      1 | c
(3 rows)
```
#### 长度列存在负数，负数是对应于变长类型。其中，-2对应的是cstring和unknown类型。-1对应的是其他变长类型。
#### 类型对齐方式有几种取值，分别对应不同长度的对齐：c（char，1），s（short，2），i（int，4），d（double，8）
#### 对齐存储
#### 当你创建一个数据表时，通过检查pg_type中属性长度，合理安排属性顺序，可节省空间，如下例所示。
```
postgres=# CREATE TABLE t1 (a char , b int2 , c char , d int4 , e char , f int8);
CREATE TABLE
postgres=# CREATE TABLE t2 (f int8 , d int4 , b int2 , a char , c char , e char);
CREATE TABLE
postgres=# insert into t1 values ( 'a',1,'a',1,'a',1);
INSERT 0 1                      
postgres=# insert into t2 values ( 1,1,1,'a','a','a');
INSERT 0 1
postgres=# create extension pageinspect ;
CREATE EXTENSION
postgres=# select lp, t_data from
                     heap_page_items(get_raw_page('t1', 0));
 lp |                       t_data
----+----------------------------------------------------
  1 | \x056101000561000001000000056100000100000000000000
(1 row)

postgres=# select lp, t_data from
                     heap_page_items(get_raw_page('t2', 0));
 lp |                   t_data
----+--------------------------------------------
  1 | \x0100000000000000010000000100056105610561
(1 row)
```
#### 变长属性列
#### 每个PostgreSQL类型都有一个存储方式，如下查看test表的结构，其中表示了每个列的存储方式。
```
postgres=# \d+ test
                                         Table "public.test"
 Column |       Type        | Collation | Nullable | Default | Storage  | Stats target | Description
--------+-------------------+-----------+----------+---------+----------+--------------+-------------
 a      | boolean           |           |          |         | plain    |              |
 b      | character varying |           |          |         | extended |              |
```
#### 可以看出来boolean类型的存储方式是plain，varchar的存储类型是extended。存储方式共有4种：
#### •PLAIN ：避免压缩和行外存储。
#### •EXTENDED ：先压缩，后行外存储。
#### •EXTERNAL ：允许行外存储，但不许压缩。
#### •MAIN ：允许压缩，尽量不使用行外存储更贴切。
#### 那么，何时压缩数据？何时行外存储呢？
#### Tuple压缩：当Tuple大小超过大概2KB时，PostgreSQL会尝试基于LZ压缩算法进行压缩。
#### 行外存储（TOAST）：toasted属性的本意是The Oversized-Attribute Storage Technique，对于某个超长的属性单独存储。当某行数据超过PostgreSQL页大小（8k）后，会将这个页放到系统命名空间pg_toast下的一个单独的表中，而在原表中存储一个TOAST pointer，如下。
```
typedef struct
{
	uint8		va_header;		/* Always 0x80 or 0x01 */
	uint8		va_tag;			/* Type of datum */
	char		va_data[FLEXIBLE_ARRAY_MEMBER]; /* Type-specific data */
} varattrib_1b_e;

typedef struct varatt_external
{
	int32		va_rawsize;		/* Original data size (includes header) */
	int32		va_extsize;		/* External saved size (doesn't) */
	Oid			va_valueid;		/* Unique ID of value within TOAST table */
	Oid			va_toastrelid;	/* RelID of TOAST table containing it */
}			varatt_external;

```
![CENTER_PostgreSQL_Community]( /images/news/2019/20190611_1501_图片6.png)

### 三、启发
#### 了解了PostgreSQL的Tuple细节，对我们使用PostgreSQL有什么启发呢？
#### •如果没有NULL值且没有变长字段，那么Tuple的长度是可以估计的；
#### •合理排列Tuple列，可以减少表占用空间。
#### –首先是Not NULL固定长度的属性。
#### –其次是合理排列固定长度的属性
#### –将所有变长列放到右边
### 四、新书推荐
#### 《PostgreSQL指南：内幕探索》出版了，该书为《The Internals of PostgreSQL for database administrators and system developers》一书的中文翻译书籍，作者为日本 PostgreSQL 数据库专家 SUZUKI，其中对数据库的集群、架构、SQL 处理、外部表接口、并发控制、垃圾回收、 HOT、堆表、索引存储结构、BUFFER 管理、WAL 日志、时间点恢复、流复制等原理进行了深 入浅出的讲解。
#### 京东链接 ： https://item.jd.com/12527505.html

![CENTER_PostgreSQL_Community]( /images/news/2019/20190611_1502_图片7.png)

![CENTER_PostgreSQL_Community](/images/news/2016/pg_bot_banner.jpg)