SQLite文件格式初步分析，sqlite初步分析
SQLite版本:3.14.1
1.总体结构
SQLite数据库文件由多个页面组成，每个页面的大小相同。这方便了程序读取页面。
1.1 页面结构
首页面结构如下：
|
文件头 |
大小为100个字节。只有首页面有文件头。 |
|
页面头 |
大小为8个字符，或12个字节。 |
|
Cell指针数组 |
每个cell数组元素大小为2个字节。按顺序存储。下页面底部增长。 |
|
未分配空间 |
|
|
Cell内容区域 |
由页面底部向上增长。 |
1.2 文件头格式
** OFFSET SIZE DESCRIPTION
** 0 16 Header string: "SQLite format 3\000"
** 16 2 Page size in bytes. (1 means 65536)
** 18 1 File format write version
** 19 1 File format read version
** 20 1 Bytes of unused space at the end of each page
** 21 1 Max embedded payload fraction (must be 64)
** 22 1 Min embedded payload fraction (must be 32)
** 23 1 Min leaf payload fraction (must be 32)
** 24 4 File change counter
** 28 4 Reserved for future use
** 32 4 First freelist page
** 36 4 Number of freelist pages in the file
** 40 60 15 4-byte meta values passed to higher layers
**
** 40 4 Schema cookie
** 44 4 File format of schema layer
** 48 4 Size of page cache
** 52 4 Largest root-page (auto/incr_vacuum)
** 56 4 1=UTF-8 2=UTF16le 3=UTF16be
** 60 4 User version
** 64 4 Incremental vacuum mode
** 68 4 Application-ID
** 72 20 unused
** 92 4 The version-valid-for number
** 96 4 SQLITE_VERSION_NUMBER
其中Page size字符指定了页面大小。
1.3 BTree页面头格式
目前，只分析BTree页面。
BTree页面的页面头结构如下：
|
偏移量 |
大小 |
描述 |
|
0 |
1 |
在偏移量为0处的flag，大小为一个字节。此flag表示一个b-tree页面类型。 Flag=2(0x02),页面类型为内部索引b-tree页面(interior index b-tree page) Flag=2(0x05),页面类型为内部表格b-tree页面(interior table b-tree page) Flag=10(0x0a),页面类型为叶子索引b-tree页面(leaf index b-tree page) Flag=13(0x0d),,页面类型为叶子表格b-tree页面(leaf table b-tree page) |
|
1 |
2 |
在偏移量为1处的flag，大小为二个字节，类型为整数。它指定在此页中，freelock的开始的地方。或者是0，如果没有freeblock。 |
|
3 |
2 |
在偏移量为3处的num，大小为二个字节，类型为整数。此num为在此页中cell的数量。 |
|
5 |
2 |
在偏移量为3处的num，大小为二个字节，类型为整数。此数值指定了cell内容区域开始的地方官。如果是0，则被解释为65536。 |
|
7 |
1 |
在偏移量为7处的数值，大小为一个字节。它为此页中fragmente free bytes的数量。 |
|
8 |
4 |
The four-byte page number at offset 8 is the right-most pointer. 此值只在interior b-tree页的头中显示，其它种类的页面中无意义。 |
1.4 Cell内容区域中Cell格式
四种B-Tree对应四种不同的Cell格式，这里只介绍leaf table b-tree page的Cell结构。其结构如下：
|
以varint表示的payload的总字节数 |
包含溢出的字节数。字符数类型为varint。Payload即是保存的数据。此变量为保存数据的大小。 |
|
以varint表示的整数键值 |
例如”rowid”。 |
|
payload的初始化区域 |
不包含分割到溢出页中的payload。即保存数据的地方。 |
|
溢出页面编号 |
一个大端存储的4字节整数。此整数为溢出页面链表中第一个页面的编号。如果所有的payload填满了此b-tree page，则忽略。 |
Varint类型
SQLite中整数键值为64位整数，某些保存长度的变量的类型也为64位整数。64位整数要占8个字节。但在整数值大部分情况下都较小，用不上64位。所以，SQLite使用Huffman编码压缩保存64位整数。压缩后的长度在1到9个字节之间。
2.实例分析
2.1 表结构及数据
CREATE TABLE company
(
id int primary key not null,
name text not null,
age int not null,
address char(50),
salary real);
INSERT INTO "company" VALUES(1,'Paul',32,'California',20000.0);
INSERT INTO "company" VALUES(2,'Allen',25,'Texas',15000.0);2.2 具体文件分析
青绿色部分为文件头部分。橙色+蓝色部分为一个cell。橙色部分为：以varint表示的payload的总字节数+以varint表示的整数键值。蓝色部分为payload的初始化区域。
2.3 对应源码入口
Pager.c文件中的readDbPage函数，从磁盘读入一个页。Bree.c文件中的btreeParseCellPtr函数，解析类型为leaf table b-tree page的cell。