相关疑难解决方法(0)

我在Oracle Linux Server 6.3版上使用PostgreSQL 9.2.

根据存储布局文档,页面布局包含:

• PageHeaderData(24字节)
• n项目的数量(索引项/表项)AKA ItemIdData(4字节)
• 可用空间
• n项目数量
• 特殊空间

我测试它以制作一些公式来估计预期的表格大小......(TOAST概念可能会被忽略.)

postgres=# \d t1;

                      Table "public.t1"
    Column    ','         Type         ','         Modifiers
---------------+------------------------+------------------------------
 code          |character varying(8)    |not null
 name          |character varying(100)  |not null
 act_yn        |character(1)            |not null default 'N'::bpchar
 desc          |character varying(100)  |not null
 org_code1     |character varying(3)    |
 org_cole2     |character varying(10)   |

 postgres=# insert into t1 values(
'11111111', -- 8
'1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111', <-- 100
'Y',
'1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111', <-- 100
'111',
'1111111111');

postgres=# select * from pgstattuple('t1');
 table_len | tuple_count …

我计划从 MySQL 迁移到 PostgreSQL，因为我想使用 TimescaleDB。

一切看起来都很好，直到我检查了 PostgreSQL (v11.2) 与 MySQL (v5.6) 使用的存储大小相比。对于完全相同的行数 (1,440,000) 和内容：

• MySQL：156 MB
• PostgreSQL：246 MB
• PostgreSQL + TimescaleDB（分区/分块数据）：324 MB

MySQL 和 PostgreSQL 的数字就像 for like（即包括索引和其他约束），PostgreSQL + TimescaleDB 有向表添加时间戳的开销。有关的表如下所示：

create table cell(
    cell_id            serial not null
   ,ts                 timestamp not null
   ,parent_id          int references parent( parent_id )
   ,instance_id        smallint
   ,v                  float
   ,a                  float
   ,t                  float
   ,s1                 float
   ,s2                 float
   ,s3                 float
   ,s4                 float
   ,s5                 float
   ,primary key( cell_id )
);
create index ix_cell_pid on cell( parent_id );
create index …

这个 Postgres 数据库拥有各种大小的表，最多可达 1000 万行。几乎所有的都有一个 BIGINT 主键，从 1 开始计数。

由于 BIGINT 是 64 位，但 1000 万行完全在 INT 的 20 亿最大值之内，因此是否值得将这些 BIGINT 列转换为 INT（32 位）和 SMALLINT（16 位）以加速某些重型 SQL？更紧凑地存储索引/表应该会给我们带来更高的缓存命中率。如果有的话，我能期望多少加速？不使用 BIGINT 有什么缺点吗？（假设达到 INT/SMALLINT 的最大值永远不会成为问题）

问题

我被要求将大量数据复制到 Postgres 的新表中。数据包含装配组件列表，在下面的表定义中进行了简化：

CREATE TABLE IF NOT EXISTS assembly_item (
    id               uuid       NOT NULL DEFAULT  NULL,
    assembly_id.     uuid.      NOT NULL DEFAULT  NULL,
    done_dts         timestamp  NOT NULL DEFAULT 'epoch', 

CONSTRAINT assembly_item_pk
    PRIMARY KEY (id) 
);

原来有几十个属性，现在有几亿行。这些记录分布在多个安装中，并且不存储在本地 Postgres 中。据猜测，该表上的插入量会快速增加，一年内将增长到 1B 行。日期很少更新，也从不删除。（它可能会及时发生，但不会经常发生。）相同的情况永远不会id用不同的值重复。因此，在分区级别上唯一是安全的。这里的目标是将这些数据卸载到 Postgres 上，并仅将最近的数据保留在本地服务器的缓存中。assembly_idid