标签: postgresql-performance

使用 PostgreSQL 8.4，我试图使用 order by 和两个表的索引列查询两个包含 100 万条记录的表，并且我正在失去性能（1 列需要 30 毫秒，两列需要 5 分钟）。例如：

select r.code, r.test_code, r.sample_code, s.barcode, s.registry_date
from requests r
inner join samples s on (s.code = r.sample_code)
order by s.barcode  asc , r.code asc
limit 21;

表信息：

CREATE TABLE public.samples (
  code BIGINT NOT NULL,
  barcode VARCHAR(40) NOT NULL,
  registry_date TIMESTAMP WITH TIME ZONE NOT NULL,
  CONSTRAINT samples_pkey PRIMARY KEY(code)
);

CREATE INDEX idx_samp_barcode ON public.samples (barcode);
CREATE INDEX idx_samp_barcode_code ON public.samples (barcode, code);
CREATE INDEX …

我有一个关于 Postgres 的查询，我还添加了适当的索引。这里有什么遗漏吗？

SELECT orders.*, demo.name as d_name
FROM orders
LEFT JOIN users as demo ON demo.id = orders.dr_id
WHERE orders.customer_id = 526373 
AND (orders.log_id = 300)
AND (orders.order_count_id IN (10, 1, 8, 2, 3))
LIMIT 5

查询计划来自EXPLAIN ANALYZE：

QUERY PLAN
------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit  (cost=2490.30..2867.15 rows=3 width=182) (actual time=33.292..34.115 rows=3 loops=1)
->  Nested Loop Left Join  (cost=2490.30..2867.15 rows=3 width=182) (actual time=33.291..34.113 rows=3 loops=1)
     ->  Bitmap Heap Scan on orders  (cost=2490.02..2842.22 rows=3 width=172) (actual time=33.279..34.097 rows=3 loops=1)
           Recheck Cond: ((customer_id …

我已经阅读了相同架构/查询的 MySQL 和 PostgreSQL 之间的性能差异。以下是对文章的简要复述：

PostgreSQL 表是堆表（意味着没有聚集索引）......（Postgres）表的主键查找需要点击索引，查找文件中的位置，然后点击堆表并拉出记录。这意味着随机磁盘 I/O 的数量... InnoDB 使用不同的方法。使用 InnoDB，表是一个 b 树索引（聚集，物理排序）...... PK 查找所需的随机磁盘 I/O 更少......同时，索引扫描需要遍历两个索引而不是一个（index -> PK index -> table row )，这意味着使用主键以外的任何索引最终都会变慢，而顺序扫描仍然更慢。

哪种查询使用 Postgres 比使用 MySQL InnoDB 快得多？

我理解为什么 PK 查找对于 MySQL 来说要好得多。我不明白：

1. 为什么通过两个索引（InnoDB，通过非 PK 索引查找）查找要慢得多？它是否需要两倍以上的 I/O 或 CPU？它可以弥补 PK 查找提升的巨大好处吗？
2. 为什么 InnoDB 顺序扫描更慢？

PS Internet 说 Postgres 更适合复杂查询和子查询，但我仍然不明白为什么它更好？

我们在每晚凌晨 2 点的负载中有一个更新，它有两次将 CPU 固定在 100% 并且在几个小时后从未完成。我强烈怀疑这是因为统计数据不准确导致连接中出现嵌套循环。我无法在具有相同硬件规格和 postgres 配置的较低环境中重现它。

我需要证明嵌套循环正在发生，然后才能放入 RFC 来解决问题（例如调整分析和自动真空设置）。我已经设置了 auto_explain 但这似乎只捕获了实际完成的查询的计划。如何为未完成的查询记录计划？

在 SQL Server 中，我可以通过使用 @get_plans=1 运行 sp_whoisactive 来做到这一点。我正在 Postgres 中寻找类似的东西。到目前为止，我唯一的想法是使用 cron 运行 EXPLAINs，但这似乎非常复杂。

我们有以下数据库结构

CREATE TABLE objects (
    id       int   PRIMARY KEY,
    name     text,
    address  text
);

CREATE TABLE tasks (
    id int           PRIMARY KEY,
    object_id int    NOT NULL,
    actor_id int     NOT NULL,
    description text
);

CREATE TABLE actors (
    id   int  PRIMARY KEY,
    name text
);

用户输入以空格分隔的单词列表（基本上是搜索词），我们必须搜索满足以下条件的任务：如果每个搜索词在任务描述的串联中至少出现一次，则该任务是“匹配”，其关联对象的名称和地址以及关联参与者的名称。

现在，如果我们不关心性能，我们可以这样做（给定查询“foo bar”）：

SELECT t.id, t.description
FROM tasks AS t
INNER JOIN actors AS a ON t.actor_id = a.id
INNER JOIN objects AS o ON t.object_id = o.id
WHERE to_tsvector(concat_ws(' ', t.description, o.name, o.address, a.name)) @@ …

使用 postgres 9.6，我不明白共享缓冲区如何与索引一起工作。

设置

• Postgres 9.6
• 所有默认设置
  • 共享缓冲区：128Mb
  • 工作内存：4Mb
  • 块大小：8192
  • ...

这意味着 shared_buffer 大小为 128 * 1024 * 1024 / 8192 = 16384 个块。

测试数据

我创建了一个简单的表，其中包含随机数据和每列的索引。

DROP TABLE IF EXISTS sandbox;


CREATE TABLE sandbox AS
SELECT generate_series(1, 4000000) AS pk,
       random() AS x;

CREATE INDEX ON sandbox(pk);
CREATE INDEX ON sandbox(x);

我去了 4M 行。这是表和索引占用的大小：

postgres=# SELECT relname AS "relation",
       pg_relation_size(C.oid) / 8192 AS "blocks",
       pg_size_pretty(pg_relation_size(C.oid)) AS "size"
FROM pg_class C
LEFT JOIN pg_namespace N ON (N.oid = C.relnamespace)
WHERE relname …

我假设可以减慢 postgres 数据库中特定用户的查询访问速度。你会怎么做？有没有办法让用户看到这样的设置已经被放置在他们身上，以及用户可以做些什么来克服它，如果有的话。

基本上我有兴趣在每个用户的基础上限制资源以防止不良行为者滥用系统。

我prices在 PostgreSQL 10 DB 中有一个时间序列表。
这是一个简化的测试用例来说明问题：

CREATE TABLE prices (
    currency text NOT NULL,
    side     boolean NOT NULL,
    price    numeric NOT NULL,
    ts       timestamptz NOT NULL
);

我想快速查询每个currency/side双人组的最后一个值，因为这会给我每种货币的当前买入/卖出价格。

我目前的解决方案是：

create index on prices (currency, side, ts desc);

select distinct on (currency, side) *
 order by currency, side, ts desc;

但这会让我在这个只有 ~30k 行的表中查询非常慢（~500ms）。

在实际的表都有，我想组四列而不是两个。下面是实际的表和查询的样子：

create table prices (
    exchange integer not null,
    pair text not null,
    side …