如何从庞大的 postgres 数据库中查询结果？

Question

我正在尝试查询 125GB Postgres 数据库中的几个表。我发现很难快速返回结果！

即使找到一列的唯一行也需要 10 多分钟。我使用命令行或 PHPMyAdmin 之类的工具来触发查询，等待时间保持不变。

例如：

SELECT COUNT (DISTINCT column_name) FROM table_name;

我担心如果在这些表上使用连接操作，这个等待时间会显着增加并且会更加痛苦。

任何人都可以提出什么可能是快速恢复统计数据的可能解决方案？

Answer 1

SELECT COUNT (DISTINCT column_name) FROM table_name;

PostgreSQL 代码中实现“COUNT(DISTINCT...)”的部分已经很老了，最近没有做太多的性能工作。例如，它不能利用并行处理或哈希表。您可以使用子查询重写以利用一些较新的技术：

select count(*) from 
    (select distinct column_name from table_name where column_name is not null) as foo

但是，这并不像您认为的那样微不足道。这是一项艰巨的任务，在输入大量数据时可能需要很长时间。

我担心如果在这些表上使用连接操作，这个等待时间会显着增加并且会更加痛苦。

不要发明要担心的事情。a 的性能COUNT(DISTINCT...)几乎不能说明 JOIN 的性能。编写您想要的查询，然后担心优化该查询，而不是其他与您想要的查询几乎没有关系的查询。

简化查询以查看其组成部分可能需要多长时间是有意义的。但COUNT(DISTINCT...)不太可能是这样一个简化的组成部分。