那些遇到过的问题

在单个查询中获取分页行和总计数

Abe*_*Abe 5 sql postgresql common-table-expression window-functions

核心需求：查找指定过滤条件, ,
的最新条目。可能有更多这样的过滤器，但无论如何，按提交日期返回最新的逻辑是相同的。有两个主要用途，一是在 UI 中分页查看，二是生成报告。person_idsubmission_datetypeplanstatus

WITH cte AS (
  SELECT * FROM (
    SELECT my_table.*, rank() OVER (PARTITION BY person_id ORDER BY submission_date DESC, last_updated DESC, id DESC) FROM my_table
    )  rank_filter 
      WHERE RANK=1 AND status in ('ACCEPTED','CORRECTED') AND type != 'CR' AND h_plan_id IN (10000, 20000)
)
SELECT
SELECT count(id) FROM cte group by id,
SELECT * FROM cte limit 10 offset 0;
Run Code Online (Sandbox Code Playgroud)

该方法group by也不适用于 CTE。计数查询中所有的联合null可能适用于组合，但不确定。

我想将这两个合并为1个查询的主要原因是因为表很大并且窗口函数很昂贵。目前我使用单独的查询，它们基本上都运行相同的查询两次。

Postgres 版本 12。

\d my_table;
                               Table "public.my_table"
                 Column   |            Type             | Collation | Nullable 
--------------------------+-----------------------------+-----------+----------
 id                       | bigint                      |           | not null 
 h_plan_id                | bigint                      |           | not null 
 h_plan_submitter_id      | bigint                      |           |          
 last_updated             | timestamp without time zone |           |          
 date_created             | timestamp without time zone |           |          
 modified_by              | character varying(255)      |           |          
 segment_number           | integer                     |           |          

 -- <bunch of other text columns>

 submission_date          | character varying(255)      |           |          
 person_id                | character varying(255)      |           |          
 status                   | character varying(255)      |           |          
 file_id                  | bigint                      |           | not null 
Indexes:
    "my_table_pkey" PRIMARY KEY, btree (id)
    "my_table_file_idx" btree (file_id)
    "my_table_hplansubmitter_idx" btree (h_plan_submitter_id)
    "my_table_key_hash_idx" btree (key_hash)
    "my_table_person_id_idx" btree (person_id)
    "my_table_segment_number_idx" btree (segment_number)
Foreign-key constraints:
    "fk38njesaryvhj7e3p4thqkq7pb" FOREIGN KEY (h_plan_id) REFERENCES health_plan(id) ON UPDATE CASCADE ON DELETE CASCADE
    "fk6by9668sowmdob7433mi3rpsu" FOREIGN KEY (h_plan_submitter_id) REFERENCES h_plan_submitter(id) ON UPDATE CASCADE ON DELETE CASCADE
    "fkb06gpo9ng6eujkhnes0eco7bj" FOREIGN KEY (file_id) REFERENCES x12file(id) ON UPDATE CASCADE ON DELETE CASCADE
Run Code Online (Sandbox Code Playgroud)

附加信息typeareEN和CRwith的可能值EN约为数据的 70%。表格列宽select avg_width from pg_stats where tablename='mytable';总计 374，共 41 列，因此每列大约 9 个。

这个想法是预先向用户显示一些页面，然后他们可以通过附加参数进行过滤，例如file_name（每个文件通常有大约 5k 条目）、type（非常低的基数）、member_add_id（高基数）、plan_id（低基数，每 500k 到 100 万个条目将与计划 ID 相关联）。所有情况下的业务要求都是仅显示某组计划 ID 的最新记录submission_date（对于每年完成的报告）。按 id 排序只是防御性编码，同一天可以有多个条目，即使有人编辑倒数第二个条目从而触及时间戳last_updated，我们也只想显示相同数据的最后一个条目。这可能永远不会发生并且可以被删除。

用户可以使用此数据生成 csv 报告。

右连接查询的解释结果如下：

 Nested Loop Left Join  (cost=554076.32..554076.56 rows=10 width=17092) (actual time=4530.914..4530.922 rows=10 loops=1)
   CTE cte
     ->  Unique  (cost=519813.11..522319.10 rows=495358 width=1922) (actual time=2719.093..3523.029 rows=422638 loops=1)
           ->  Sort  (cost=519813.11..521066.10 rows=501198 width=1922) (actual time=2719.091..3301.622 rows=423211 loops=1)
                 Sort Key: mytable.person_id, mytable.submission_date DESC NULLS LAST, mytable.last_updated DESC NULLS LAST, mytable.id DESC
                 Sort Method: external merge  Disk: 152384kB
                 ->  Seq Scan on mytable  (cost=0.00..54367.63 rows=501198 width=1922) (actual time=293.953..468.554 rows=423211 loops=1)
                       Filter: (((status)::text = ANY ('{ACCEPTED,CORRECTED}'::text[])) AND (h_plan_id = ANY ('{1,2}'::bigint[])) AND ((type)::text <> 'CR'::text))
                       Rows Removed by Filter: 10158
   ->  Aggregate  (cost=11145.56..11145.57 rows=1 width=8) (actual time=4142.116..4142.116 rows=1 loops=1)
         ->  CTE Scan on cte  (cost=0.00..9907.16 rows=495358 width=0) (actual time=2719.095..4071.481 rows=422638 loops=1)
   ->  Limit  (cost=20611.67..20611.69 rows=10 width=17084) (actual time=388.777..388.781 rows=10 loops=1)
         ->  Sort  (cost=20611.67..21850.06 rows=495358 width=17084) (actual time=388.776..388.777 rows=10 loops=1)
               Sort Key: cte_1.person_id
               Sort Method: top-N heapsort  Memory: 30kB
               ->  CTE Scan on cte cte_1  (cost=0.00..9907.16 rows=495358 width=17084) (actual time=0.013..128.314 rows=422638 loops=1)
 Planning Time: 0.369 ms
 JIT:
   Functions: 9
   Options: Inlining true, Optimization true, Expressions true, Deforming true
   Timing: Generation 1.947 ms, Inlining 4.983 ms, Optimization 178.469 ms, Emission 110.261 ms, Total 295.660 ms
 Execution Time: 4587.711 ms
Run Code Online (Sandbox Code Playgroud)

Erw*_*ter 7

首先，您可以在同一查询中多次使用 CTE 的结果，这是CTE 的主要功能。）您所拥有的将像这样工作（同时仍然仅使用 CTE 一次）：

WITH cte AS (
   SELECT * FROM (
      SELECT *, row_number()  -- see below
                OVER (PARTITION BY person_id
                      ORDER BY submission_date DESC NULLS LAST  -- see below
                             , last_updated DESC NULLS LAST  -- see below
                             , id DESC) AS rn
      FROM  tbl
      ) sub
   WHERE  rn = 1
   AND    status IN ('ACCEPTED', 'CORRECTED')
   )
SELECT *, count(*) OVER () AS total_rows_in_cte
FROM   cte
LIMIT  10
OFFSET 0;  -- see below
Run Code Online (Sandbox Code Playgroud)

注意事项 1：rank()

rank()person_id每个可以返回多行rank = 1。 DISTINCT ON (person_id) （如 Gordon 提供的）是 - 的适用替代品，row_number()它对您有用，如附加信息所澄清。看：

注意事项 2：ORDER BY submission_date DESC

也submission_date没有last_updated定义NOT NULL。可能是一个问题，请ORDER BY submission_date DESC, last_updated DESC ...参阅：

这些专栏真的应该是吗NOT NULL？

你回复：

是的，所有这些列都应该是非空的。我可以添加这个约束。我将其设置为可为空，因为我们在文件中获取的数据并不总是完美的。但这是非常罕见的情况，我可以输入空字符串。

type 不允许使用空字符串date。保持列可为空。NULL是这些情况的正确值。按照演示使用NULLS LAST以避免NULL被排序在顶部。

注意事项 3：OFFSET

如果OFFSET等于或大于 CTE 返回的行数，则不会得到 row，因此也不会得到总计数。看：

临时解决方案

解决到目前为止的所有警告，并根据添加的信息，我们可能会得到以下查询：

WITH cte AS (
   SELECT DISTINCT ON (person_id) *
   FROM   tbl
   WHERE  status IN ('ACCEPTED', 'CORRECTED')
   ORDER  BY person_id, submission_date DESC NULLS LAST, last_updated DESC NULLS LAST, id DESC
   )
SELECT *
FROM  (
   TABLE  cte
   ORDER  BY person_id  -- ?? see below
   LIMIT  10
   OFFSET 0
   ) sub
RIGHT  JOIN (SELECT count(*) FROM cte) c(total_rows_in_cte) ON true;
Run Code Online (Sandbox Code Playgroud)

现在CTE实际上被使用了两次。保证RIGHT JOIN我们得到总数，无论OFFSET. 应该对基本查询中DISTINCT ON仅有的几行执行 OK-ish 。(person_id)

但你有宽行。平均有多宽？该查询可能会导致对整个表进行顺序扫描。索引不会有太大帮助。所有这些对于寻呼来说仍然是非常低效的。看：

您不能使用用于分页的索引，因为它基于 CTE 的派生表。并且您的分页实际排序标准仍然不清楚（ORDER BY id？）。如果分页是目标，那么您迫切需要不同的查询样式。如果您只对前几页感兴趣，则还需要不同的查询样式。最好的解决方案取决于问题中仍然缺少的信息......

速度更快

对于您更新的目标：

person_id查找by的最新条目submission_date

（为简单起见，忽略“指定的过滤条件、类型、计划、状态”。）

和：

person_id仅当有时才查找最新行status IN ('ACCEPTED','CORRECTED')

基于这两个专门指数：

CREATE INDEX ON tbl (submission_date DESC NULLS LAST, last_updated DESC NULLS LAST, id DESC NULLS LAST)
WHERE  status IN ('ACCEPTED', 'CORRECTED'); -- optional

CREATE INDEX ON tbl (person_id, submission_date DESC NULLS LAST, last_updated DESC NULLS LAST, id DESC NULLS LAST);
Run Code Online (Sandbox Code Playgroud)

运行此查询：

WITH RECURSIVE cte AS (
   (
   SELECT t  -- whole row
   FROM   tbl t
   WHERE  status IN ('ACCEPTED', 'CORRECTED')
   AND    NOT EXISTS (SELECT FROM tbl
                      WHERE  person_id = t.person_id 
                      AND   (  submission_date,   last_updated,   id)
                          > (t.submission_date, t.last_updated, t.id)  -- row-wise comparison
                      )
   ORDER  BY submission_date DESC NULLS LAST, last_updated DESC NULLS LAST, id DESC NULLS LAST
   LIMIT  1
   )

   UNION ALL
   SELECT (SELECT t1  -- whole row
           FROM   tbl t1
           WHERE ( t1.submission_date, t1.last_updated, t1.id)
               < ((t).submission_date,(t).last_updated,(t).id)  -- row-wise comparison
           AND    t1.status IN ('ACCEPTED', 'CORRECTED')
           AND    NOT EXISTS (SELECT FROM tbl
                              WHERE  person_id = t1.person_id 
                              AND   (   submission_date,    last_updated,    id)
                                  > (t1.submission_date, t1.last_updated, t1.id)  -- row-wise comparison
                              )
           ORDER  BY submission_date DESC NULLS LAST, last_updated DESC NULLS LAST, id DESC NULLS LAST
           LIMIT  1)
   FROM   cte c
   WHERE  (t).id IS NOT NULL
   )
SELECT (t).*
FROM   cte
LIMIT  10
OFFSET 0;
Run Code Online (Sandbox Code Playgroud)

这里的每组括号都是必需的。

这种复杂程度应该通过使用给定的索引而不是顺序扫描来更快地检索相对较小的顶行集。看：

submission_date很可能应该是 typetimestamptz或date，而不是character varying(255)- 无论如何，这在 Postgres 中都是一个奇怪的类型定义。看：

更多的细节可能会被优化，但这已经失控了。您可以考虑专业咨询。

  • 我又添加了一种解决方案。 (2认同)

归档时间：

查看次数：

8293 次

最近记录：

5 年，6 月 前
选择每个GROUP BY组中的第一行？ 1205
PostgreSQL按日期时间asc排序,先是null吗？ 69
使用LIMIT/OFFSET运行查询,并获取总行数 56
优化GROUP BY查询以检索每个用户的最新记录 45
在大表上使用OFFSET优化查询 9
更多相关链接
相关归档
如何将多行组合到Oracle中以逗号分隔的列表中？ 101
添加包含总计的摘要行 54
如何在IF语句中检查Sql Server存储过程中的参数是空还是空？ 18
获取sql server 2005中存储过程的权限 14
SQL连接子查询 14
PostgreSQL JDBC Null字符串作为bytea 12
电话号码应该是字符串还是某种能够保存电话号码的数字类型？ 11
你可以在PL/Perl中使用库吗？ 7
从queryset中的jsonfield中选择值 7
如何自动重新连接 Rails 6 PostgreSQL 连接？ 7
难疑归档
如何决定何时使用Node.js？ 2198
Spring中的@ Component,@ Repository和@Service注释有什么区别？ 1969
如何使div不大于其内容？ 1960
如何在Java中拆分字符串 1564
为什么在重写Equals方法时重写GetHashCode很重要？ 1371
如何设置HTML <select>元素的默认值？ 1343
将JavaScript字符串转换为全部小写？ 1260
将图像加载到Bitmap对象时出现奇怪的内存不足问题 1252
有效地使用Git和Dropbox？ 1117
jQuery从下拉列表中获取选定的选项 1067