标签: postgresql

我现在正在使用充满国际象棋游戏数据的 Postgres 数据库，其中每个游戏都是“记录”表中的一行。玩家的动作和这些动作的（可选）计算机评估都有自己的列并存储为数组。

我编写了一个查询来检索指定的开局动作序列的所有评估。（你可能认为计算机的评估会是一致的 - 但事实并非如此。）开局序列的长度是任意的 - 可以是一步，也可以是三十步。

下面是一个示例查询，它查找以相同的十步开局序列开始的所有游戏，然后对于每个带有评估的游戏，返回计算机对游戏中该点的评估 -

SELECT evaluation[10]
FROM records
WHERE moves[1:10]::text[] = ARRAY['b4', 'e5', 'Bb2', 'd6', 'Nf3', 'Nf6', 'g3', 'Bg4', 'Bg2', 'h5']::text[]
AND evaluation IS NOT NULL;

我不确定它是否相关，但移动数据始终是 2-6 个字符的字母数字字符串，并且计算机评估大部分是小数（正数和负数），但确实包括偶尔的特殊字符（强制将死者有一个 octothorpe前缀）。

这是表描述的相关片段 -

     Column      |              Type              | 
-----------------+--------------------------------+-
 id              | bigint                         | 
 moves           | character varying(255)[]       |  
 evaluation      | character varying(255)[]       | 
    "records_pkey" PRIMARY KEY, btree (id)
Access method: heap

这是来自 EXPLAIN ANALYZE 的查询计划：

 Gather  (cost=1000.00..736354.70 rows=905 width=516) (actual time=28251.267..28253.139 rows=0 loops=1)
   Workers Planned: 2 …

pg_dump 和 pg_restore 会将 search_path 设置为空字符串，如果有函数在没有显式指定模式名称的情况下调用公共模式中的函数（即：uuid_generate_v4()vs public.uuid_generate_v4()），则会失败。

我如何强制pg_restore使用指定的 search_path 例如public？

是否有某种方法可以通过 SQL 在 PostgreSQL 中创建用户/角色/组（仅当用户/角色/组尚不存在时）？到目前为止，我找到的唯一解决方案是创建自定义存储过程，因为它支持条件。有没有我忽略的更简单的解决方案？谢谢你！

假设我在 Postgres 中有一个具有此值的文本字段：

'bar$foo$john$doe$xxx'

我想将最后一次出现的美元 ( $) 字符替换为另一个字符，例如“-”。替换后该字段的内容应为：

'bar$foo$john$doe-xxx'

我的表包含列的索引total_balance：

\d balances_snapshots
                                          Table "public.balances_snapshots"
    Column     |            Type             | Collation | Nullable |                    Default
---------------+-----------------------------+-----------+----------+------------------------------------------------
 user_id       | integer                     |           |          |
 asset_id      | text                        |           |          |
 timestamp     | timestamp without time zone |           |          | now()
 total_balance | numeric                     |           | not null |
 id            | integer                     |           | not null | nextval('balances_snapshots_id_seq'::regclass)
Indexes:
    "balances_snapshots_pkey" PRIMARY KEY, btree (id)
    "balances_snapshots_asset_id_idx" btree (asset_id)
    "balances_snapshots_timestamp_idx" btree ("timestamp")
    "balances_snapshots_user_id_idx" btree (user_id)
    "balances_total_balance_idx" btree (total_balance)
Foreign-key constraints:
    "balances_snapshots_asset_id_fkey" FOREIGN KEY (asset_id) …

我在带有 docker 的虚拟机上使用 postgresql（和 Postgis）已经很多年了，我开始习惯于调整服务器参数和优化请求，而且我从来没有遇到过使用 Azure Postgresql 时遇到的那种问题。

问题如下：写入速度很慢（通常与普通 PG 相比约为 X2），但真空和索引非常慢。有一次，我们需要在 5 亿行上创建 PostGIS 索引，在另一台服务器上大约需要 30 分钟，在 Azure 实例上则需要一天以上的时间。

我尝试修改服务器参数，检查请求，最后回到基础检查服务器的性能，但我仍然不明白是否有我遗漏的东西或者Azure Postgres是否有大问题。

这是我所做的比较：

• 服务器：
  • PG测试：
    • 托管在虚拟机上的基本 docker postgres 11（SSD，足够的内存和内核，但它并不真正相关）
    • 启动命令：docker run --rm -e POSTGRES_PASSWORD=pass -d postgres:11.14-stretch
  • PG蔚蓝：
    • 适用于 postgresql 的 Azure 数据库，单服务器，内存优化的 8 核，1028Gb 存储
    • 默认服务器参数
• 从本地 PC 进行测试（我不太关心响应时间）：
  • 使用pgbench并创建一个因子为 50 的表 (cmd: pgbench -i -s 50)
  • 查看创建表、vacuum和索引的时间

这是我能找到的最简单且可重现的。确切的结果可能略有不同，但其想法是相同的：

读取性能似乎相当不错，所以这实际上是一个写入问题，对我们来说更成问题的是索引创建，我看不出有什么可以解释这一点。

这对我们来说是一个大问题，我怀疑这种差异可以通过参数的一些调整来改变，除非有特定于 Azure 的东西？

我错过了什么大事吗？只有我有这样的表现吗？还是系统本身的限制？（我读到磁盘大小会影响 IOPS，但查看图表，这里似乎没有问题，我们尝试添加磁盘，但它没有太大变化）也许灵活的服务器没有这个问题？

编辑：

当然，我们测试了使用 3 种不同类型的服务（4 种可能的服务）创建新的 Azure postgres 服务，这些服务是我们刚刚创建的，没有修改。我做了和以前一样的测试，每个服务2次，取平均值。我添加了参考（称为上面的 PG …

在PG中你可以创建一个像这样的表

CREATE TABLE foo (
  id uuid PRIMARY KEY DEFAULT gen_random_uuid (),
  name text NOT NULL,
  things text[] NOT NULL DEFAULT ARRAY[] ::text[]
)

以及相关索引

CREATE INDEX foo_text ON foo USING btree (name, things);

但很难找到有关其作用的信息。我继承了一个像这样的表（数亿行，尽管这个数组几乎总是有 0 或 1 个条目），并且索引确实在 pg_stat_all_indexes 中偶尔命中，所以至少在某些情况下可以发生了，但我也注意到，相对于其他索引，该索引占用了大量空间，并且清理速度要慢得多。 PG 中数组字段的索引有意义吗？btree

如果目标是能够找到things包含所提供的一个或多个值的行，是否有更好的方案？（假设我们此时无法将其正确规范化为它自己的表。）

我们期望查询会命中该索引，如下所示

SELECT id FROM foo
WHERE name = $1
AND $2::text = ANY(things)

SELECT id FROM FOO
WHERE name = $1
AND things @> $2::text[]

我想为表中与传递到存储过程的行 id 数组匹配的每个条目设置一个布尔值。帮我破解正确的语法来完成这个任务？以下是我所得到的最接近的结果。

CREATE PROCEDURE tester (id_list bigint[])
AS
$$
UPDATE some_table
SET touched = true
WHERE id IN (unnest(id_list));
$$ LANGUAGE sql;

CALL tester(ARRAY[12, 34]);

我有一个具有以下结构的数据库：

注意：我事先不知道“类型”列中的值，因为它们是由用户定义的。此外，可以有多行具有重叠的日期、角色和类型。

我正在使用一个图表库，希望将数据分组如下：

到目前为止，我可以使用以下查询对数据进行分组

select 
    role,
    type, 
    sum(duration) as total_minutes
from work
group by role, type;

如何“旋转”/“转置”数据，以便每一行代表一个角色，其中一列包含每种类型工作的分钟总和？

实际上，我想转置类似于 Pandas DataFrame.pivot_table函数的数据，但仅使用 SQL。

我对 PostgreSQL 和 PostGIS 有一些问题。

在使用特殊光栅文件上的一些坐标运行以下查询后，我收到错误。

直到上周，它都运行良好。

查询是：

select (ST_ValueCount(ST_Union(ST_Clip(r.rast,r.geom,true),1,'area_sum'))).* from (select * ,(SELECT (ST_SetSRID(ST_GeomFromGeoJSON('{ "type": "Polygon", "coordinates": [[[47.48034200000001,39.13347600000003],[47.49611600000003,39.114525000000015],[47.510418000000016,39.10534899999999],[47.52599799999996,39.08644900000013],[47.54254200000014,39.05803700000013],[47.53256200000004,39.0290940000001],[47.52131200000002,39.00986000000012],[47.49699400000003,38.99015700000001],[47.498607000000106,38.97137000000009],[47.52537600000005,38.96289400000006],[47.52689400000003,38.94405700000004],[47.54134800000014,38.92563300000012],[47.529907000000094,38.906041000000016],[47.519521,38.87627100000009],[47.521041000000025,38.85683000000006],[47.54817600000001,38.83865400000002],[47.58924400000001,38.80162500000006],[47.59110200000009,38.762773000000095],......]]}'), 4326)))as geom from public.layer where filename in ( 'myrasterfile.tif') ) as r where ST_Intersects(r.rast,r.geom))

错误是：

SQLSTATE[08006] [7] FATAL:  the database system is in recovery mode

Run Code Online (Sandbox Code Playgroud)

为什么我的 PostgreSQL 实例在此查询过程中进入恢复模式？

我应该怎么办？