BigQuery argmax:执行 CROSS JOIN UNNEST 时是否保持数组顺序

dle*_*ech 3 arrays cross-join google-bigquery argmax

问题:

在 BigQuery、标准 SQL 中,如果我运行

SELECT *
FROM mytable
CROSS JOIN UNNEST(mytable.array)
Run Code Online (Sandbox Code Playgroud)

我可以确定生成的行顺序与数组顺序相同吗?

例子:

假设我有下表mytable

Row | id   | prediction
1   | abcd | [0.2, 0.5, 0.3]
Run Code Online (Sandbox Code Playgroud)

如果我运行SELECT * FROM mytable CROSS JOIN UNNEST(mytable.prediction),我可以确定行顺序与数组顺序相同吗?即结果表将始终是:

Row | id   | unnested_prediction
1   | abcd | 0.2
2   | abcd | 0.5
3   | abcd | 0.3
Run Code Online (Sandbox Code Playgroud)

有关用例的更多背景信息(argmax):

我试图找到每行中数组的最大值(argmax)的数组索引,即0.5上面数组中的第二个元素()。因此,我的目标输出是这样的:

Row | id   | argmax
1   | abcd | 2
Run Code Online (Sandbox Code Playgroud)

使用按值排序的窗口函数CROSS JOIN和查找argmax 的窗口函数,我可以使用一些测试数据来实现此目的。您可以使用以下查询进行验证:DENSE_RANKpredictionROW_NUMBER

WITH predictions AS (
  SELECT 'abcd' AS id, [0.2, 0.5, 0.3] AS prediction
  UNION ALL
  SELECT 'efgh' AS id, [0.7, 0.2, 0.1] AS prediction
),
ranked_predictions AS (
  SELECT 
    id,
    ROW_NUMBER() OVER (PARTITION BY id) AS rownum, -- This is the ordering I'm curious about
    DENSE_RANK() OVER (PARTITION BY id ORDER BY flattened_prediction DESC) AS array_rank
  FROM
     predictions P
  CROSS JOIN
    UNNEST(P.prediction) AS flattened_prediction
)
SELECT
  id,
  rownum AS argmax
FROM
  ranked_predictions
WHERE array_rank = 1
Run Code Online (Sandbox Code Playgroud)

这可能只是一个巧合,ROW_NUMBER在我的测试中表现良好(即它是根据非嵌套数组排序的),所以最好能确定。

Mik*_*ant 6

我可以确定生成的行顺序与数组顺序相同吗?

您应该使用WITH OFFSET来获取数组中元素的位置,这样您就可以使用它们在进一步的逻辑中进行排序

#standardSQL
WITH `project.dataset.table` AS (
  SELECT 'abcd' id, [0.2, 0.5, 0.3] prediction
)
SELECT id, unnested_prediction
FROM `project.dataset.table`, 
UNNEST(prediction) unnested_prediction WITH OFFSET pos
ORDER BY id, pos  
Run Code Online (Sandbox Code Playgroud)