Redshift:从字符串执行动态查询

Question

我想在Amazon Redshift上执行存储在字符串字段中的动态SQL查询.

我的背景主要是T-SQL关系数据库.我曾经动态地构建SQL语句,将它们存储到变量中并执行它们.我知道Redshift可以准备和执行语句,但我想知道是否可以执行存储在字符串字段中的查询.

我有一段代码使用pg_*系统表在几个表上使用stats动态构建下面的代码.每个列/表名都是动态计算的.以下是查询输出的示例:

SELECT h_article_id AS key, 'transport_parameters_weight_in_grams' AS col_name, COUNT(DISTINCT transport_parameters_weight_in_grams) AS count_value FROM dv.s_products GROUP BY h_article_id UNION ALL
SELECT h_article_id AS key, 'transport_parameters_width_in_mm' AS col_name, COUNT(DISTINCT transport_parameters_width_in_mm) AS count_value FROM dv.s_products GROUP BY h_article_id UNION ALL
SELECT h_article_id AS key, 'label_owner_info_communication_address' AS col_name, COUNT(DISTINCT label_owner_info_communication_address) AS count_value FROM dv.s_products GROUP BY h_article_id

我想在另一个查询中输入这个动态的代码片段,所以我可以制作一些统计信息,如下所示:

SELECT col_name, AVG(count_value*1.00) AS avg_count
FROM (
  'QUERY ABOVE'
) A
GROUP BY col_name;

这将输出如下内容:

col_name                                avg_count
transport_parameters_weight_in_grams    1.00
transport_parameters_width_in_mm        1.00
label_owner_info_communication_address  0.60

我这样做的自然方式是将所有内容作为字符串存储在变量中并执行它.但我担心Redshift不支持这一点.

有没有其他方法来真正构建动态SQL代码？

Answer 1

现在我们已经添加了对存储过程的支持，这是可能的。“Amazon Redshift 中的存储过程概述”

例如，此存储过程计算表中的行数，并将表名和行数插入到另一个表中。两个表名都作为输入提供。

CREATE PROCEDURE get_tbl_count(IN source_tbl VARCHAR, IN count_tbl VARCHAR) AS $$
BEGIN
EXECUTE 'INSERT INTO ' || quote_ident(count_tbl) 
        || ' SELECT ''' || source_tbl ||''', COUNT(*) FROM ' 
        || quote_ident(source_tbl) || ';' 
RETURN;
END;
$$ LANGUAGE plpgsql;

在您的示例中，要执行的查询可以作为字符串传入。

Answer 2

不。没有一种直接的方法可以在 Redshift 中运行动态构建的 SQL 代码。

您无法像在 MS SQL Server 中那样定义 SQL 变量或创建存储过程。

您可以在 Redshift 中创建Python 函数，但您将使用 Python 与 SQL 进行编码。

您可以使用“PREPARE”和“EXECUTE”语句来运行“预定义”SQL查询，但在将语句传递给执行命令之前，您必须在数据库外部创建语句。通过在数据库外部创建语句，在某种程度上违背了目的......您可以用您“最喜欢的”编程语言创建任何语句。

正如我所说，这种基于 SQL 的数据库内动态 SQL 并不存在。

基本上，您需要在应用程序中运行此逻辑或使用 AWS Data Pipeline 等工具。