小编csa*_*sab的帖子

我有一个表,VehicleModelYear,包含列id,年份,品牌和模型.

以下两个查询按预期工作:

SELECT DISTINCT make, model
FROM VehicleModelYear

SELECT COUNT(DISTINCT make)
FROM VehicleModelYear

但是,此查询不起作用

SELECT COUNT(DISTINCT make, model)
FROM VehicleModelYear

很明显,答案是第一个查询返回的结果数,但只是想知道这个语法有什么问题或者为什么它不起作用.

我的 Redshift 表中有一个带有默认约束的列，以便为其填充当前时间戳。

CREATE TABLE test_table(
    ...
    etl_date_time timestamp DEFAULT GETDATE(),
    ...
);

这在 INSERTS 上按预期工作，但从 S3 复制没有该列键的 json 文件时，我仍然得到空值

COPY test_table FROM 's3://bucket/test_file.json' 
CREDENTIALS '...' FORMAT AS JSON 'auto';

// There shouldn't be any NULLs here, but there are
select count(*) from test_table where etl_date_time is null;

我还尝试在源 JSON 中为键放置一个空值，但这也会导致表中出现 NULL 值。

{
    ...
    "etl_date_time": null,
    ...
}

是否可以自定义Airflow用于记录的格式？

我尝试在$ AIRFLOW_HOME / airflow.cfg中添加LOG_FORMAT变量，但是它似乎没有生效

LOG_FORMAT = "%(asctime)s logLevel=%(levelname)s logger=%(name)s - %(message)s"