小编Kav*_*ree的帖子

将 pandas dataframe 转换为 json 时出现以下错误

OverflowError：编码字符串时不支持 UTF-8 序列长度

这是代码

        bytes_to_write = data.to_json(orient='records').encode()
        fs = s3fs.S3FileSystem(key=aws_access_key_id, secret=aws_secret_access_key)
        with fs.open(file, 'wb') as f:
            f.write(bytes_to_write)

而尝试转换为json的数据包含更多utf-8代码

怎么解决这个问题呢？

我们在雪花中使用 DBT 进行 ELT。想要为 Snowflake 中的每一列添加注释。每次完全刷新后使用 COMMENT 或 ALTER 命令。

决定添加带有命令的宏，并在 on-run-end 挂钩下调用它。

{\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b% macro comment_transactions_master() %}\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\n\n    {% if execute %}\n        (COMMENT ON COLUMN \n        "DEV_SCHEMA"."DBT_TEMP"."TR_MASTER"."TR_ID" IS 'testing comment';\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b)\n    {% endif %}\n\n{\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b% endmacro %}\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\xe2\x80\x8b\n

由于有 100 多个列，并且我是 DBT 新手，是否有更好的方法来执行此操作？

在从 csv 转换为 parquet 时，使用 AWS 胶水 ETL 作业将 csv 中的映射字段作为字符串读取为日期和时间类型。 这是实际的 csv 文件

映射和转换后，日期字段为空，时间与今天的日期连接

如何使用正确的日期和时间格式进行转换？