我在 azure blob 存储中只有几个 CSV 文件,我们正在使用 COPY INTO 命令加载雪花表中的文件。问题是:文件系统是:容器>>文件夹(例如:帐户)>>类似2011-09.csv 2011-10.csv的文件数量,帐户文件夹也有一个子文件夹“快照”,其中也有具有相似数据但名称不同的文件,例如 2019-11_1654478715.csv 因此,在使用 COPY INTO 命令时,Snowflake 中的目标表会填充重复的行。
我正在使用这个:
从 'azure://abc.blob.core.windows.net/abc-abc/account' 复制到 BINGO_DWH_DEV.LANDING.CRM_ACCOUNT_TEMP 凭证=(azure_sas_token= 'abc') ON_ERROR='CONTINUE' FILE_FORMAT=(type=csv field_delimiter) =','FIELD_OPTIONALLY_ENCLOSED_BY='"');
我可以使用带有正则表达式的 COPY INTO 命令的任何想法,该命令只能选择“2011-09.csv”等文件,而不是快照文件夹中的文件。
感谢你的帮助
regex sql azure snowflake-schema snowflake-cloud-data-platform