我有一个处理压缩文件的u-sql作业有一个奇怪的问题。如果我在普通的csv文件上运行u-sql,则工作正常。但是,如果我对该文件进行gzip压缩,它将不再起作用(生成E_RUNTIME_USER_EXTRACT_ENCODING_ERROR:在顶点的输入拆分中处理0条记录后,发生编码错误。)
所以有效的代码是
DECLARE @path string = "output/{ids}/{*}.csv";
@data =
EXTRACT
a string,
b string,
c string,
d string,
ids string
FROM @path
USING
Extractors.Csv(skipFirstNRows:1, silent: true);
@output =
SELECT *
FROM @data
WHERE ids == "test";
OUTPUT @output
TO "output/res.csv"
USING Outputters.Csv(quoting : false, outputHeader: true);
Run Code Online (Sandbox Code Playgroud)
此代码不起作用(文件的gz版本)
DECLARE @path string = "output/{ids}/{*}.csv.gz";
@data =
EXTRACT
a string,
b string,
c string,
d string,
ids string
FROM @path
USING
Extractors.Csv(skipFirstNRows:1, silent: true);
@output =
SELECT *
FROM @data
WHERE ids == …Run Code Online (Sandbox Code Playgroud)