小编Joh*_*ohn的帖子

使用gzip和虚拟列的u-sql问题

我有一个处理压缩文件的u-sql作业有一个奇怪的问题。如果我在普通的csv文件上运行u-sql,则工作正常。但是,如果我对该文件进行gzip压缩,它将不再起作用(生成E_RUNTIME_USER_EXTRACT_ENCODING_ERROR:在顶点的输入拆分中处理0条记录后,发生编码错误。)

所以有效的代码是

DECLARE @path string = "output/{ids}/{*}.csv";

@data =
    EXTRACT
        a string,
        b string,
        c string, 
        d string,
        ids string
    FROM  @path
    USING 
        Extractors.Csv(skipFirstNRows:1, silent: true);

@output = 
    SELECT *
    FROM @data 
    WHERE ids == "test";

OUTPUT @output
TO "output/res.csv"
USING Outputters.Csv(quoting : false, outputHeader: true);
Run Code Online (Sandbox Code Playgroud)

此代码不起作用(文件的gz版本)

DECLARE @path string = "output/{ids}/{*}.csv.gz";

@data =
    EXTRACT
        a string,
        b string,
        c string, 
        d string,
        ids string
    FROM  @path
    USING 
        Extractors.Csv(skipFirstNRows:1, silent: true);

@output = 
    SELECT *
    FROM @data 
    WHERE ids == …
Run Code Online (Sandbox Code Playgroud)

azure-data-lake u-sql

2
推荐指数
1
解决办法
649
查看次数

标签 统计

azure-data-lake ×1

u-sql ×1