如何忽略U-SQL EXTRACT中不适合模式的无效行？

Question

我正在尝试使用以下U-SQL EXTRACT语句从CSV文件中提取一些数据:

EXTRACT SessionId   string,
        Latitude    double,
        Longitude   double,
        Timestamp   int
FROM "wasb://sessions@myaccount.blob.core.windows.net/"
USING Extractors.Csv();

但是我的工作中途失败了,因为有一行不适合这种模式(在大型数据集中很常见),因为它的列数错误.如何避免整个提取物失败？

Answer 1

请注意,静默标志将执行以下操作:

1. 忽略列数不匹配的行
2. 如果列类型可为空,则将 null替换为null.

它将仍然错误,如果:

1. 该值不能转换为预期的不可空类型.
2. 指定的编码存在无效字符.

Answer 2

使用slient:true参数到Extractors.Csv()ala:

EXTRACT SessionId   string,
        Latitude    double,
        Longitude   double,
        Timestamp   int
FROM "wasb://sessions@myaccount.blob.core.windows.net/"
USING Extractors.Csv(silent:true);