Bulkloader CSV大小错误

Question

导入包含大单元格的CSV文件时,Bulkloader会引发以下错误:

[ERROR   ] Error in data source thread: field larger than field limit (131072)

这是csv模块的常见问题,可以通过以下方式修复:

csv.field_size_limit(sys.maxint)

如何让bulkloader执行此操作？

Answer 1

试试这个:

在bulkloader.yaml中添加:

python_preamble:
- import: csv_fix
... # the rest of your imports

在csv_fix.py中添加:

import csv, sys
csv.field_size_limit(sys.maxint)