从Google云端存储加载csv文件时出现BigQuery错误

Question

我试图加载的数据csv被保存在文件GCS进入BigQuery.csv文件采用UTF-8格式,包含7列.我已经在数据方案中指定了这些列(所有字符串和可空)并且我已经检查了csv文件的内容,这看起来很好.

当我尝试加载数据时,我收到以下错误:

遇到太多错误.(错误代码:无效)gs://gvk_test_bucket/sku_category.csv:CSV表引用列位置1,但从位置开始的行:1750384仅包含1列.(错误代码:无效)

奇怪的是该文件只包含680228行.

当我检查allow jagged lines选项时,正在生成表,但只有第一列填充了整个逗号分隔的字符串.

有人能帮我吗？

示例行

119470,时尚,时尚,男装,男装品牌其他,正式衬衫,长袖衬衫

Answer 1

对我来说，这是一个新行和回车符的问题，请尝试替换特殊字符。我使用下面的代码替换了字符，并解决了加载部分。

df= df.applymap(lambda x: x.replace("\r"," "))
df= df.applymap(lambda x: x.replace("\n"," "))

我使用了lambda函数，因为我不知道在我的情况下哪一列是字符串。如果您对色谱柱有把握，请明智地更换其色谱柱。

尝试替换字符，它也会为您服务。