小编Jon*_*han的帖子

从 Google BigQuery 中过滤或替换非英文字符

我正在从 Google Biqquery 中的查询中提取数据。我通过 python 脚本连接到 Google API,在 python 脚本中执行查询并将查询结果写入 CSV 文件。当我从脚本中执行示例数据(100 行)的查询时,一切看起来都很好。但是当我对整个数据执行脚本时,它失败了。

UnicodeEncodeError:“ascii”编解码器无法对位置 38 中的字符 u'\xe7' 进行编码:序数不在范围内(128)

我看到这是一个 python 错误,但是当脚本尝试处理包含非英语字符的记录时会发生这种情况。我在 Hive 中遇到了同样的问题,但我通过使用下面给出的 RLIKE 函数解决了这个问题

  (CASE WHEN FIELD1 not rlike '[^a-zA-Z()\\|\\d\\s\\(_)\\-\\(/):]' THEN FIELD1 ELSE 'data' END) AS FIELD1
Run Code Online (Sandbox Code Playgroud)

Google BigQuery 中是否有类似的方法或功能来查找和替换非英文字符?或者,这可以在 python 脚本中处理吗?

代码片段:

job_id, _results = MY_CLIENT.query("""select FIELD1, FIELD2, FIELD3, FIELD4 FROM TABLE1""", use_legacy_sql=True)
complete, row_count = MY_CLIENT.check_job(job_id)
results = MY_CLIENT.get_query_rows(job_id)
outfile =  open('C:\\Users\\test.csv', 'w')
for row in results:
    for key in row.keys():
        if key == 'FIELD4':
            outfile.write("%s" %str(row[key])) …
Run Code Online (Sandbox Code Playgroud)

python google-bigquery

4
推荐指数
1
解决办法
5608
查看次数

标签 统计

google-bigquery ×1

python ×1