试图将 csv 文件加载到 bigquery 表中。有些列的类型是 INTEGER,但一些缺失值是 NULL。所以当我使用命令 bq load 加载时,得到以下错误:
无法将“null”解析为字段的 int
所以我想知道处理这个问题的最佳解决方案是什么,必须先重新处理数据才能加载 bq?
我正在尝试使用服务帐户密钥在 Google Cloud Composer 中设置 Google Cloud Platform 连接。所以我创建了一个 GCS 存储桶并将服务帐户密钥文件放在存储桶中。密钥存储在 JSON 中。在密钥文件路径字段中,我指定了一个 GCS 存储桶,在密钥文件 JSON 字段中,我指定了文件名。范围是https://www.googleapis.com/auth/cloud-platform。
尝试使用此连接启动 Dataproc 集群时,出现找不到 JSON 文件的错误。
查看错误消息,代码尝试使用以下方法解析文件:
with open(filename, 'r') as file_obj这显然不适用于 GCS 存储桶路径。
所以我的问题是,如果不能将这个服务帐户密钥文件放在 GCS 路径中,我应该把它放在哪里?
我正在尝试在 python 中部署一个简单的标准应用程序引擎,然后从那里通过 python bigquery 客户端进行 bigquery 查询。
代码很简单:
from __future__ import absolute_import
import webapp2
import os
from google.cloud import bigquery
class MainPage(webapp2.RequestHandler):
def get(self):
client = bigquery.Client(project = "ancient-ceiling-125223")
project_name = str(client.project)
query_job = client.query("select 1")
assert query_job.state == 'RUNNING'
iterator = query_job.result(timeout= 30)
rows = list(iterator)
self.response.write('nothing to see %s' % (project_name))
app = webapp2.WSGIApplication(
[('/', MainPage)], debug=True)
Run Code Online (Sandbox Code Playgroud)
错误日志:错误出现在虚拟查询请求中
*('Connection broken: IncompleteRead(209 bytes read)', IncompleteRead(209 bytes read)) (/base/data/home/runtimes/python27/python27_lib/versions/third_party/webapp2-2.3/webapp2.py:1528)
Traceback (most recent call last):
File "/base/data/home/runtimes/python27/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1511, in …Run Code Online (Sandbox Code Playgroud)