在 kafka 中使用 postgres 源连接器。它可以正常工作一段时间,然后突然停止并出现上述错误。如果有人知道这个问题请帮忙。
postgresql database-administration database-replication apache-kafka debezium
我正在使用下面的 python 方法创建 gcp 实例:
compute.instances().insert(project=project, zone=zonee, body=config).execute()
Run Code Online (Sandbox Code Playgroud)
在配置变量中,我添加了 serviceAccount 部分:
"serviceAccounts": [
{
"email": SA-email,
"scopes": [
"https://www.googleapis.com/auth/devstorage.read_only",
"https://www.googleapis.com/auth/logging.write",
"https://www.googleapis.com/auth/monitoring.write",
"https://www.googleapis.com/auth/service.management.readonly",
"https://www.googleapis.com/auth/servicecontrol"
"https://www.googleapis.com/auth/trace.append",
"https://www.googleapis.com/auth/compute",
"https://www.googleapis.com/auth/cloud-platform"
]
}
]
Run Code Online (Sandbox Code Playgroud)
我不确定应该为该 SA 电子邮件分配什么角色。如果我提到访问范围,是否意味着这些角色必须分配给 SA 电子邮件?
当我运行上面的代码时。实例创建失败。
我对 SA、角色和范围感到非常困惑。
我应该检查哪些属性来解决上述问题。
我正在使用数据流 kafka 到 bigquery 模板。启动数据流作业后,它会在队列中停留一段时间,然后失败并显示以下错误:
Error occurred in the launcher container: Template launch failed. See console logs.
Run Code Online (Sandbox Code Playgroud)
查看日志时,我看到以下堆栈跟踪:
at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:192)
at org.apache.beam.sdk.Pipeline.run(Pipeline.java:317)
at org.apache.beam.sdk.Pipeline.run(Pipeline.java:303)
at com.google.cloud.teleport.v2.templates.KafkaToBigQuery.run(KafkaToBigQuery.java:343)
at com.google.cloud.teleport.v2.templates.KafkaToBigQuery.main(KafkaToBigQuery.java:222)
Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata –
Run Code Online (Sandbox Code Playgroud)
在启动工作时,我提供了以下参数:
我的 kafka 主题只包含消息:你好
kafka 安装在 gcp 实例中,该实例与数据流工作者位于同一区域和子网中。
dataflow apache-kafka google-cloud-platform google-cloud-dataflow