小编Jos*_*h N的帖子

org.apache.kafka.connect.errors.ConnectException:更改事件生产者中发生异常。该连接器将被停止

在 kafka 中使用 postgres 源连接器。它可以正常工作一段时间,然后突然停止并出现上述错误。如果有人知道这个问题请帮忙。

postgresql database-administration database-replication apache-kafka debezium

5
推荐指数
1
解决办法
5612
查看次数

GCP 中的服务帐户、角色和访问范围之间有什么区别?

我正在使用下面的 python 方法创建 gcp 实例:

compute.instances().insert(project=project, zone=zonee, body=config).execute() 
Run Code Online (Sandbox Code Playgroud)

在配置变量中,我添加了 serviceAccount 部分:

 "serviceAccounts": [
                 {
            "email": SA-email,
            "scopes": [
               "https://www.googleapis.com/auth/devstorage.read_only",
               "https://www.googleapis.com/auth/logging.write",
               "https://www.googleapis.com/auth/monitoring.write",
               "https://www.googleapis.com/auth/service.management.readonly",
               "https://www.googleapis.com/auth/servicecontrol"
               "https://www.googleapis.com/auth/trace.append",
               "https://www.googleapis.com/auth/compute",
               "https://www.googleapis.com/auth/cloud-platform"
         ]
    }
    ]
Run Code Online (Sandbox Code Playgroud)

我不确定应该为该 SA 电子邮件分配什么角色。如果我提到访问范围,是否意味着这些角色必须分配给 SA 电子邮件?

当我运行上面的代码时。实例创建失败。

我对 SA、角色和范围感到非常困惑。

我应该检查哪些属性来解决上述问题。

google-cloud-platform google-iam

3
推荐指数
1
解决办法
3016
查看次数

使用数据流 Kafka 到 bigquery 模板时出错

我正在使用数据流 kafka 到 bigquery 模板。启动数据流作业后,它会在队列中停留一段时间,然后失败并显示以下错误:

Error occurred in the launcher container: Template launch failed. See console logs.
Run Code Online (Sandbox Code Playgroud)

查看日志时,我看到以下堆栈跟踪:

at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:192) 
at org.apache.beam.sdk.Pipeline.run(Pipeline.java:317) 
at org.apache.beam.sdk.Pipeline.run(Pipeline.java:303) 
at com.google.cloud.teleport.v2.templates.KafkaToBigQuery.run(KafkaToBigQuery.java:343) 
at com.google.cloud.teleport.v2.templates.KafkaToBigQuery.main(KafkaToBigQuery.java:222) 
Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata –
Run Code Online (Sandbox Code Playgroud)

在启动工作时,我提供了以下参数:

  1. 卡夫卡主题名称
  2. 引导服务器名称
  3. bigquery 主题名称
  4. SA电子邮件
  5. 区。

我的 kafka 主题只包含消息:你好

kafka 安装在 gcp 实例中,该实例与数据流工作者位于同一区域和子网中。

dataflow apache-kafka google-cloud-platform google-cloud-dataflow

1
推荐指数
1
解决办法
382
查看次数