小编Ton*_*ony的帖子

如何使用 kafka-console-producer 将 json 文件数据插入到 kafka 主题中？每个json数据集可以存储为一条消息吗？

例子-

{
  "id": 1,
  "first_name": "John",
  "last_name": "Lindt",
  "email": "jlindt@gmail.com",
  "gender": "Male",
  "ip_address": "1.2.3.4"
}

如果您使用此命令 -

cat sampledata.json|kafka-console-producer --broker-list localhost:9092 --topic  stream-test-topic

每行都被视为一个单独的消息。

这样做的正确方法是什么？

谢谢！

ps-

弹性搜索正在阅读该主题。示例 json 消息文件 -

[{
  "id": 1,
  "first_name": "John",
  "last_name": "Lindt",
  "email": "jlindt@gmail.com",
  "gender": "Male",
  "ip_address": "1.2.3.4"
}, {
  "id": 2,
  "first_name": "Peter",
  "last_name": "Friz",
  "email": "Friz3@gmail.com",
  "gender": "Male",
  "ip_address": "4.5.6.7"
}, {
  "id": 3,
  "first_name": "Dell",
  "last_name": "Chang",
  "email": "Dellc@gmail.com",
  "gender": "Female",
  "ip_address": "8.9.10.11"
}, …

我正在使用融合的 kafka 连接服务，但它没有写入日志/var/log/kafka。如何配置它以便它写入日志/var/log/kafka？

目前 /var/log/kafka 只有以下日志文​​件 -

-rw-r--r-- 1 cp-kafka confluent     0 Sep 20 14:51 kafka-request.log
-rw-r--r-- 1 cp-kafka confluent     0 Sep 20 14:51 kafka-authorizer.log
-rw-r--r-- 1 cp-kafka confluent  1622 Nov 13 15:43 log-cleaner.log
-rw-r--r-- 1 cp-kafka confluent  7611 Nov 13 20:57 state-change.log
-rw-r--r-- 1 cp-kafka confluent  1227 Nov 14 11:13 server.log
-rw-r--r-- 1 cp-kafka confluent 16683 Nov 14 11:13 controller.log

当进一步检查时，我发现日志写入/var/log/messages（我不想要）。看看下面connect-log4j.properties：

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%d] %p %m (%c:%L)%n
log4j.logger.org.apache.zookeeper=ERROR
log4j.logger.org.I0Itec.zkclient=ERROR …

我们正在使用镜像生成器来同步本地和 AWS Kafka 主题。如何在其他集群（本例中为 AWS）中以完全相同的方式复制在本地注册的架构的主题？如何使用镜像制作器复制 Avro 架构？

我在我的集​​群的一个节点上运行了confluent-ksql-server.我们可以让ksql由kafka集群外的特定主机/机器连接吗？

PS-这是为开发人员提供ksql访问权限

谢谢 !

我正在尝试使用 DB2--IBM CDC --Kafka构建 CDC 管道 ，并且我正在尝试找出设置此管道的正确方法。我尝试了以下事情 -

1.在Linux on Prem上设置3节点kafka集群

2.使用文件在Linux on prem上安装IIDR CDC软件setup-iidr-11.4.0.1-5085-linux-x86.bin。CDC 实例已启动并正在运行。

各种在线文档建议安装“IIDR 管理控制台”来配置源数据存储和 CDC 服务器配置以及 Kafka 订阅配置来构建管道。

目前我没有安装管理控制台。对此有几个问题 -

1.除了 IBM CDC 管理控制台之外，还有其他替代方案来设置 kafka-CDC 管道吗？

2.如何获取IIDR管理控制台？如果我们将它安装在本地 Windows 桌面上并尝试连接到远程 Linux 服务器上的 CDC/Kafka，它会工作吗？

3.还有其他方法可以将 IIDR CDC 数据摄取到 Kafka 吗？

我对 CDC/ IIDR 还很陌生，请帮忙！