小编cri*_*007的帖子

我有一个名为 的文件夹study，其中有一个名为的 JSON 文件data.json，但是当我尝试在同一文件夹中的 python 脚本中打开它时，我得到FileNotFoundError: [Errno 2] No such file or directory: 'data.json'.

然而，当我使用完整的绝对路径时data.json，它就有效了。

data.json如何解决此问题，以便我可以指定与 .py 文件位于同一文件夹中的路径？

这是我的代码：

import json

data = json.load(open("data.json"))

def translate(w):
    return data[w]

word = input("Enter word: ")

print(translate(word))

浏览卡夫卡文档，我发现了这个特殊的配置。leader.imbalance.per.broker.percentage。

直觉上是什么leader.imbalance.per.broker.percentage意思？我怎样才能模拟这个配置的工作？

Type:   int
Default:    10
Valid Values:   
Importance: high
Update Mode:    read-only

为什么这个值是10默认值？

We have Kafka confluent cluster , cluster include 3 Kafka brokers ,

Version details:

Kafka machines are installed on rhel version 7.2 
Kafka confluent version is 0.1x
Zookeeper version: 3.4.10
schema-registry version: 4.0.0

Each Kafka broker machine include the following services

Kafka broker
Zookeeper server
Schema registry

Now we want to add a additionally new 3 Kafka brokers machines to the current Kafka cluster ( the Additional Kafka machines are – kafka04/05/06 with the same Kafka version – 0.1X , …

我已经在 kubernetes 上部署了 strimzi kafka，并且在本地也安装了 kube。但每次我想要在 kafka 中创建一个新主题时，我都需要通过 rancher 导入 yaml 文件并提供主题名称来创建一个主题。

有没有办法直接通过 kubectl 命令创建 kafka 主题？

这些是我用来运行 kafka 的命令：

Producer: kubectl run kafka-producer1 -ti --image=strimzi/kafka:0.18.0-kafka-2.4.0 --rm=true --restart=Never -- bin/kafka-console-producer.sh --broker-list 11.23.41.32:31025 --topic topic-name

Consumer: kubectl run kafka-consumer1 -ti --image=strimzi/kafka:0.18.0-kafka-2.4.0 --restart=Never -- bin/kafka-console-consumer.sh --bootstrap-server 11.23.41.32:31025 --topic topic-name --from-beginning

如果我创建一个新集群，其中包含 1 个代理、1 个主题、1 个分区，复制因子为 3，那么会发生什么？它会在该单个代理下创建 3 个副本（分区）？如果是，如何选举领导人？

所以我正在学习 Kafka，并尝试在 docker compose 文件的帮助下在本地环境中设置它。我正在遵循以下示例：

https://docs.confluence.io/5.0.0/installation/docker/docs/installation/connect-avro-jdbc.html

按照这个例子，我已经完成了相当多的工作，直到进入步骤 8 的后半部分。

当尝试在 Kafka Connect 容器内部执行以下操作时kafka-avro-console-consumer --bootstrap-server kafka:9092 --topic quickstart-jdbc-test --from-beginning --max-messages 10，我收到以下消息，但无法确定它尝试连接的内容：

[2020-10-07 20:45:44,784] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$)
[2020-10-07 20:45:45,431] INFO ConsumerConfig values:
        auto.commit.interval.ms = 5000
        auto.offset.reset = earliest
        bootstrap.servers = [kafka:9092]
        check.crcs = true
        client.id =
        connections.max.idle.ms = 540000
        default.api.timeout.ms = 60000
        enable.auto.commit = true
        exclude.internal.topics = true
        fetch.max.bytes = 52428800
        fetch.max.wait.ms = 500
        fetch.min.bytes = 1
        group.id = console-consumer-7022
        heartbeat.interval.ms = 3000
        interceptor.classes = []
        internal.leave.group.on.close = …

我们在代码中使用下面的图像和命令为 Spring 微服务创建图像，一切正常。

FROM openjdk:8-jdk-alpine

ARG IMAGE_EXPIRATION

LABEL quay.expires-after=$IMAGE_EXPIRATION`

RUN apk update && apk add bash curl dos2unix perl

RUN apk add krb5-dev krb5 krb5-pkinit 

RUN apk add lsof

由于 docker limit pull，我们遇到了 alpine 镜像的问题。当我要求我的公司提取上面的图像并放入我们的码头仓库时。他们告诉我使用redhat openjdk。

我将代码更改为下面的代码，现在出现了不同的错误。

FROM somehostname.com/redhat/ubi8-openjdk1.8

ARG IMAGE_EXPIRATION

LABEL quay.expires-after=$IMAGE_EXPIRATION

RUN yum update && yum install bash curl dos2unix perl

RUN yum install krb5-dev krb5 krb5-pkinit

RUN yum install lsof

我使用 yum 但它说“yum not find”，当我使用 apt-get 时，收到未找到。

请让我知道我需要使用什么命令来安装这些软件包。

提前致谢。

我正在使用数据流 kafka 到 bigquery 模板。启动数据流作业后，它会在队列中停留一段时间，然后失败并显示以下错误：

Error occurred in the launcher container: Template launch failed. See console logs.

查看日志时，我看到以下堆栈跟踪：

at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:192) 
at org.apache.beam.sdk.Pipeline.run(Pipeline.java:317) 
at org.apache.beam.sdk.Pipeline.run(Pipeline.java:303) 
at com.google.cloud.teleport.v2.templates.KafkaToBigQuery.run(KafkaToBigQuery.java:343) 
at com.google.cloud.teleport.v2.templates.KafkaToBigQuery.main(KafkaToBigQuery.java:222) 
Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata –

在启动工作时，我提供了以下参数：

1. 卡夫卡主题名称
2. 引导服务器名称
3. bigquery 主题名称
4. SA电子邮件
5. 区。

我的 kafka 主题只包含消息：你好

kafka 安装在 gcp 实例中，该实例与数据流工作者位于同一区域和子网中。

I am trying to use Kafka's RoundRobinPartitioner class for distributing messages evenly across all the partitions. My Kafka topic configuration is as follows:

name: multischemakafkatopicodd

number of partitions: 16

replication factor: 2

Say, if I am producing 100 messages then each partition should have 6 or 7 messages. But, I am getting something similar to this:

sh /usr/hdp/current/kafka-broker/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 10.0.55.211:9092 --topic multischemakafkatopicodd --time -1
multischemakafkatopicodd:0:26
multischemakafkatopicodd:5:0
multischemakafkatopicodd:10:24
multischemakafkatopicodd:15:0
multischemakafkatopicodd:13:0
multischemakafkatopicodd:8:26
multischemakafkatopicodd:2:26
multischemakafkatopicodd:12:24
multischemakafkatopicodd:14:24
multischemakafkatopicodd:9:0
multischemakafkatopicodd:11:0
multischemakafkatopicodd:4:26
multischemakafkatopicodd:1:0
multischemakafkatopicodd:6:24
multischemakafkatopicodd:7:0 …

我正在尝试在 Ubuntu 18.04LTS Azure VM 上设置 Zookeeper 3.4.10。

根据ZooKeeper 管理员指南 “Java 堆大小不正确。您应该特别注意正确设置 Java 最大堆大小。特别是，您不应该造成 ZooKeeper 交换到磁盘的情况...”

该指南没有给出如何设置最大堆大小的说明。我已经做了一些搜索，并找到了在 Zookeeper/conf 目录中创建 java.env 的建议。我已经做到了这一点，并尝试使用我在研究过程中发现的两种不同方法来设置变量：

尝试#1：

export JVMFLAGS="-Xmx6144m"

尝试#2

#!/bin/bash
export CLASSPATH="~/zookeeper-3.4.10/conf/log4j.properties"
export JVMFLAGS="-Xmx6144m"

进行这些更改并重新启动 Zookeeper 后，我使用以下命令检查了 Java 堆大小：

java -XshowSettings:vm

并且最大堆大小没有改变。

为 Zookeeper 配置最大堆的正确步骤是什么？