标签: apache-zookeeper

我试图获取我们拥有的其中一个 kafka 集群的配置。通过 puppet 进行配置更改后，我想知道 kafka 是否重新加载了配置，或者我们需要为此重新启动服务。

我试过，./kafka-configs.sh --describe --zookeeper my-zookeeper:2181 --entity-type brokers但我只有一个空输出。

我也尝试在zookeepers中查找配置浏览，但我什么也没找到。

有没有办法检索正在使用的配置？

非常感谢

我打算编写一个具有分布式工作进程的应用程序.其中一个将是Leader,它将任务分配给其他进程.设计领导者选举过程非常简单:每个过程都尝试在同一路径中创建一个短暂的节点.无论谁成功,都会成为领导者.

现在,我的问题是如何设计均匀分配任务的过程？这个的任何食谱？

我将详细介绍一下环境设置:

假设有10个工人机器,每个机器运行一个过程,其中一个成为领导者.任务在队列中提交,领导者接收它们并分配给工作人员.每当提交任务时,工作进程都会收到通知.

我是Zookeeper的新手,安装它并运行它是一个真正的问题.我不确定这里有什么问题,但我会解释我正在做些什么来使它更清楚:

1.-我遵循了Apache提供的安装指南.这意味着下载Zookeeper发行版(稳定版)提取文件并移入主目录.

2.-当我使用Ubuntu 12.04时,我修改了.bashrc文件,包括:

export ZOOKEEPER_INSTALL=/home/myusername/zookeeper-3.4.5
export PATH=$PATH:$ZOOKEEPER_INSTALL/bin

3.-在conf/zoo.cfg上创建配置文件

tickTime=2000
dataDir=/var/zookeeper
clientPort=2181

并尝试过:

dataDir=/var/log/zookeeper

和

dataDir=/var/bin/zookeeper

4.-运行启动命令时

zkServer.sh start or `bin/zkServer.sh start` nothing happens and always returns this

JMX enabled by default
Using config: /home/sasuke/zookeeper-3.4.5/bin/../conf/zoo.cfg
mkdir: cannot create directory `/var/zookeeper': Permission denied
Starting zookeeper ... /home/sasuke/zookeeper-3.4.5/bin/zkServer.sh: line 113: /var/zookeeper/zookeeper_server.pid: No such file or directory
FAILED TO WRITE PID

我安装了Java,在zookeper目录中有一个zookeeper.jar文件,我认为它没有运行.在这里检查stackoverflow有一个人说他可以在打字后运行zookeeper

ssh localhost

但是当我尝试这样做时,我得到了这个错误

ssh: connect to host localhost port 22: Connection refused

请帮忙.我在这里试图解决它太久了.

zookeeper入门指南:http: //zookeeper.apache.org/doc/r3.1.2/zookeeperStarted.html 上一个案例用shh localhost Zookeeper解决 :FAILED TO …

我有一个非常奇怪的Python Kazoo库案例.我在下面的代码中做的是 -

一旦我使用kazoo库连接到Zookeeper,我创建一个短暂的节点,然后在其他节点上监视,然后我继续在无限循环中继续运行程序..我还为Zookeeper添加了一个监听器这也将监督国家.

对我来说一切都很好,短暂的节点是起来的,看我的znode也工作正常...

有时,由于连接中断或丢失,我看到很奇怪的行为.正如我上面提到的,我添加了一个监听器,动物园管理员将监视的状态,我有一个print语句以及..我总是看到,这些打印语句得到打印出来Lost,Suspended,Connected,我认为,由于连接中断,之后我的短暂节点消失了,我在znode上的监视也不起作用.

以下是我的代码,它永远运行 -

#!/usr/bin/python

from kazoo.client import KazooClient
from kazoo.client import KazooState
from kazoo.protocol.states import EventType


def watch_host(event):
    print event


def my_listener(state):
    if state == KazooState.LOST:
    # Register somewhere that the session was lost
        print "Lost"
    elif state == KazooState.SUSPENDED:
    # Handle being disconnected from Zookeeper
        print "Suspended"
    else:
    # Handle being connected/reconnected to Zookeeper
    # what are we supposed to do here?
    print "Being Connected/Reconnected"


zk = …

我正在尝试设置Kafka集群(实际上是集群中的第一个节点).

我有一个单节点zookeeper群集设置.我在一个单独的节点上设置kafka.

两者都运行CentOS 6.4,运行IPV6,这是一个PITA.我验证了这些机器可以使用netcat相互通信.

当我启动kafka时,我收到以下异常(导致kafka关闭).编辑:我开始kafka,我不得不host.name在server.config文件中设置属性.

我能够创建一个测试主题并从kafka服务器发送消息.

但是,尝试使用消息时出现相同的错误.

任何帮助,建议？

host.name

这是kazoo readthedocs上提到的代码

election=zk.Election("/electionpath", "my-identifier")

将特定节点作为领导者传递的输入参数是什么？(即/ electionpath和my-identifier在这里指的是什么？)

我想删除一个Kakfa使用者组,以便当应用程序创建使用者并订阅某个主题时,它可以从主题数据的开头开始.

这是使用当前最新的Confluent Platform 3.1.2使用Kafka 0.10.1.1的单节点开发vm.

我尝试了正常的语法:

sudo /usr/bin/kafka-consumer-groups --new-consumer --bootstrap-server localhost:9092 --delete --group my_consumer_group

我收到错误:

Option [delete] is only valid with [zookeeper]. Note that there's no need to delete group metadata for the new consumer as the group is deleted when the last committed offset for that group expires.

如果我尝试使用zookeeper变体:

sudo /usr/bin/kafka-consumer-groups --zookeeper localhost:2181 --delete --group my_consumer_group

我明白了:

Delete for group my_consumer_group failed because group does not exist.

如果我使用"旧"消费者列出,我看不到我的消费者群体(或任何其他消费者群体)

sudo /usr/bin/kafka-consumer-groups --zookeeper localhost:2181 --list

如果我使用"新"消费者列出,我可以看到我的消费者组,但显然我无法删除它:

sudo /usr/bin/kafka-consumer-groups --new-consumer --bootstrap-server localhost:9092 …

如何从服务器崩溃后开始发生的以下错误中恢复？Zookeeper无法启动,并且日志上会反复显示以下消息.

2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib 
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.io.tmpdir=/tmp 
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.compiler=<NA> 
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:os.name=Linux 
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:os.arch=amd64 
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:os.version=3.10.0-514.16.1.el7.x86_64 
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:user.name=zookeeper 
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:user.home=/opt/zookeeper 
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - …

我正在尝试在 kubernetes pod 中运行我的 kafka 和 zookeeper。

这是我的zookeeper-service.yaml：

apiVersion: v1
kind: Service
metadata:
  annotations:
    kompose.cmd: kompose convert
    kompose.version: 1.1.0 (36652f6)
  creationTimestamp: null
  labels:
    io.kompose.service: zookeeper-svc
  name: zookeeper-svc
spec:
  ports:
  - name: "2181"
    port: 2181
    targetPort: 2181
  selector:
    io.kompose.service: zookeeper
status:
  loadBalancer: {}

下边是 zookeeper-deployment.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  annotations:
    kompose.cmd: kompose convert
    kompose.version: 1.1.0 (36652f6)
  creationTimestamp: null
  labels:
    io.kompose.service: zookeeper
  name: zookeeper
spec:
  replicas: 1
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        io.kompose.service: zookeeper
    spec:
      containers:
      - …

我发现了一些主题相似但上下文不同的问题：我可以连接以创建主题，但我无法列出主题，因为我收到了下面提到的错误（据我所知，人们在我进行基本连接时遇到了基本连接问题）我只是为了列出主题列表）。

如果重要，这是我的docker-compose.yml：

version: "3"
services:
    zookeeper:
        image: wurstmeister/zookeeper

    kafka:
        image: wurstmeister/kafka
        ports:
            - "9092:9092"
        environment:
            KAFKA_ADVERTISED_HOST_NAME: "localhost"
            KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181"

我的控制台：

bash-4.4# kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test2
Created topic test2.
bash-4.4# kafka-topics.sh --list --zookeeper localhost:2181
Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
        at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:259)
        at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
        at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253)
        at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:255)
        at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:113)
        at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1858)
        at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:321)
        at kafka.admin.TopicCommand$.main(TopicCommand.scala:54)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)
bash-4.4# kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 …