标签: apache-zookeeper

调用org.apache.zookeeper.server.quorum.QuorumPeerMain.main()不起作用.

我在3个不同的aws服务器上安装了zookeeper.以下是所有服务器中的配置

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/zookeeper
clientPort=2181
server.1=x.x.x.x:2888:3888
server.2=x.x.x.x:2888:3888
server.3=x.x.x.x:2888:3888

所有这三个实例都有一个带有适当id 的myid文件var/zookeeper.所有三台服务器都从aws控制台打开了所有端口.但是当我运行zookeeper服务器时,我在所有实例中都收到以下错误.

2015-06-19 12:09:22,989 [myid:1] - WARN  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@382] 
  - Cannot open channel to 2 at election address /x.x.x.x:3888
java.net.ConnectException: Connection refused
  at java.net.PlainSocketImpl.socketConnect(Native Method)
  at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
  at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)
  at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
  at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
  at java.net.Socket.connect(Socket.java:579)
  at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)
  at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectAll(QuorumCnxManager.java:402)
  at org.apache.zookeeper.server.quorum.FastLeaderElection.lookForLeader(FastLeaderElection.java:840)
  at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:762)
2015-06-19 12:09:23,170 [myid:1] - WARN  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@382]
   - Cannot open channel to 3 at election address /x.x.x.x:3888
java.net.ConnectException: Connection refused
  at java.net.PlainSocketImpl.socketConnect(Native Method)
  at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
  at …

我想通过java在Kafka(kafka_2.8.0-0.8.1.1)中创建一个主题.如果我在命令提示符下创建一个主题,并且如果我通过java api推送消息,它工作正常.但我想通过java api创建一个主题.经过长时间的搜索,我发现下面的代码,

ZkClient zkClient = new ZkClient("localhost:2181", 10000, 10000);
AdminUtils.createTopic(zkClient, myTopic, 10, 1, new Properties());

我尝试了上面的代码,它显示主题已创建,但我无法在主题中推送消息.我的代码中有什么问题吗？或者以其他任何方式实现上述目标？

我正在尝试在Windows上安装Kafka消息队列以进行测试(不适用于生产:D).

我只发现了这篇关于如何在Windows上安装Apache Kafka 0.8的文章:http://janschulte.wordpress.com/2013/10/13/apache-kafka-0-8-on-windows/

这很酷但是:

1. 它已经过时了
2. 这太复杂了......

有人知道一个简单的方法来实现这一目标吗？

谢谢.

我正在使用zookeeper从kafka获取数据.在这里,我总是从最后一个偏移点获取数据.有没有办法指定偏移时间来获取旧数据？

有一个选项autooffset.reset.它接受最小或最大.有人可以解释什么是最小和最大的.autooffset.reset可以帮助从旧的偏移点而不是最新的偏移点获取数据吗？

我是Hadoop/ZooKeeper的新手.我无法理解将ZooKeeper与Hadoop一起使用的目的,是ZooKeeper在Hadoop中编写数据吗？如果没有,那么我们为什么要使用ZooKeeper和Hadoop？

为什么消费者连接到zookeeper来检索分区位置？而且kafka生产者必须连接到其中一个代理来检索元数据.

我的观点是,当每个经纪人已经拥有所有必要的元数据来告诉生产者发送他们的消息的位置时,使用zookeeper究竟是什么？经纪人难道不能向消费者发送同样的信息吗？

我可以理解为什么代理拥有元数据,每次向它们发送新消息时都不必与zookeeper建立连接.动物园管理员有没有我失踪的功能？我发现很难想到为什么在kafka集群中确实需要zookeeper的原因.

我们在开发机器上有一个独立的zookeeper设置.它适用于除了这一台testdev机器之外的所有其他开发机器.

当我尝试通过testdev连接到zookeeper时,我们一遍又一遍地得到这个错误:

2012-11-09 14:06:53,909 - INFO  [main-SendThread(zk01.dev.bunchball.net:2181):ClientCnxn$SendThread@947] - Socket connection established to zk01.dev.bunchball.net/192.168.8.58:2181, initiating session
2012-11-09 14:06:53,911 - INFO  [main-SendThread(zk01.dev.bunchball.net:2181):ClientCnxn$SendThread@1183] - Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect
2012-11-09 14:06:55,366 - INFO  [main-SendThread(zk01.dev.bunchball.net:2181):ClientCnxn$SendThread@1058] - Opening socket connection to server zk01.dev.bunchball.net/192.168.8.58:2181
2012-11-09 14:06:55,368 - INFO  [main-SendThread(zk01.dev.bunchball.net:2181):ClientCnxn$SendThread@947] - Socket connection established to zk01.dev.bunchball.net/192.168.8.58:2181, initiating session
2012-11-09 14:06:55,368 - INFO  [main-SendThread(zk01.dev.bunchball.net:2181):ClientCnxn$SendThread@1183] - Unable to read additional data from server sessionid …

我已经写了一个kafka consumer,producer直到今天这个工作正常.今天早上,当我开始zooekeeper和kafka我的消费者没有成功读取消息,并在Zookeeper log我读了这个错误

INFO Got user-level KeeperException when processing sessionid:0x151c41e62e10000 type:create cxid:0x2a zxid:0x1e txntype:-1 reqpath:n/a Error Path:/brokers/ids Error:KeeperErrorCode = NodeExists for /brokers/ids (org.apache.zookeeper.server.PrepRequestProcessor)

你可以帮帮我吗？在短短几天内可能会发生什么变化？我不明白.非常感谢你.

来自ZooKeeper FAQ:

Reliability:

A single ZooKeeper server (standalone) is essentially a coordinator with
no reliability (a single serving node failure brings down the ZK service).

A 3 server ensemble (you need to jump to 3 and not 2 because ZK works
based on simple majority voting) allows for a single server to fail and
the service will still be available.

So if you want reliability go with at least 3. We typically recommend
having 5 servers in "online" …