ZooKeeper不断收到EndOfStreamException,导致崩溃

Question

我的Zookeeper通过在每个节点中保存相关的作业数据来控制不同作业的几个不同队列,直到计算机准备好处理.如果我停止整个服务,那么没有任何作业可以启动ZooKeeper在重启后运行正常.但是,其中一些作业似乎导致ZooKeeper崩溃,并在ZooKeeper日志中显示以下消息:

WARN  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@349] - caught end of stream exception
EndOfStreamException: Unable to read additional data from client sessionid 0x15677f740ad002a, likely client has closed socket
        at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:220)
        at org.apache.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:208)
        at java.lang.Thread.run(Thread.java:745)
INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1001] - Closed socket connection for client /127.0.0.1:46998 which had sessionid 0x15677f740ad002a

我的ZooKeeper知识非常有限,因为我接替了最初设置它的人.

我试图rmr [path]在zookeeper shell中删除很多节点,这似乎有一些效果(删除了50k +剩下的/没有用的节点),但它每天都在崩溃,昨晚我无法得到它会在发生同样的错误/崩溃之前运行超过几分钟.

我如何找出导致这种情况的原因？

我很确定这是收到的数据或存储的数据/节点的一般问题.磁盘仅满92%.我还发现了这篇文章:Zookeeper不断得到WARN:"抓住了流末端异常",但解决方案对我来说没有多大意义.另外我很确定我的znode中保存的消息都不超过1MB,但我不确定如何确认这一点.

有没有什么方法可以更改ZooKeeper日志,以便我可以打印其他信息,例如它崩溃之前运行的znode的内容/名称？

Answer 1

我能够通过从运行ZooKeeper的服务器中删除所有zookeeper快照和日志文件来解决问题.我不知道为什么这会有所不同,但它在过去22小时内一直运行良好.