标签: apache-zookeeper

我使用独立的zookeeper设置了SolrCloud复制.但现在我希望对我的Schema.xml进行一些更改并重新加载核心.问题是当我运行单个服务器Solr(没有solrcloud)时,加载了新模式,但我不知道如何在所有复制服务器上重新加载模式.我尝试在其中一个服务器上重新加载架构,没有任何预期的影响.有没有一种方法可以在使用zookeeper的分布式复制设置中在Solr中重新加载我的schema.xml.

是否有任何现有工具可以帮助读取Zookeeper事务日志？默认情况下,它是二进制格式,我想以人类可读的形式阅读它.

使用CuratorFramework,有人可以解释我怎么做:

1. 创建一个新路径
2. 设置此路径的数据
3. 走这条路

使用用户名foo和密码bar？那些不知道这个用户/通行证的人将无法做任何事情.

出于此问题的目的,我不关心通过明文发送的SSL或密码.

我打算将Spring Boot用于我的任务.它是一个连接数据库的典型服务器应用程序.我知道我可以使用Spring Configuration外部化我的属性,例如数据库连接细节.但我还有其他需要在运行时更新的动态属性.例如鳍状肢/特征标志.我的应用程序的某些功能需要动态控制,例如想象app.cool-feature.enable = true之类的属性,然后在一段时间后app.cool-feature.enable = false关闭相同的功能

有什么建议在运行时采集这种动态行为的最佳做法是什么？我可以想到以下选项来触发变更......

• 使用上述属性更改将JMS消息发送到服务器实例
• 在服务器实例上调用公开的API端点,例如POST http:// myapp/admin/config/update {"config":{"app.cool-feature.enable":true}}

我知道我可以编写我自己的自定义代码来实现这个(这将是第三次),但只是想知道是否已经有我不知道的动态属性配置的标准方法/常见做法.如果它可以与Apache ZooKeeper,coreos etcd,Netflix策展人等其他解决方案一起使用并且与Spring紧密集成,那将会很棒.

思考？

我看到了我们尝试开发的服务的常见模式,我想知道是否有工具/库可以帮助到这里.虽然微服务文献中讨论的默认作业来自REQUEST - > RESPONSE属性,但我们的工作或多或少是半永久性任务的分配.

此类任务的示例

• 在消息队列中侦听来自源X和Y的数据,关联进来的数据并将其存储在Z中.
• 保留一个内存缓冲区,每次有新数据输入时,它会计算过去15分钟数据的运行平均值.

目前我们的服务是用PHP编写的.由于PHP进程的感知开销和与消息队列的连接,我们希望单个服务进程能够同时处理多个这些作业.

一张图表,希望能够说明我们头脑中的设置:

• Service Workers目前是deamonized PHP脚本
• 对于Service Registry,我们正在关注Zookeeper

当Zookeeper(和Curator)进行负载均衡时,我没有找到任何可以分发永久作业的东西(可以更新,可移动,并且必须在工作者死亡时重新分配)

职位经理的职责

• 知道工作
• 了解可以完成这些工作的服务
• 可以将作业分配给服务
• 可以向服务发送作业更新
• 如果工人死亡,可以重新分配工作

是否有任何库/工具可以解决这些问题,因此可以作为作业管理器使用？或者这是一个很大的反模式,我们应该采取其他方式吗？

我的Zookeeper通过在每个节点中保存相关的作业数据来控制不同作业的几个不同队列,直到计算机准备好处理.如果我停止整个服务,那么没有任何作业可以启动ZooKeeper在重启后运行正常.但是,其中一些作业似乎导致ZooKeeper崩溃,并在ZooKeeper日志中显示以下消息:

WARN  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@349] - caught end of stream exception
EndOfStreamException: Unable to read additional data from client sessionid 0x15677f740ad002a, likely client has closed socket
        at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:220)
        at org.apache.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:208)
        at java.lang.Thread.run(Thread.java:745)
INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1001] - Closed socket connection for client /127.0.0.1:46998 which had sessionid 0x15677f740ad002a

我的ZooKeeper知识非常有限,因为我接替了最初设置它的人.

我试图rmr [path]在zookeeper shell中删除很多节点,这似乎有一些效果(删除了50k +剩下的/没有用的节点),但它每天都在崩溃,昨晚我无法得到它会在发生同样的错误/崩溃之前运行超过几分钟.

我如何找出导致这种情况的原因？

我很确定这是收到的数据或存储的数据/节点的一般问题.磁盘仅满92%.我还发现了这篇文章:Zookeeper不断得到WARN:"抓住了流末端异常",但解决方案对我来说没有多大意义.另外我很确定我的znode中保存的消息都不超过1MB,但我不确定如何确认这一点.

有没有什么方法可以更改ZooKeeper日志,以便我可以打印其他信息,例如它崩溃之前运行的znode的内容/名称？

Apache Mesos的"主"节点是否可以与Mesos的"从属"节点共存于同一台机器上？同样(对于高可用性(HA)部署),Mesos"master"选中使用的Apache Zookeeper节点是否可以部署在与Mesos"slave"节点相同的机器上？

Mesos建议将3个"主人"用于HA部署,Zookeeper建议将5个节点用于其仲裁选举系统.将这些服务与Mesos的"奴隶"流程一起运行,而不是将8台机器提交给有效的"非生产性"任务,这将是一件好事.

如果这样的设置是可行的,这种设置的优点/缺点是什么？

谢谢!

当我从docker hub拉出图像时.有时,我想以多容器方式运行图像.所以我选择使用docker-compose.例如,我会跑的动物园管理员在复制的模式.我将新建一个名为docker-compose.yml的文件,并运行docker-compose up并等待它完全初始化.

我的问题是什么是正确的目录我应该将docker-compose.yml文件放入？

由于尝试启动Zookeeper实例时出现故障,我无法运行Apache Kafka服务.我已下载并试用了官方网站上的所有3个可用下载.(二进制和源代码)当我尝试启动zookeeper时

./bin/zookeeper-server-start.sh config/zookeeper.properties

我总是得到相同的错误消息:

Classpath为空.请首先构建项目,例如运行'./gradlew jar -PscalaVersion = 2.11.12'

同样的事情(在启动一个单独的zookeeper(不是kakfa的内置)实例之后)

./bin/kafka-server-start.sh config/server.properties

我在Ubuntu 17.04和18.04下尝试过它.当我在使用Ubuntu 16.04的虚拟机上试用它时,它可以工作.

不幸的是,我发现这个问题的全部内容都适用于Windows.感谢您的任何帮助.

我是Kafka的新手，正在尝试在本地计算机上创建一个新主题。

我正在跟踪此链接。

这是我遵循的步骤：

1. 启动动物园管理员

   bin/zookeeper-server-start.sh config/zookeeper.properties
   

   Run Code Online (Sandbox Code Playgroud)

2. 启动kafka服务器

   bin/kafka-server-start.sh config/server.properties
   

   Run Code Online (Sandbox Code Playgroud)

3. 创建一个话题

   bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
   

   Run Code Online (Sandbox Code Playgroud)

但是在创建主题时，出现以下错误：

Exception in thread "main" joptsimple.UnrecognizedOptionException: bootstrap-server is not a recognized option
    at joptsimple.OptionException.unrecognizedOption(OptionException.java:108)
    at joptsimple.OptionParser.handleLongOptionToken(OptionParser.java:510)
    at joptsimple.OptionParserState$2.handleArgument(OptionParserState.java:56)
    at joptsimple.OptionParser.parse(OptionParser.java:396)
    at kafka.admin.TopicCommand$TopicCommandOptions.<init>(TopicCommand.scala:358)
    at kafka.admin.TopicCommand$.main(TopicCommand.scala:44)
    at kafka.admin.TopicCommand.main(TopicCommand.scala)

创建主题是否需要其他配置？我在做什么错