标签: apache-zookeeper

到目前为止,我还没有看到更新zookeeper的好方法.我正在考虑为zookeeper编写一个Web浏览器.即使这样,分层键值也可能不直观.另一个想法是ops更新MySQL表,然后运行脚本来更新Zookeeper,后者又通知所有应用程序.思考？什么是最佳做法？

我有一个网络有一些奇怪的(据我所知)DNS服务器,导致Hadoop或HBase出现故障.

它将我的主机名解析为我的机器不知道的某个地址(即没有这样的界面).

如果我在/ etc/hosts中有以下条目,Hadoop会工作:

127.0.0.1     localhost
127.0.1.1     myhostname

如果进入"127.0.1.1 MYHOSTNAME"是不存在的文件上传到HDFS失败,并抱怨说,它可以将文件复制只有0数据节点,而不是1.

但在这种情况下HBase不起作用:从HBase shell创建表会导致NotAllMetaRegionsOnlineException(实际上由HMaster导致尝试绑定到DNS服务器为myhostname返回的错误地址).

在其他网络中,我使用以下/ etc/hosts:

127.0.0.1   localhost
192.168.1.1 myhostname

Hadoop和HBase都可以使用.问题是在第二个网络中,地址是动态的,我无法将其列入/ etc/hosts以覆盖奇怪的DNS返回的结果.

Hadoop以伪分布式模式运行.HBase也可以在单个节点上运行.

无法更改DNS服务器的行为.在hbase/conf/regionservers中将"localhost"更改为127.0.0.1不会改变任何内容.

有人可以提出一种方法,如何在保留互联网连接的同时覆盖其行为(我实际上是通过Teamviewer在客户端的机器上工作).或者某种方式配置HBase(或它管理的Zookeeper)不使用主机名来确定要绑定的地址？

我目前在Zookeeper集合中有3台机器 - 我已经设置了配置文件,并且整体中的3台机器可以相互通信.

领导选举到底是什么？我是否需要使用LeaderLatch来启动领导者选举,还是在正确设置配置文件后自动执行？

我有一个带有1个zookeeper节点的3节点kafka集群.

查询每个代理的偏移量给了我不同的分区偏移量(分区2).Broker 0卡在Partition 2的特定偏移值上.我对此有几个问题:

1. 这种滞后会影响生产者吗？
2. 消费者可以查询不是该分区的领导者的代理吗？
3. 我在这个分区上丢失了一个ISR; 如何将群集恢复到正常状态？我可以监控哪些指标来检查节点是否正在赶上？

KAFKA版本:0.8.2.1

    /bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic AdServe  --broker-list broker0:9092 --time -1
    AdServe:0:25186452
    AdServe:1:26748318
    AdServe:2:15659873

    ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic AdServe  --broker-list broker1:9092 --time -1
    AdServe:0:25186652
    AdServe:1:26748318
    AdServe:2:19100186

    ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic AdServe  --broker-list broker2:9092 --time -1
    AdServe:0:25187252
    AdServe:1:26748318
    AdServe:2:19103185


Topic status on zookeeper:

    Topic:AdServe   PartitionCount:3    ReplicationFactor:2 Configs:
        Topic: AdServe  Partition: 0    Leader: 1   Replicas: 1,0   Isr: 0,1
        Topic: AdServe  Partition: 1    Leader: 2   Replicas: 2,1   Isr: 2,1
        Topic: AdServe  Partition: 2    Leader: 2   Replicas: 0,2   Isr: 2

我通过$ bash -c"$(curl -s https://install.prediction.io/install.sh)安装PredictionIO "

当我做pio状态时,它显示以下消息:

[INFO] [Console$] Inspecting PredictionIO...
[INFO] [Console$] PredictionIO 0.9.5 is installed at /Users/jia.huang/PredictionIO
[INFO] [Console$] Inspecting Apache Spark...
[INFO] [Console$] Apache Spark is installed at /Users/jia.huang/PredictionIO/vendors/spark-1.5.1
[INFO] [Console$] Apache Spark 1.5.1 detected (meets minimum requirement of 1.3.0)
[INFO] [Console$] Inspecting storage backend connections...
[INFO] [Storage$] Verifying Meta Data Backend (Source: ELASTICSEARCH)...
[INFO] [Storage$] Verifying Model Data Backend (Source: LOCALFS)...
[INFO] [Storage$] Verifying Event Data Backend (Source: HBASE)...
[ERROR] [RecoverableZooKeeper] …

是否有可能知道 solr 在哪里完成索引我的数据？

我使用 solrcloud 4.9.0 和 zookeeper 作为 conf 文件管理器。我有 data.import 文件，但在其中只有索引开始而不是结束时。

我在GCE上使用Kubernetes进行了集群配置，我为Zookeeper和Kafka提供了一个pod。在Zookeeper崩溃并重新启动之前，它一直工作正常，并且开始拒绝来自kafka pod的连接：

拒绝对客户端的会话请求/10.4.4.58:52260，因为它已经看到 zxid 0x1962630

完整的拒绝日志在这里：

2017-08-21 20:05:32,013 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@192] - Accepted socket connection from /10.4.4.58:52260
2017-08-21 20:05:32,013 [myid:] - WARN  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@882] - Connection request from old client /10.4.4.58:52260; will be dropped if server is in r-o mode
2017-08-21 20:05:32,013 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@901] - Refusing session request for client /10.4.4.58:52260 as it has seen zxid 0x1962630 our last zxid is 0xab client must try another server
2017-08-21 20:05:32,013 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1008] - Closed socket …

请帮助我的docker-compose文件。现在，我在docker文件中使用Solr，但是我需要将其更改为SolrCloud。我需要2个Solr实例，一个内部Zookeeper和docker（本地）。这是docker-compose我所做的文件的示例：

version: "3"

services:
  mongo:
    image: mongo:latest
    container_name: mongo
    hostname: mongo
    networks:
      - gsec
    ports:
      - 27018:27017    

  sqlserver:
    image: microsoft/mssql-server-linux:latest
    hostname: sqlserver
    container_name: sqlserver
    environment:
      SA_PASSWORD: "#Password123!"
      ACCEPT_EULA: "Y"
    networks:
      - gsec
    ports:
      - 1403:1433
  solr:
    image: solr
    container_name: solr    
    ports:
     - "8983:8983"
    networks:
      - gsec 
    volumes:
      - data:/opt/solr/server/solr/mycores
    entrypoint:
      - docker-entrypoint.sh
      - solr-precreate
      - mycore
volumes:
  data:

networks:
      gsec:
        driver: bridge

在此先感谢您。

创建命令：

create [-s] [-e] path data 

创建节点时未指定数据字段。可以使用 ZooInspector

我正在尝试使用 KafkaTool 连接到 Kafka。我收到一个错误：连接到集群时出错。未能创建新的 KafkaAdminClient

Kafka 和 Zookeeper 托管在 Docker 中。我运行下一个命令

   docker network create kafka
   docker run --network=kafka -d --name zookeeper -e ZOOKEEPER_CLIENT_PORT=2181 confluentinc/cp-zookeeper:latest
   docker run --network=kafka -d -p 9092:9092 --name kafka -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092 -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 confluentinc/cp-kafka:latest

KafkaTool 的设置

为什么 KafkaTool 无法连接到托管在 Docker 中的 Kafka？