小编Jac*_*ack的帖子

我正在寻找一个显示所有主题和分区偏移的Kafka命令.如果它是动态的将是完美的.现在我正在使用java代码查看这些信息,但这非常不方便.

我在哪里可以下载java本机方法源代码？例如,我想知道源代码System.arraycopy(),但我找不到.

我正在使用Elasticsearch python客户端作为http://elasticsearch-py.readthedocs.org/ 我努力但仍然找不到upup的更新api.任何人都可以给我一个ES python客户端upx api的例子.

我有一个带有几个表的mysql数据库,我想将mysql数据迁移到ElasticSearch.通过批处理作业将整个数据库迁移到ES很容易.但是我应该如何从mysql实时更新ES.即如果在mysql中有更新操作,那么我应该在ES中执行相同的操作.我研究了mysql binLog,它可以反映mysql的任何变化.但我必须将binLog解析为ES语法,我认为这真的很痛苦.谢谢!(与Solr相同的情况)

我有多个进程同时向ES写入数据,同时两个进程可能同时使用不同的值写入相同的密钥,导致异常如下:

"error" : "VersionConflictEngineException[[website][2] [blog][1]:
             version conflict, current [2], provided [1]]",
"status" : 409

我怎么能解决上面的问题,因为我必须保持多个进程.

Kafka的主要开发人员表示Kafka是CA而CAP是CAP定理.但我很困惑,卡夫卡不是分区容忍的吗？我认为确实如此,当一个复制失败时,另一个将成为领导者并继续工作!

另外,我想知道如果Kafka使用P怎么办？P会伤害C还是A？

我正在使用火花流.根据Spark编程指南(参见http://spark.apache.org/docs/latest/programming-guide.html#accumulators),命名累加器将显示在WebUI中,如下所示: 不幸的是,我无处可寻.我正在注册这样的累加器(Java):

LongAccumulator accumulator = new LongAccumulator();    
ssc.sparkContext.sc().register(accumulator, "my accumulator");

我使用的是Spark 2.0.0.

我有几个关于客户端节点的Elasticsearch问题:

1. 我可以说:任何节点,只要它们打开HTTP端口,我就可以将它们视为"客户端"节点,因为我们可以通过这个节点进行搜索/索引.

2. 其实我们对待节点客户端节点时cluster=false和data=false,如果我设立了10个客户节点,我需要在我的客户端的路线,我的意思是如果我指定clientOne:9200在我的代码为ES门户网站,然后将clientOne着其他HTTP请求到其他客户端节点,否则,clientOne将承受很大的压力.即他们是否在客户端节点之间相互通信？

3. 当我在ES集群中指定客户端节点时,是否应该关闭其他节点的HTTP端口？因为我们只能查询客户端节点.

4. 您是否认为有必要在同一台机器中设置数据节点和客户机节点,或者只是设置数据节点也充当客户机节点,无论如何它都在同一台机器上？

5. 如果ES群集在搜索次数较少/经常被索引的情况下,那么我不必设置客户端节点,因为客户端节点有利于收集数据,对吗？

6. 对于一般的搜索/索引目的,我应该使用http端口还是tcp端口,请问客户角度有什么区别？

我的 Kafka 集群（10 个节点，5 个 zk 节点）突然抛出磁盘错误异常如下：

ERROR [ReplicaFetcher replicaId=196790673, 
leaderId=196790680, fetcherId=0] 
Error for partition test-topic-23 at offset 1012839
(kafka.server.ReplicaFetcherThread)
org.apache.kafka.common.errors.KafkaStorageException: 
Disk error when trying to access log file on the disk

所以我的 Kafka 生产者和消费者失败了，但我仍然可以创建一个具有 36 个分区和 2 个副本的新主题，并且我可以从新主题写入/读取。当我在命令行中尝试读/写旧主题时，有时好有时失败。

我也尝试在磁盘上创建一个文件/文件夹，也可以。所以我很困惑为什么 Kafka 会抛出磁盘错误异常。

我正在使用libpcap作为lib来编写一个C程序来赶上即将来临的IP。我的代码段如下：

struct bpf_program filter;
pcap_compile(pcap_handle, &filter, "icmp[icmptype]=0 and '(dst 16.11.26.100 or dst 16.11.27.100)'", 1, 0);
pcap_setfilter(pcap_handle, &filter);

但这没有用，我仍然可以看到其他目标Ips，而不仅仅是上述两个Ips。