小编Vit*_*men的帖子

为什么Spark不允许映射端与数组键合并?

我正在使用Spark 1.3.1,我很好奇为什么Spark不允许在地图侧组合上使用数组键.一块combineByKey function:

if (keyClass.isArray) {
  if (mapSideCombine) {
    throw new SparkException("Cannot use map-side combining with array keys.")
  }
}
Run Code Online (Sandbox Code Playgroud)

scala mapreduce apache-spark rdd

7
推荐指数
1
解决办法
3050
查看次数

我可以使用多少个生产者来写入单个主题

我有一个将消息放入 Kafka 主题的 Web 应用程序。这个应用程序有很多实例(200 个),每个实例都包含它自己的 Kafka Producer。

问题:

  1. 每个主题的生产者数量是否存在上限?
  2. Producer 的数量对 Kafka 的性能有影响吗?如果是,如何?
  3. 生产者的最佳实践是什么?每个应用程序一个同步生产者、一个异步生产者还是一个自定义的同步生产者池?

apache-kafka

5
推荐指数
1
解决办法
689
查看次数

标签 统计

apache-kafka ×1

apache-spark ×1

mapreduce ×1

rdd ×1

scala ×1