我正在使用Spark 1.3.1,我很好奇为什么Spark不允许在地图侧组合上使用数组键.一块combineByKey function:
if (keyClass.isArray) {
if (mapSideCombine) {
throw new SparkException("Cannot use map-side combining with array keys.")
}
}
Run Code Online (Sandbox Code Playgroud) 我有一个将消息放入 Kafka 主题的 Web 应用程序。这个应用程序有很多实例(200 个),每个实例都包含它自己的 Kafka Producer。
问题: