用于火花 3.0 的 Elasticsearch

Question

我在使用 spark3.0 读取弹性时遇到问题。我的 elasticsearch 版本 7.6.0 我使用了相同版本的弹性 jar。请提出解决方案。

Answer 1

Spark 3.0.0 依赖于 Scala 2.12，Elasticsearch-hadoop 尚不支持 Scala 2.12。这个问题和其他一些问题阻止我们将 Spark 3.0.0 与 Elasticsearch 一起使用。如果你想自己编译它，elasticsearch-hadoop ( https://github.com/elastic/elasticsearch-hadoop/pull/1308 )上有一个 pull-request，它至少应该允许使用 scala 2.12。不确定它是否也会解决其他问题。