如何在spark中配置hbase？

Question

将spark连接到hbase有哪些步骤？

我有两个主地址.我只是将hbase地址添加到spark classpath中吗？

Answer 1

这篇关于将 Spark 与 HBase 连接的文章应该会有所帮助：http://www.vidyasource.com/blog/Programming/Scala/Java/Data/Hadoop/Analytics/2014/01/25/lighting-a-spark-with-hbase

我是否只需将 hbase 地址添加到 Spark 类路径中？

不，实际上，您应该将 hbase 配置文件放在 Spark 类路径中。如果没有，您应该在代码中设置它们，例如：

    Configuration hConf = HBaseConfiguration.create(conf);
    hConf.set("hbase.zookeeper.quorum", "PDHadoop1.corp.CompanyName.com,PDHadoop2.corp.CompanyName.com");
    hConf.setInt("hbase.zookeeper.property.clientPort", 10000);