Say*_*oğu 5 phoenix dataframe apache-spark
我有一个带有模式的df,也用HBoenix在HBase中创建一个表.我想要的是使用spark将此df保存到HBase.我已经尝试了以下链接中的描述,并使用phoenix插件依赖项运行spark-shell.
spark-shell --jars ./phoenix-spark-4.8.0-HBase-1.2.jar,./phoenix-4.8.0-HBase-1.2-client.jar,./spark-sql_2.11-2.0.1.jar
Run Code Online (Sandbox Code Playgroud)
但是,即使我运行读取功能,我也会收到错误消息.
val df = sqlContext.load("org.apache.phoenix.spark", Map("table" -> "INPUT_TABLE",
| "zkUrl" -> hbaseConnectionString))
java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame
Run Code Online (Sandbox Code Playgroud)
我有一种感觉,我走错了路.因此,如果有另一种方法将生成的数据放入HBase中,我将非常感谢您与我分享.
| 归档时间: |
|
| 查看次数: |
1367 次 |
| 最近记录: |