小编Say*_*oğu的帖子

Graphx可视化

我正在寻找一种方法来可视化Spark的Graphx中构建的图形.据我所知,Graphx没有任何可视化方法,因此我需要将Graphx中的数据导出到另一个图库,但我被困在这里.我遇到了这个网站:https://lintool.github.io/warcbase-docs/Spark-Network-Analysis/ 但它没有帮助.我应该使用哪个库以及如何导出图表.

visualization apache-spark spark-graphx

7
推荐指数
1
解决办法
6114
查看次数

如何将数据帧保存到HBase中?

我有一个带有模式的df,也用HBoenix在HBase中创建一个表.我想要的是使用spark将此df保存到HBase.我已经尝试了以下链接中的描述,并使用phoenix插件依赖项运行spark-shell.

spark-shell --jars ./phoenix-spark-4.8.0-HBase-1.2.jar,./phoenix-4.8.0-HBase-1.2-client.jar,./spark-sql_2.11-2.0.1.jar 
Run Code Online (Sandbox Code Playgroud)

但是,即使我运行读取功能,我也会收到错误消息.

val df = sqlContext.load("org.apache.phoenix.spark", Map("table" -> "INPUT_TABLE",
         |   "zkUrl" -> hbaseConnectionString))


java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame
Run Code Online (Sandbox Code Playgroud)

我有一种感觉,我走错了路.因此,如果有另一种方法将生成的数据放入HBase中,我将非常感谢您与我分享.

https://phoenix.apache.org/phoenix_spark.html

phoenix dataframe apache-spark

5
推荐指数
0
解决办法
1367
查看次数