小编NTH*_*NTH的帖子

如何从数据框构建图形?(GraphX)

我是 Scala 和 Spark 的新手,我需要从数据框构建一个图表。这是我的数据框的结构,其中 S 和 O 是节点,列 P 表示边。

+---------------------------+---------------------+----------------------------+
|S                          |P                    |O                           |
+---------------------------+---------------------+----------------------------+
|http://website/Jimmy_Carter|http://web/name      |James Earl Carter           |
|http://website/Jimmy_Car   |http://web/country   |http://website/United_States|
|http://website/Jimmy_Car   |http://web/birthPlace|http://web/Georgia_(US)     |
+---------------------------+---------------------+----------------------------+
Run Code Online (Sandbox Code Playgroud)

这是数据框的代码,我想从数据框“dfA”创建一个图形

 val test = sc
     .textFile("testfile.ttl")
     .map(_.split(" "))
     .map(p => Triple(Try(p(0).toString()).toOption,
                      Try(p(1).toString()).toOption,
                      Try(p(2).toString()).toOption))
     .toDF()

  val url_regex = """^(?:"|<{1}\s?)(.*)(?:>(?:\s\.)?|,\s.*)$"""
  val dfA = test
      .withColumn("Subject", regexp_extract($"Subject", url_regex, 1))
      .withColumn("Predicate", regexp_extract($"Predicate", url_regex, 1))
      .withColumn("Object", regexp_extract($"Object", url_regex, 1))
Run Code Online (Sandbox Code Playgroud)

scala graph dataframe apache-spark spark-graphx

2
推荐指数
1
解决办法
3069
查看次数

标签 统计

apache-spark ×1

dataframe ×1

graph ×1

scala ×1

spark-graphx ×1