Vic*_*ter 4 scala apache-spark
我有一个名为source的DataFrame,一个来自mysql的表
val source = sqlContext.read.jdbc(jdbcUrl, "source", connectionProperties)
Run Code Online (Sandbox Code Playgroud)
我已将它转换为rdd
val sourceRdd = source.rdd
Run Code Online (Sandbox Code Playgroud)
但是它的RDD [Row]我需要RDD [String]来进行转换
source.map(rec => (rec.split(",")(0).toInt, rec)), .subtractByKey(), etc..
Run Code Online (Sandbox Code Playgroud)
谢谢
你可以Row. mkString(sep: String): String在这样的map调用中使用方法:
val sourceRdd = source.rdd.map(_.mkString(","))
Run Code Online (Sandbox Code Playgroud)
您可以根据需要更改","参数.
希望对您有所帮助,最诚挚的问候.
| 归档时间: |
|
| 查看次数: |
8687 次 |
| 最近记录: |