Ric*_*Liu 6 scala apache-spark rdd
现在我的RDD中有300多列,但我发现需要动态选择一系列列并将它们放入LabledPoints数据类型中.作为Spark的新手,我想知道是否有任何索引方式可以在RDD中选择一系列列.像temp_data = data[, 101:211]R中的东西.有类似的东西val temp_data = data.filter(_.column_index in range(101:211)...吗？
任何想法都受到欢迎和赞赏.
如果它是一个 DataFrame，那么类似这样的事情应该起作用：
val df = rdd.toDF
df.select(df.columns.slice(101,211) : _*)
| 归档时间： |
|
| 查看次数： |
8191 次 |
| 最近记录： |