现在我的RDD中有300多列,但我发现需要动态选择一系列列并将它们放入LabledPoints数据类型中.作为Spark的新手,我想知道是否有任何索引方式可以在RDD中选择一系列列.像temp_data = data[, 101:211]R中的东西.有类似的东西val temp_data = data.filter(_.column_index in range(101:211)...吗？
任何想法都受到欢迎和赞赏.
有没有一种方法可以使用整数按位置引用Spark DataFrame列？
类似的熊猫DataFrame操作：
df.iloc[:0] # Give me all the rows at column position 0