小编Aza*_*nov的帖子

如何将列添加到mapPartitions中的org.apache.spark.sql.Row中

我是斯卡拉和火花的新手,请记住这一点:)

实际上,我有三个问题

  1. 我应该如何定义函数以将其传递到df.rdd.mapPartitions,如果我想创建新的Row,只需要很少的其他列
  2. 如何在Row对象中添加几列(或创建一个新列)
  3. 如何从创建的RDD创建DataFrame

提前谢谢你

scala apache-spark

18
推荐指数
1
解决办法
2万
查看次数

在Scala中继承类型参数类

我有一个带有类型参数的抽象类,很少有它的实现:

abstract class AbstractClass[T] {
    def func: T
}

class DoubleClass extends AbstractClass[Double]{
    def func = 0.0
}
Run Code Online (Sandbox Code Playgroud)

然后我想创建一个需要一些这样的对象序列的函数:

def someFunc(objs: Iterable[AbstractClass]) = objs.foreach(obj=>println(obj.func))
Run Code Online (Sandbox Code Playgroud)

但它说"Class AbstractClass采用类型参数"

我是斯卡拉的新手,肯定做错了什么,但我不知道是什么

scala

1
推荐指数
1
解决办法
51
查看次数

标签 统计

scala ×2

apache-spark ×1