相关疑难解决方法(0)

如果有任何方法可以使用Scala课程Pyspark,我一直在寻找一段时间,而且我没有找到任何关于这个主题的文档或指南.

假设我创建了一个简单的类,Scala它使用了一些库apache-spark,例如:

class SimpleClass(sqlContext: SQLContext, df: DataFrame, column: String) {
  def exe(): DataFrame = {
    import sqlContext.implicits._

    df.select(col(column))
  }
}

• 有没有可能的方法来使用这个类Pyspark？
• 太难了吗？
• 我必须创建一个.py文件吗？
• 是否有任何指南说明如何做到这一点？

顺便说一句,我也查看了spark代码,感觉有点迷失,我无法为自己的目的复制它们的功能.