如何在Scala中将DataFrame转换为DynamicFrame对象

Question

我正在尝试将一些pySpark代码转换为Scala以提高性能。在AWS Glue（使用Apache Spark）中，会自动为您生成一个脚本，该脚本通常使用该DynamicFrame对象来加载，转换和写出数据。但是，DynamicFrame该类并不具有与该类相同的所有功能DataFrame，有时您必须转换回DataFrame对象，反之亦然，以执行某些操作。以下是我如何从pySpark 转换DataFrame为DynamicFrame对象：

    // PySpark version
    // datasource is a DynamicFrame object
    datasource0 = datasource.toDF().limit(5000000)
    applymapping1 = DynamicFrame.fromDF(datasource0, glueContext, "applymapping1")

fromDF在Scala中是否有等效功能可以还原为DynamicFrame对象？

Answer 1

DynamicFrame对象有一个apply方法：

val dynamicFrame = DynamicFrame(dataframe, glueContext)