哪些选项可以传递给 AWS Glue DynamicFrame.toDF()？

Question

toDF() 方法的文档指定我们可以将选项参数传递给该方法。但它没有指定这些选项是什么（https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html）。有谁知道是否有关于此的进一步文档？我对从 DynamicFrame 创建 DataFrame 时传递架构特别感兴趣。

Answer 1

不幸的是，没有太多可用的文档，但动态框架源代码的研发和分析表明以下内容：

• toDF 中可用的选项与ResolveOption类的关系比 toDF 本身更多，因为 ResolveOption 类为参数添加了含义（请阅读代码）。
• ResolveOption 类接受 ChoiceType 作为参数。
• 文档中提供的选项示例与ResolveChoicespecs中提供的选项示例类似，也提到了 ChoiceType。
• 选项进一步转换为序列并引用 _jdf 中的 toDF 函数（此处）。

在看到来自sparkspecs的dynamicFrame和toDF的toDF实现后，我的理解是，当从DynamicFrame创建DataFrame时，我们无法传递模式，但只能进行较小的列操作。

话虽如此，一种可能的方法是从动态框架中获取数据帧，然后对其进行操作以更改其模式。