小编yan*_*zai的帖子

将 PySpark 数据帧转换为 Delta 表

我在 AWS Glue 环境中工作。我从 Glue 目录中读取数据作为动态数据帧,并将其转换为 Pyspark 数据帧以进行自定义转换。为了更新插入新的/更新的数据,我打算使用增量表。

但我只找到从路径读取数据作为增量表的选项。我需要将 Pyspark 数据帧转换为 Delta 表以进行合并操作。有什么办法可以做到这一点吗?

apache-spark pyspark aws-glue delta-lake

5
推荐指数
1
解决办法
1万
查看次数

这些方法中具有上限的参数多态性和子类型多态性有什么区别?

假设我们有两个方法签名

def drive[U <: Vehicle](c : U) = ???
def drive(c : Vehicle) = ???
Run Code Online (Sandbox Code Playgroud)

这些定义之间有什么区别?第二个是第一个的简写还是它们根本不同?它们在概念上是不同的还是只是 scala 语言对它们的处理不同?

scala

2
推荐指数
1
解决办法
76
查看次数

标签 统计

apache-spark ×1

aws-glue ×1

delta-lake ×1

pyspark ×1

scala ×1