如何在代码工作簿中合并 Palantir Foundry 中的两个数据集?

con*_*101 3 python union pyspark palantir-foundry foundry-code-workbooks

我需要在 Palantir Foundry 的代码工作簿中合并两个数据集,但我不知道该怎么做。我想使用 Pyspark 来做到这一点。我是Foundry新手,请帮忙!

小智 5

这与您在任何其他环境中使用 PySpark 的方式相同!

如果您想合并具有相同模式的两个数据集,例如datasetAdatasetB,您可以执行类似的操作

dataset_unioned = datasetA.unionByName(datasetB)
Run Code Online (Sandbox Code Playgroud)

同样,这假设(并且您应该确保您的数据结构遵守这一点)您的两个数据集具有相同的架构。请在此处查看 PySpark 文档!