小编Abi*_*ant的帖子

如何在 Palantir Foundry 中联合多个动态输入?

我想在 Palantir Foundry 中合并多个数据集,数据集的名称是动态的,因此我无法静态给出数据集名称transform_df()。有没有一种方法可以动态地将多个输入放入transform_df并合并所有这些数据帧?

我尝试循环数据集,例如:

li = ['dataset1_path', 'dataset2_path']

union_df = None
for p in li:
  @transforms_df(
    my_input = Input(p), 
    Output(p+"_output")
  )
  def my_compute_function(my_input):
    return my_input

  if union_df is None:
    union_df = my_compute_function
  else:
    union_df = union_df.union(my_compute_function)

Run Code Online (Sandbox Code Playgroud)

但是,这不会生成联合输出。

union dynamic pyspark palantir-foundry foundry-code-repositories

5
推荐指数
1
解决办法
1671
查看次数