我想在 Palantir Foundry 中合并多个数据集,数据集的名称是动态的,因此我无法静态给出数据集名称transform_df()。有没有一种方法可以动态地将多个输入放入transform_df并合并所有这些数据帧?
我尝试循环数据集,例如:
li = ['dataset1_path', 'dataset2_path']
union_df = None
for p in li:
@transforms_df(
my_input = Input(p),
Output(p+"_output")
)
def my_compute_function(my_input):
return my_input
if union_df is None:
union_df = my_compute_function
else:
union_df = union_df.union(my_compute_function)
Run Code Online (Sandbox Code Playgroud)
但是,这不会生成联合输出。
union dynamic pyspark palantir-foundry foundry-code-repositories