在talend中运行并行作业

Question

我有一种情况,我需要在talend中并行运行五个不同的子作业.问题是,在我的选择查询中,我将获得五个不同的ID,然后对于每个特定的ID,我需要运行五个不同的作业.tparrallelize组件的问题在于,它不允许我将上下文变量传递给每个子作业,即在这种特定情况下的id.

从表限制5中选择id; ---->具有不同id作为参数的同一作业的五个不同实例

任何帮助将受到高度赞赏

谢谢

Answer 1

我不确定我是否正确理解你在这里所做的事情，但如果你要分解每个 ID 并将它们存储为 5 个单独的上下文变量，那么每个作业都可以访问自己的上下文变量，并为每个作业存储正确的 ID并使用它们。

因此，我将从您的数据库输入组件开始（只需选择您想要的 ID）并将其输入到tFlowToIterate. 通过迭代流将其连接到tFixedFlowInput组件中，并在架构中创建 2 个字段：“键”和“值”。使用内联表指定“key”应为((Integer)globalMap.get("tFlowToIterate_1_CURRENT_ITERATION"))，“value”应为((String)globalMap.get("row1.SupplierPartNumber"))。

然后，我将其放入一个tMap组件中，在"ContextNumber" + row2.key该组件中将其放入映射的键列中，只是为了使其比作为上下文的迭代编号更明显，然后将其直接输入到tContextLoad.

从那里您可以 OnSubjobOK 到您的tParallelize组件并将所有作业链接在一起。在每个作业中配置作业以使用适当的上下文变量。