如何有条件地运行 Kedro 管道的一部分？

Question

我有一个很大的管道，需要几个小时才能运行。其中一小部分需要经常运行，如何在不触发整个管道的情况下运行它？

Answer 1

有多种方法可以指定要运行的节点或管道部分。

1. 使用//等kedro run参数来显式定义需要运行的内容。--to-nodes--from-nodes--node

2. 您kedro>=0.15.2可以定义多个管道，然后使用kedro run --pipeline <name>. 如果未--pipeline指定任何参数，则运行默认管道。默认管道可能会组合多个其他管道。有关使用模块化管道的更多信息：https://kedro.readthedocs.io/en/latest/04_user_guide/06_pipelines.html#modular-pipelines

3. 使用标签。用“小”之类的东西标记管道的一小部分，然后执行kedro run --tag small. 在这里阅读更多信息：https://kedro.readthedocs.io/en/latest/04_user_guide/05_nodes.html#tagging-nodes