Luigi 从代码中设置配置

Phi*_*ats 3 luigi python-3.6

我已经将一组 luigi 任务包装到一个包中。目前,每个 etl-taskluigi.cfg在同一目录中都有自己的文件,但是由于所有这些.cfg文件都是相同的,它看起来并不理想。最重要的是,我更喜欢从不同的包/环境变量编写 S3 凭据,而不是存储在 git 中的平面文件中。

从包内为 luigi 设置默认/通用配置的最佳方法是什么?

看起来luigi.Configluigi.interface.core包很有希望,但我仍然不确定我需要在哪里执行/启动它们。

小智 5

您可以尝试使用

luigi.configuration.get_config().set('core', 'some_key', 'some_value')
Run Code Online (Sandbox Code Playgroud)

在一个正在运行的实例中。您可以使用访问相同的数据

luigi.configuration.get_config().get('core', 'some_key').
Run Code Online (Sandbox Code Playgroud)