强制气流以退出代码 1 终止

Question

我在 Airflow 中运行的一些任务偶尔会因为各种原因而失败。有些是我抓到的，有些是新的，也不例外。我想获得退出代码 1 以便收到此类故障的通知。

下面是一个我没有排除的错误示例，有没有办法让 ValueError 产生退出代码 1？

[2019-06-13 12:56:13,630] {bash_operator.py:127} INFO - ValueError: year 43631 is out of range
[2019-06-13 12:56:13,870] {bash_operator.py:127} INFO - 2019-06-13 12:56:13,869 - ODL - INFO - Closing db connection
[2019-06-13 12:56:13,870] {bash_operator.py:127} INFO - 2019-06-13 12:56:13,870 - ODL - INFO - End
[2019-06-13 12:56:13,990] {bash_operator.py:131} INFO - Command exited with return code 0
[2019-06-13 12:56:17,556] {logging_mixin.py:95} INFO - [2019-06-13 12:56:17,555] {jobs.py:2562} INFO - Task exited with return code 0

我还有其他一些代码，其中 try 块使用sys.exit(1). 但是，它没有引发，我是否需要引发此错误才能以 1 退出？

我试过在我的 try 块中使用 sys.exit(1) 。

        if count==0:
            self._logger.error("Missing data, nothing was loaded")
            sys.exit(1)
        else:
            self._logger.info("Data is present, safe to load to prod!")

我希望得到以下信息以便收到失败通知。

2019-06-13 12:56:17,556] {logging_mixin.py:95} INFO - [2019-06-13 12:56:17,555] {jobs.py:2562} INFO - Task exited with return code 1

Answer 1

看起来您正在使用 aBashOperator来调用 Python 脚本。这意味着您需要使用类似的方法set -e来确保 Bash 在遇到 Python 命令上的非零代码时停止执行，并以相同的代码自行退出，请参阅Set -e 在 bash 脚本中意味着什么？更多细节。那么这应该会导致任务失败，正如您所期望的那样。