小编phe*_*der的帖子

当气流尝试写入日志时,错误 13 权限被拒绝

我们在使用 Airflow 时遇到权限错误,收到以下错误:

PermissionError: [Errno 13] Permission denied: '/usr/local/airflow/logs/scheduler/2019-12-18/../../../../home
Run Code Online (Sandbox Code Playgroud)

我们已经尝试在容器内的 /usr/local/airflow/logs/schedule 目录上使用 chmod 777 -R ,但这似乎没有成功。

我们在 entrypoint.sh 脚本中有这一段:

export AIRFLOW__CORE__BASE_LOGS_FOLDER="/usr/local/airflow/logs

有没有其他人遇到过这个气流日志权限问题?似乎无法在网上找到太多关于此的信息。

permissions logging airflow airflow-scheduler

7
推荐指数
5
解决办法
1万
查看次数

Airflow - 从 UI 中的 DAG 搜索结果页面删除后,已删除的任务实例不会重新运行

我们正在运行大量 DAGS,因此每个日历日期都有数千个任务实例。我们有零星的失败日期,我们正在尝试尽可能高效地重新运行这些日期。

我们尝试使用的方法是使用 UI 的搜索功能来缩小失败的单个日期的完整列表,然后单击“删除”(据我所知,这相当于“清除”任务实例),如下所示截屏。

在此输入图像描述

我们使用 catchup = True 来自动重新运行已清除的日期,但在检查应重新运行这些已删除日期的各个 DAG 后,日期根本不再出现。即使处于“清除”或“运行”状态也不行。日期根本不存在。例如,我们删除了 3/30/2020 和 3/31/2020,因此在树视图中,日期从 3/29/2020 跳转到 4/01/2020。

使用 UI(特别是从搜索结果页面)删除/清除实例时,是否有其他设置或需要记住的事项?

airflow airflow-scheduler

7
推荐指数
1
解决办法
1996
查看次数

Docker 错误 - 5432:绑定:地址已在使用中

我曾经能够使用 5432:5432 端口映射运行 docker-compose,但最近收到此错误:

Error starting userland proxy: listen tcp 0.0.0.0:5432: bind: address already in use
Run Code Online (Sandbox Code Playgroud)

我已经浏览了所有与此问题相关的较旧帖子,但尚未能够解决此问题。

在过去的一周里,我一直被这个错误逼疯,试图弄清楚如何停止正在运行的任何进程,但无济于事。

我试过跑步

lsof -i tcp:5432
Run Code Online (Sandbox Code Playgroud)

它不返回任何结果(只要我的 pgadmin/server 没有运行)

我还看到其他帖子提到跑步

netstat -anp tcp | grep 5432
Run Code Online (Sandbox Code Playgroud)

确实返回两行:

tcp4       0      0  *.5432                 *.*                    LISTEN     
tcp6       0      0  *.5432                 *.*                    LISTEN 
Run Code Online (Sandbox Code Playgroud)

但我不完全确定如何处理该输出?

postgresql macos docker docker-compose docker-container

2
推荐指数
1
解决办法
3714
查看次数