我们在使用 Airflow 时遇到权限错误,收到以下错误:
PermissionError: [Errno 13] Permission denied: '/usr/local/airflow/logs/scheduler/2019-12-18/../../../../home
Run Code Online (Sandbox Code Playgroud)
我们已经尝试在容器内的 /usr/local/airflow/logs/schedule 目录上使用 chmod 777 -R ,但这似乎没有成功。
我们在 entrypoint.sh 脚本中有这一段:
export AIRFLOW__CORE__BASE_LOGS_FOLDER="/usr/local/airflow/logs
有没有其他人遇到过这个气流日志权限问题?似乎无法在网上找到太多关于此的信息。
我们正在运行大量 DAGS,因此每个日历日期都有数千个任务实例。我们有零星的失败日期,我们正在尝试尽可能高效地重新运行这些日期。
我们尝试使用的方法是使用 UI 的搜索功能来缩小失败的单个日期的完整列表,然后单击“删除”(据我所知,这相当于“清除”任务实例),如下所示截屏。
我们使用 catchup = True 来自动重新运行已清除的日期,但在检查应重新运行这些已删除日期的各个 DAG 后,日期根本不再出现。即使处于“清除”或“运行”状态也不行。日期根本不存在。例如,我们删除了 3/30/2020 和 3/31/2020,因此在树视图中,日期从 3/29/2020 跳转到 4/01/2020。
使用 UI(特别是从搜索结果页面)删除/清除实例时,是否有其他设置或需要记住的事项?
我曾经能够使用 5432:5432 端口映射运行 docker-compose,但最近收到此错误:
Error starting userland proxy: listen tcp 0.0.0.0:5432: bind: address already in use
Run Code Online (Sandbox Code Playgroud)
我已经浏览了所有与此问题相关的较旧帖子,但尚未能够解决此问题。
在过去的一周里,我一直被这个错误逼疯,试图弄清楚如何停止正在运行的任何进程,但无济于事。
我试过跑步
lsof -i tcp:5432
Run Code Online (Sandbox Code Playgroud)
它不返回任何结果(只要我的 pgadmin/server 没有运行)
我还看到其他帖子提到跑步
netstat -anp tcp | grep 5432
Run Code Online (Sandbox Code Playgroud)
它确实返回两行:
tcp4 0 0 *.5432 *.* LISTEN
tcp6 0 0 *.5432 *.* LISTEN
Run Code Online (Sandbox Code Playgroud)
但我不完全确定如何处理该输出?