我有一个 dag,它定期检查要生成的新工作流(动态 DAG),如果找到,则创建它们。(参考:调度程序未添加动态 dag)
上面的 DAG 正在运行,动态 DAG 正在创建并列在网络服务器中。这里有两个问题:
错误:
DAG“app01_user”似乎丢失了。
所有其他动态生成的 DAG 也是如此。我已经编译了 Python 脚本并没有发现错误。
Edit1:我尝试清除所有数据并运行“气流运行”。它运行成功,但没有将动态生成的 DAG 添加到“airflow list_dags”。但是当运行命令“airflow list_dags”时,它加载并执行了 DAG(它生成了动态 DAG)。动态 DAG 也列出如下:
[root@cmnode dags]# airflow list_dags
sh: warning: setlocale: LC_ALL: cannot change locale (en_US.UTF-8\nLANG=en_US.UTF-8)
sh: warning: setlocale: LC_ALL: cannot change locale (en_US.UTF-8\nLANG=en_US.UTF-8)
[2019-08-13 00:34:31,692] {settings.py:182} INFO - settings.configure_orm(): Using pool settings. pool_size=15, pool_recycle=1800, pid=25386
[2019-08-13 00:34:31,877] {__init__.py:51} INFO - Using executor LocalExecutor
[2019-08-13 00:34:32,113] {__init__.py:305} INFO - …
Run Code Online (Sandbox Code Playgroud) 我看到 Google Cloud 可能随时终止抢占式实例,但是是否有任何非官方的独立研究报告显示“抢占率”(每小时抢占的虚拟机数量),可能是在几个不同的区域进行采样的?
鉴于我发现的信息很少(与类似的问题一样),即使是轶事,例如:“回顾过去 6 个月,我通常看到 uswest1 每小时有 3% - 5% 的实例抢占”也会有用(我认为这个可以与 AWS 中的实例计数指标类似地进行监控)。
客户偶尔希望将现有的、非容错的代码以“便宜”的方式推入云中(尽管有最佳实践),并且在没有预期的失败率的情况下,他们经常被抢占式的廉价所蒙蔽,因此我想分享 GCP 社区的一些典型经验,即使人们的经验可能有所不同,以帮助传达安全期望。
我正在本地机器上构建一个带有 streamlit、OpenCV 和 Torch 的 Web 应用程序。整个项目进展顺利,直到我构建了一个 Docker 文件并将其传输到我的 Google Cloud Platform。谁能告诉我这里到底出了什么问题?
这是我的 Dockerfile:
FROM pytorch/pytorch:latest
RUN pip install virtualenv
ENV VIRTUAL_ENV=/venv
RUN virtualenv venv -p python3
ENV PATH="VIRTUAL_ENV/bin:$PATH"
WORKDIR /app
ADD . /app
# Install dependencies
RUN pip install -r requirements.txt
# copying all files over
COPY . /app
# Expose port
ENV PORT 8501
# cmd to launch app when container is run
CMD streamlit run app.py
# streamlit-specific commands for config
ENV LC_ALL=C.UTF-8
ENV LANG=C.UTF-8
RUN mkdir …
Run Code Online (Sandbox Code Playgroud)