小编Ale*_*gur的帖子

如何向Airflow添加新的DAG?

我在一个名为tutorial_2.py(实际上是教程中tutorial.py提供的副本airflow,除了dag_id更改为tutorial_2)的文件中定义了一个DAG .

当我查看我的默认值,未修改airflow.cfg(位于~/airflow)时,我看到dags_folder设置为/home/alex/airflow/dags.

我知道cd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.py.现在我有一个dags匹配路径的文件夹airflow.cfg,包含tutorial_2.py我之前创建的文件.

但是,当我运行时airflow list_dags,我只获得与默认的教程DAG相对应的名称.

我想tutorial_2在我的DAG列表中显示,以便我可以开始与之交互.既没有python tutorial_2.pyairflow resetdb没有使它出现在列表中.

我该如何解决这个问题?

python airflow apache-airflow

16
推荐指数
3
解决办法
1万
查看次数

气流DAG运行已触发,但从未执行过?

我发现自己处于这样一种情况:我手动触发DAG Run(via airflow trigger_dag datablocks_dag)运行,Dag Run显示在界面中,但它会永远保持"Running"而不会实际执行任何操作.

当我在UI中检查此DAG Run时,我看到以下内容:

在此输入图像描述

我已经start_date准备好了datetime(2016, 1, 1),并schedule_interval设置为@once.从阅读文档中得到的理解是,从start_date现在起,DAG将被触发.在@once确保它只发生一次.

我的日志文件说:

[2017-07-11 21:32:05,359] {jobs.py:343} DagFileProcessor0 INFO - Started process (PID=21217) to work on /home/alex/Desktop/datablocks/tests/.airflow/dags/datablocks_dag.py
[2017-07-11 21:32:05,359] {jobs.py:534} DagFileProcessor0 ERROR - Cannot use more than 1 thread when using sqlite. Setting max_threads to 1
[2017-07-11 21:32:05,365] {jobs.py:1525} DagFileProcessor0 INFO - Processing file /home/alex/Desktop/datablocks/tests/.airflow/dags/datablocks_dag.py for tasks to queue
[2017-07-11 21:32:05,365] {models.py:176} DagFileProcessor0 INFO - Filling up …
Run Code Online (Sandbox Code Playgroud)

airflow apache-airflow

11
推荐指数
1
解决办法
3187
查看次数

如何在 Python 模块中公开函数?

我写了一个由单个函数组成的模块。我希望能够像 tqdm 一样使用它:

>>> from tqdm import tqdm
>>> tqdm
<function tqdm.tqdm>
Run Code Online (Sandbox Code Playgroud)

但是,我无法弄清楚如何以这种方式进行设置。这是我所拥有的:

>>> from missingno import missingno
>>> missingno
<module 'missingno.missingno' from '[...]'>
>>> missingno.missingno
<function missingno.missingno.missingno>
Run Code Online (Sandbox Code Playgroud)

我确定这之前已经被问过无数次了,但我不确定包装是如何工作的,也找不到这个特定谜语的答案。

这是存储库:https : //github.com/ResidentMario/missingno

python module pypi

6
推荐指数
1
解决办法
3302
查看次数

如何使用conda为Flask设置虚拟环境?

我希望建立一个虚拟环境,我可以使用Flask framework for Python(3.4.2,Mac OS)开发Web应用程序.我使用virtualenv 给了关于如何做到这一点的说明.但是,尝试按照这些说明我遇到了一个问题:我通过Anaconda安装了Python ,并在尝试时:

sudo easy_install virtualenv
Run Code Online (Sandbox Code Playgroud)

我被警告说,我应该使用已经安装的conda软件包来做这件事.我无法想象conda的做事方式要困难得多,但我也想阅读文档时陷入困境,因为那时我可能不会再出现它...所以我的问题是,什么是使用Conda使用Flask快速设置虚拟环境的方法?那我怎么能在这个混合中添加更多的依赖?

python virtualization flask anaconda conda

5
推荐指数
1
解决办法
1万
查看次数

在seaborn图上设置剪辑

我在剪辑一个seaborn情节(特别是 a kdeplot)时遇到了麻烦,因为我认为根据matplotlib文档中的这个例子会相当简单。

例如,以下代码:

import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns

fig = plt.figure()
ax = fig.add_subplot(111, frameon=False, xticks=[], yticks=[])

random_points = np.array([p for p in np.random.random(size=(100, 2)) if 0 < p[0] < 1 and 0 < p[1] < 1])

kde = sns.kdeplot(random_points[:,0], random_points[:,1], ax=ax)

xmin, xmax = kde.get_xlim()
ymin, ymax = kde.get_ylim()

patch = mpl.patches.Circle(((xmin + xmax)/2, (ymin + ymax) / 2), radius=0.4)
ax.add_patch(patch)
kde.set_clip_path(patch)
Run Code Online (Sandbox Code Playgroud)

结果如下:

在此处输入图片说明

我想剪辑这个结果,这样 …

python matplotlib seaborn

5
推荐指数
1
解决办法
1729
查看次数

调试 Kubernetes Secret 中不必要的换行符

我有一个名为 的环境变量GOOGLE_MAPS_DIRECTIONS_API_KEY,由 Kubernetes 密钥填充YAML

apiVersion: v1
kind: Secret
metadata:
  name: google-maps-directions-api-secret
type: Opaque
data:
  GOOGLE_MAPS_DIRECTIONS_API_KEY: QUl...QbUpqTHNJ
Run Code Online (Sandbox Code Playgroud)

echo -n "AIz..." | base64该秘密是通过复制粘贴在我的 API 密钥上运行的结果来创建的。我在此代码片段中提供了密钥的开头和结尾,以表明秘密文件中包含的密钥中没有换行符。

这是我跑步时看到的cat google-maps-directions-api-key-secret.yaml | hexdump -C

00000000  61 70 69 56 65 72 73 69  6f 6e 3a 20 76 31 0a 6b  |apiVersion: v1.k|
00000010  69 6e 64 3a 20 53 65 63  72 65 74 0a 6d 65 74 61  |ind: Secret.meta|
00000020  64 61 74 61 3a 0a …
Run Code Online (Sandbox Code Playgroud)

base64 kubernetes

4
推荐指数
1
解决办法
8097
查看次数

PyTorch 嵌入层引发“预期...cuda...但得到...cpu”错误

我正在致力于将 PyTorch 模型从 CPU(它可以工作)转换为 GPU(目前还不能)。错误消息(剪裁到重要位)如下:

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-12-a7bb230c924c> in <module>
      1 model = FeedforwardTabularModel()
      2 model.cuda()
----> 3 model.fit(X_train_sample.values, y_train_sample.values)

<ipython-input-11-40b1edae7417> in fit(self, X, y)
    100         for epoch in range(self.n_epochs):
    101             for i, (X_batch, y_batch) in enumerate(batches):
--> 102                 y_pred = model(X_batch).squeeze()
    103                 # scheduler.batch_step()  # Disabled due to a bug, see above.
    104                 loss = self.loss_fn(y_pred, y_batch)

[...]

/opt/conda/lib/python3.6/site-packages/torch/nn/functional.py in embedding(input, weight, padding_idx, max_norm, norm_type, scale_grad_by_freq, sparse)
   1482         # remove …
Run Code Online (Sandbox Code Playgroud)

python gpu pytorch

4
推荐指数
1
解决办法
7167
查看次数

sqlalchemy ORM 调用失败,类型错误:预期字节,找到 str

我在我编写的一些代码中进行了以下(相对)简单的调用:

pickups = session.query(Pickup).filter(Pickup.firebase_run_id == run_id).all()
Run Code Online (Sandbox Code Playgroud)

我对此代码有两组集成测试,一组在本地运行并使用psycops2TLS,另一组在 GCP 开发环境(GCP 云功能)中运行并使用pg8000UNIX 套接字(GCP 要求(?)通过 UNIX 套接字连接到 Cloud SQL - 请参阅此处)。本地集成测试运行良好。但是,开发测试可靠地失败并出现以下错误:

pickups = session.query(Pickup).filter(Pickup.firebase_run_id == run_id).all()
Run Code Online (Sandbox Code Playgroud)

这个特定的函数调用实际上只是这种失败的一个例子;我所有的数据库调用都失败并出现相同的_execute_and_instances错误!

也许有人对解决此问题的方法有所了解?

sqlalchemy pg8000 google-cloud-functions

4
推荐指数
1
解决办法
1075
查看次数

Quickstart Flask应用程序因某些原因失败

virtualenv为Flask应用程序创建了一个新环境,flask-test以便我可以进行一些测试.想象一下,在运行quickstart应用程序时,我收到以下错误:

Honorss-MacBook-Air-2:Desktop Honors$ cd flask-testing
Honorss-MacBook-Air-2:flask-testing Honors$ source bin/activate
(flask-testing)Honorss-MacBook-Air-2:flask-testing Honors$ python app.py
* Restarting with stat
* Debugger is active!
Traceback (most recent call last):
File "app.py", line 10, in <module>
app.run()
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/flask/app.py", line 772, in run
run_simple(host, port, self, **options)
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/werkzeug/serving.py", line 633, in run_simple
application = DebuggedApplication(application, use_evalex)
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/werkzeug/debug/__init__.py", line 169, in __init__
if self.pin is None:
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/werkzeug/debug/__init__.py", line 179, in _get_pin
self._pin, self._pin_cookie = get_pin_and_cookie_name(self.app)
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/werkzeug/debug/__init__.py", line …
Run Code Online (Sandbox Code Playgroud)

python pip flask

3
推荐指数
1
解决办法
1239
查看次数

饼图中的 D3 文本旋转

我有一个小 D3 脚本:

<script>
    d3.csv("../data/school_attendance.csv", function(data) {
        // Use d3.pie() to create and configure the data that we need in a format that we can enter into.
        let arc_data = d3.pie().value(d => d['YTD Enrollment(Avg)']).padAngle(d => 0.0115)(data);

        // Create the arc factory function that will render each data segment.
        let arc = d3.arc().innerRadius(75).outerRadius(160);

        // Run through each element of arc_data, creating and appening the arc for each one.
        d3.select("svg")
            .append("g")
            .attr("id", "transform")
            .attr("transform", "translate(400, 200)")
            .selectAll('path')
            .data(arc_data)
            .enter()
            .append('path')
            .attr('d', arc) …
Run Code Online (Sandbox Code Playgroud)

javascript svg transform d3.js

3
推荐指数
1
解决办法
1710
查看次数