我在一个名为tutorial_2.py(实际上是教程中tutorial.py提供的副本airflow,除了dag_id更改为tutorial_2)的文件中定义了一个DAG .
当我查看我的默认值,未修改airflow.cfg(位于~/airflow)时,我看到dags_folder设置为/home/alex/airflow/dags.
我知道cd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.py.现在我有一个dags匹配路径的文件夹airflow.cfg,包含tutorial_2.py我之前创建的文件.
但是,当我运行时airflow list_dags,我只获得与默认的教程DAG相对应的名称.
我想tutorial_2在我的DAG列表中显示,以便我可以开始与之交互.既没有python tutorial_2.py也airflow resetdb没有使它出现在列表中.
我该如何解决这个问题?
我发现自己处于这样一种情况:我手动触发DAG Run(via airflow trigger_dag datablocks_dag)运行,Dag Run显示在界面中,但它会永远保持"Running"而不会实际执行任何操作.
当我在UI中检查此DAG Run时,我看到以下内容:
我已经start_date准备好了datetime(2016, 1, 1),并schedule_interval设置为@once.我从阅读文档中得到的理解是,从start_date现在起,DAG将被触发.在@once确保它只发生一次.
我的日志文件说:
[2017-07-11 21:32:05,359] {jobs.py:343} DagFileProcessor0 INFO - Started process (PID=21217) to work on /home/alex/Desktop/datablocks/tests/.airflow/dags/datablocks_dag.py
[2017-07-11 21:32:05,359] {jobs.py:534} DagFileProcessor0 ERROR - Cannot use more than 1 thread when using sqlite. Setting max_threads to 1
[2017-07-11 21:32:05,365] {jobs.py:1525} DagFileProcessor0 INFO - Processing file /home/alex/Desktop/datablocks/tests/.airflow/dags/datablocks_dag.py for tasks to queue
[2017-07-11 21:32:05,365] {models.py:176} DagFileProcessor0 INFO - Filling up …Run Code Online (Sandbox Code Playgroud) 我写了一个由单个函数组成的模块。我希望能够像 tqdm 一样使用它:
>>> from tqdm import tqdm
>>> tqdm
<function tqdm.tqdm>
Run Code Online (Sandbox Code Playgroud)
但是,我无法弄清楚如何以这种方式进行设置。这是我所拥有的:
>>> from missingno import missingno
>>> missingno
<module 'missingno.missingno' from '[...]'>
>>> missingno.missingno
<function missingno.missingno.missingno>
Run Code Online (Sandbox Code Playgroud)
我确定这之前已经被问过无数次了,但我不确定包装是如何工作的,也找不到这个特定谜语的答案。
我希望建立一个虚拟环境,我可以使用Flask framework for Python(3.4.2,Mac OS)开发Web应用程序.我使用virtualenv 给了关于如何做到这一点的说明.但是,尝试按照这些说明我遇到了一个问题:我通过Anaconda安装了Python ,并在尝试时:
sudo easy_install virtualenv
Run Code Online (Sandbox Code Playgroud)
我被警告说,我应该使用已经安装的conda软件包来做这件事.我无法想象conda的做事方式要困难得多,但我也想阅读文档时陷入困境,因为那时我可能不会再出现它...所以我的问题是,什么是使用Conda使用Flask快速设置虚拟环境的方法?那我怎么能在这个混合中添加更多的依赖?
我在剪辑一个seaborn情节(特别是 a kdeplot)时遇到了麻烦,因为我认为根据matplotlib文档中的这个例子会相当简单。
例如,以下代码:
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns
fig = plt.figure()
ax = fig.add_subplot(111, frameon=False, xticks=[], yticks=[])
random_points = np.array([p for p in np.random.random(size=(100, 2)) if 0 < p[0] < 1 and 0 < p[1] < 1])
kde = sns.kdeplot(random_points[:,0], random_points[:,1], ax=ax)
xmin, xmax = kde.get_xlim()
ymin, ymax = kde.get_ylim()
patch = mpl.patches.Circle(((xmin + xmax)/2, (ymin + ymax) / 2), radius=0.4)
ax.add_patch(patch)
kde.set_clip_path(patch)
Run Code Online (Sandbox Code Playgroud)
结果如下:
我想剪辑这个结果,这样 …
我有一个名为 的环境变量GOOGLE_MAPS_DIRECTIONS_API_KEY,由 Kubernetes 密钥填充YAML:
apiVersion: v1
kind: Secret
metadata:
name: google-maps-directions-api-secret
type: Opaque
data:
GOOGLE_MAPS_DIRECTIONS_API_KEY: QUl...QbUpqTHNJ
Run Code Online (Sandbox Code Playgroud)
echo -n "AIz..." | base64该秘密是通过复制粘贴在我的 API 密钥上运行的结果来创建的。我在此代码片段中提供了密钥的开头和结尾,以表明秘密文件中包含的密钥中没有换行符。
这是我跑步时看到的cat google-maps-directions-api-key-secret.yaml | hexdump -C:
00000000 61 70 69 56 65 72 73 69 6f 6e 3a 20 76 31 0a 6b |apiVersion: v1.k|
00000010 69 6e 64 3a 20 53 65 63 72 65 74 0a 6d 65 74 61 |ind: Secret.meta|
00000020 64 61 74 61 3a 0a …Run Code Online (Sandbox Code Playgroud) 我正在致力于将 PyTorch 模型从 CPU(它可以工作)转换为 GPU(目前还不能)。错误消息(剪裁到重要位)如下:
---------------------------------------------------------------------------
RuntimeError Traceback (most recent call last)
<ipython-input-12-a7bb230c924c> in <module>
1 model = FeedforwardTabularModel()
2 model.cuda()
----> 3 model.fit(X_train_sample.values, y_train_sample.values)
<ipython-input-11-40b1edae7417> in fit(self, X, y)
100 for epoch in range(self.n_epochs):
101 for i, (X_batch, y_batch) in enumerate(batches):
--> 102 y_pred = model(X_batch).squeeze()
103 # scheduler.batch_step() # Disabled due to a bug, see above.
104 loss = self.loss_fn(y_pred, y_batch)
[...]
/opt/conda/lib/python3.6/site-packages/torch/nn/functional.py in embedding(input, weight, padding_idx, max_norm, norm_type, scale_grad_by_freq, sparse)
1482 # remove …Run Code Online (Sandbox Code Playgroud) 我在我编写的一些代码中进行了以下(相对)简单的调用:
pickups = session.query(Pickup).filter(Pickup.firebase_run_id == run_id).all()
Run Code Online (Sandbox Code Playgroud)
我对此代码有两组集成测试,一组在本地运行并使用psycops2TLS,另一组在 GCP 开发环境(GCP 云功能)中运行并使用pg8000UNIX 套接字(GCP 要求(?)通过 UNIX 套接字连接到 Cloud SQL - 请参阅此处)。本地集成测试运行良好。但是,开发测试可靠地失败并出现以下错误:
pickups = session.query(Pickup).filter(Pickup.firebase_run_id == run_id).all()
Run Code Online (Sandbox Code Playgroud)
这个特定的函数调用实际上只是这种失败的一个例子;我所有的数据库调用都失败并出现相同的_execute_and_instances错误!
也许有人对解决此问题的方法有所了解?
我virtualenv为Flask应用程序创建了一个新环境,flask-test以便我可以进行一些测试.想象一下,在运行quickstart应用程序时,我收到以下错误:
Honorss-MacBook-Air-2:Desktop Honors$ cd flask-testing
Honorss-MacBook-Air-2:flask-testing Honors$ source bin/activate
(flask-testing)Honorss-MacBook-Air-2:flask-testing Honors$ python app.py
* Restarting with stat
* Debugger is active!
Traceback (most recent call last):
File "app.py", line 10, in <module>
app.run()
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/flask/app.py", line 772, in run
run_simple(host, port, self, **options)
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/werkzeug/serving.py", line 633, in run_simple
application = DebuggedApplication(application, use_evalex)
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/werkzeug/debug/__init__.py", line 169, in __init__
if self.pin is None:
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/werkzeug/debug/__init__.py", line 179, in _get_pin
self._pin, self._pin_cookie = get_pin_and_cookie_name(self.app)
File "/Users/Honors/Desktop/flask-testing/lib/python3.5/site-packages/werkzeug/debug/__init__.py", line …Run Code Online (Sandbox Code Playgroud) 我有一个小 D3 脚本:
<script>
d3.csv("../data/school_attendance.csv", function(data) {
// Use d3.pie() to create and configure the data that we need in a format that we can enter into.
let arc_data = d3.pie().value(d => d['YTD Enrollment(Avg)']).padAngle(d => 0.0115)(data);
// Create the arc factory function that will render each data segment.
let arc = d3.arc().innerRadius(75).outerRadius(160);
// Run through each element of arc_data, creating and appening the arc for each one.
d3.select("svg")
.append("g")
.attr("id", "transform")
.attr("transform", "translate(400, 200)")
.selectAll('path')
.data(arc_data)
.enter()
.append('path')
.attr('d', arc) …Run Code Online (Sandbox Code Playgroud) python ×6
airflow ×2
flask ×2
anaconda ×1
base64 ×1
conda ×1
d3.js ×1
gpu ×1
javascript ×1
kubernetes ×1
matplotlib ×1
module ×1
pg8000 ×1
pip ×1
pypi ×1
pytorch ×1
seaborn ×1
sqlalchemy ×1
svg ×1
transform ×1