小编avi*_*jay的帖子

气流日志未加载

当我的 dag 中的节点发生故障时,我想查看日志,但页面只是保持渲染(符号)并且实际上没有加载任何日志。

我可以通过其他方式检查日志或纠正此问题吗?

airflow

9
推荐指数
1
解决办法
5537
查看次数

如何更改 Airflow web ui 的 dag bag 文件夹?

气流调度程序正在根据气流.cfg 文件中的设置从正确的文件夹中提取 dag。但是,Airflow ui 网络服务器从错误的文件夹中选择了 dag。我通过查看运行气流网络服务器的终端的标准输出来意识到这一点:[2018-10-08 14:26:48,519] [15535] {models.py:167} INFO - Filling up the DagBag from /home/aviral/airflow/dags

注意,我的airflow.cfg 文件有:

# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository
# This path must be absolute
dags_folder = /home/aviral/dev/airflow_learning/airflow_home/dags
Run Code Online (Sandbox Code Playgroud)

python python-3.x airflow airflow-scheduler

6
推荐指数
1
解决办法
8748
查看次数

ModuleNotFoundError:没有名为“cassandra”的模块

通过运行命令安装 cassandra 驱动程序后: ,当我尝试通过运行行导入模块时sudo pip3 install cassandra-driver收到错误。ModuleNotFoundError: No module named 'cassandra'cassandra

pip3然后我尝试通过运行以下命令查看所有模块的安装内容pip3 freeze

astroid==2.1.0
cassandra-driver==3.16.0
isort==4.3.4
lazy-object-proxy==1.3.1
mccabe==0.6.1
pylint==2.2.2
six==1.12.0
wrapt==1.10.11
Run Code Online (Sandbox Code Playgroud)

看到 no cassandra,我尝试导入可见模块:cassandra-driver然后出现错误:

File "<stdin>", line 1
    import cassandra-driver
                    ^
SyntaxError: invalid syntax
Run Code Online (Sandbox Code Playgroud)

另外,当我用此更正连字符问题时: __import__("cassandra-driver"),我收到错误:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'cassandra-driver'
Run Code Online (Sandbox Code Playgroud)

我的which python3是:/usr/local/bin/python3我的which pip3是:/usr/local/bin/pip3

我的操作系统是MacOS

如何安装cassandra?注意:我正在关注文档。

pip cassandra python-3.x

5
推荐指数
1
解决办法
1万
查看次数

如何从 S3 下载大型 csv 文件而不遇到“内存不足”问题?

我需要处理存储在 S3 存储桶中的大文件。我需要将 csv 文件分成更小的块进行处理。然而,这似乎是一项在文件系统存储上而不是在对象存储上做得更好的任务。因此,我计划将大文件下载到本地,将其分成较小的块,然后将生成的文件一起上传到不同的文件夹中。我知道该方法download_fileobj,但无法确定out of memory在下载大小 ~= 10GB 的大文件时是否会导致错误。

amazon-s3 amazon-web-services boto3

4
推荐指数
1
解决办法
1万
查看次数

如何使用 Cassandra 版本化我的数据?

我想使用Cassandra的键值对功能。到目前为止,我一直在使用Kyotocabinet,但它不支持多次写入,因此,我想使用Cassandra 对表格数据进行版本控制。

Roll No, Name, Age, Sex
14BCE1008, Aviral, 22, Male
14BCE1007, Shantanu, 22, Male
Run Code Online (Sandbox Code Playgroud)

以上数据为表格(csv)。这是版本 1。接下来是版本 2:

Roll No, Name, Age, Sex
14BCE1008, Aviral, 22, Male
14BCE1007, Shantanu, 22, Male
14BCE1209, Piyush, 22, Male
Run Code Online (Sandbox Code Playgroud)

因此,我将上述版本称为版本 2,并使用以下 diff: insert_patch:14BCE1209作为键(PK)和14BCE1209, Piyush, 22, Male值。我熟悉表的创建,但无法弄清楚版本控制部分。

database database-versioning bigdata cassandra

3
推荐指数
1
解决办法
1229
查看次数