小编Hug*_*ugo的帖子

使用气流,我从MySQL数据库中提取数据,用python转换它并将其加载到Redshift集群中.

目前我使用3个气流任务:它们通过在本地磁盘上写入CSV来传递数据.

如果不写入磁盘我怎么能这样做？我应该在python中编写一个大任务吗？(这会降低能见度)

编辑:这是一个关于Airflow的问题,以及选择任务粒度以及如何在它们之间传递数据的最佳实践.这不是关于数据迁移或ETL的一般问题.在这个问题中,ETL仅用作气流任务的工作量的例子.

我在node.js上运行此代码

var mongoose = require('mongoose');
mongoose.model('participant',new mongoose.Schema({},{ collection : 'forumParticipant' }));
var Participant = mongoose.model('participant');
mongoose.connect('******');

Participant.find({entity_id: 0}, function (err, docs) {
   console.log(docs[0]);
   console.log(docs[0].entity_id)
});

1)第一个console.log返回完整的文档

2)第二个console.log返回未完成

我不明白为什么.

我需要做类似的事情

var participants = docs.map(function(d){return d.user_id})

我怎样才能做到这一点？我错过了什么？

可以说,我们有一个数据库(:TvShow) - [:contains] - >(:Season) - [:contains] - >(:Episode)

现在让我们说,有人想查询数据库中的特定内容:TvShow并以这种方式得到一个结果:{tvshow:// tvShow节点//,四季:[{season://季节点//,剧集:[ //剧集节点//]}]}

例如:如果我们有OneShow 2季和3集

结果将是一个json对象:{tvshow:OneShow,season:[{season:Season1,[episode1-1,episode1-2,episode1-3]},{season:Season1,[episode2-1,episode2-2, episode2-3]}]}

我正在尝试使用WITH,collect,FOREACH和数组运算符'+'但尚未成功.

以前有人这样做过吗？

我们正在使用 Algolia 作为我们的搜索引擎。在一个索引中，我们有一个属性：contract.monthDuration，它包含整数。

我成功地使用了以下数字过滤器：

"contract.monthDuration:0 to 3"

但我无法使用类似的东西

"contract.monthDuration:0 to 3" OR "contract.monthDuration:4 to 6"

我试过了 ：

"contract.monthDuration:0 to 3 OR contract.monthDuration:4 to 6"
"contract.monthDuration:0 to 3,4 to 6"
"contract.monthDuration:0 to 3, contract.monthDuration:4 to 6"
"(contract.monthDuration:0 to 3, contract.monthDuration:4 to 6)"

AWS 文档 https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html

提到

Python shell作业运行环境支持以下库：

...

pandas（需要通过 python setuptools 配置 setup.py 安装）

但它没有提到如何进行安装。

如何在 AWS Glue Python Shell 作业中使用 Pandas？