Bil*_*lga 6 database feeds etl ruby-on-rails
我需要定期从多个提供程序(基于REST/SOAP的XML提要)将我的Rails应用程序的数据加载到数据库中.我编写了一组Rake任务,这些任务由每当生成的cron作业启动.每个任务都会命中伙伴Feed端点,解析Feed并将其加载到数据库中.
而不是编写Rake任务,我应该使用像ActiveWarehouse这样的ETL框架(http://activewarehouse.rubyforge.org/etl/)吗？有关在Rails中执行此操作的最佳方法的任何建议吗？
如果您只是将数据加载到一组表中，并且用例很简单，例如仅添加新记录或更新基本记录，并且您的负载满足您的要求，那么我会坚持这样做。您当然也可以使用 ActiveWarehouse，但这听起来有些过头了。但是，如果您需要支持更改维度（即保留数据随时间变化的历史记录）或其他“数据仓库”功能，那么像 ActiveWarehouse 这样的东西就开始具有更多价值。