小编zas*_*ail的帖子

从 S3 逐行传输大文件

我在 s3 中有一些 10gb csv 文件,我想用它们来为我的数据库播种。我正在 Heroku 上运行 RoR 应用程序,但我不知道如何逐行流式传输 csv 来处理它,因为它太大而无法放入内存,而且我无法使用 File.open 访问外部文件。

我研究过使用 Tempfile 一次传输字节,但它们与新行不匹配,并且在 Ruby 中重建它很困难。

谢谢你!

ruby io heroku amazon-s3 large-files

7
推荐指数
1
解决办法
4098
查看次数

标签 统计

amazon-s3 ×1

heroku ×1

io ×1

large-files ×1

ruby ×1