是否有一个使用常规文件系统的简单Python map-reduce框架？

Question

我有一些问题可能适用于Map-Reduce模型.我想尝试实现它们,但在这个阶段我不想去安装像Hadoop或Disco这样的重量级系统.

是否有一个用于map-reduce的轻量级Python框架,它使用常规文件系统来输入,临时文件和输出？

Answer 1

一个专门针对大数据的Coursera课程建议使用这些轻量级的python Map-Reduce框架:

• http://code.google.com/p/octopy/
• https://github.com/michaelfairley/mincemeatpy

为了让您快速入门,请尝试以下示例:

https://github.com/michaelfairley/mincemeatpy/zipball/v0.1.2

(提示:对于此示例中的[服务器地址],请使用localhost)

Answer 2

http://pythonhosted.org/mrjob/非常适合快速入门本地计算机,基本上只需要一个简单的:

pip install mrjob