是否可以在Hadoop上运行Python的scikit-learn算法？

Question

我知道可以在Hadoop上使用python语言.

但是有可能在Hadoop上使用scikit-learn的机器学习算法吗？

如果答案是否定的,是否有一些python和Hadoop的机器学习库？

谢谢你的帮助.

Answer 1

简短回答：是的。因为您几乎可以在 Hadoop 上运行所有内容。

长答案：这取决于。首先回答这个问题：

• 您可以将数据集分成多个分区吗？

另外，您可能会发现此演示文稿很有用（Hadoop 从第 73 张幻灯片开始）。