Python计算集群

Question

是否有可能通过编写telnet服务器来创建python集群,然后telnet-ing命令和来回输出？有没有人对python计算集群有更好的想法？PS.对于python 3.x最好,如果有人知道如何.

Answer 1

Python wiki提供了一个非常全面的Python集群计算库和工具列表.您可能对Parallel Python特别感兴趣.

编辑:有一个新的图书馆是IMHO特别擅长集群:execnet.它小而简单.并且它似乎比标准multiprocessing模块具有更少的错误.

Answer 2

您可以看到此处列出的大多数可用于Python 3的第三方软件包; 与集群计算相关的是mpi4py - 大多数其他分布式计算工具如pyro仍然只是Python-2,但MPI是集群分布式计算的领先标准,并且很好地研究(我没有直接使用mpi4py与Python 3的经验,但,但通过传闻我相信这是一个很好的实施).

主要的替代方案是Python自己的内置多处理,如果您不想接口符合MPI标准但可能无法用Python编码的现有节点,它也可以很好地扩展.

滚动自己没有真正的附加值(正如Atwood所说,不要重新发明轮子,除非你的目的只是为了更好地理解轮子! - ) - 使用经过测试的经过测试的广泛解决方案之一,为您调试和优化! - )

Answer 3

看看这些

http://www.parallelpython.com/

http://pyro.sourceforge.net/

我已经使用了两者并且两者都很好用于分布式计算
以获得更详细的选项列表,请参阅 http://wiki.python.org/moin/ParallelProcessing

如果你想在远程机器上自动执行某些东西,telnet的更好替代方法是ssh,如http://pydsh.sourceforge.net/