M.R*_*Rez 5 hpc infiniband apache-spark
我试图在具有infiniband互连的HPC聚焦集群中使用Spark.此群集不提供支持IPoIB.我在这里看到了俄亥俄州立大学的Spakr-RDMA项目.我找不到其他人在做这个,或者apache spark将来会支持IB.问题是,是否有其他解决方案可以在只有IB作为网络的HPC环境中获得更新版本的spark？
小智 1
您可以查看有关通过以太网部署 RDMA (RoCE) 以通过 Mellanox 100 GbE 网络加速 Apache Spark 2.2.0 的参考指南https://community.mellanox.com/docs/DOC-3068
| 归档时间： |
|
| 查看次数： |
283 次 |
| 最近记录： |