Geo*_*ler 5 memory heap-memory apache-spark
如果我可以为 Spark 配置大量内存 - 我应该使用多少内存？
有人说，超过 32 GB/执行程序的内存没有任何帮助，因为 JVM 地址无法压缩）。
假设我可以为 Spark /node 提供大约 200 GB 的内存，我是否应该为每个 32 GB RAM 创建一个执行程序，即每个工作线程有多个执行程序？或者每个节点拥有大量 RAM 更好吗？
理想情况下，我们应该使用多个执行器，每个执行器大约 32GB 或更少（即 16、17、18...），而不是使用一个具有 200GB 内存的执行器。
为了获得更好的吞吐量，建议每个执行器使用 3 到 5 个核心，而不是每个执行器 10 或 15 个核心（I/O 问题）。考虑到最好使用 32GB 或更少，这样每个核心将处理大约 5 到 6GB，而不是 10 到 20GB。
参考号
http://site.clairvoyantsoft.com/understanding-resource-allocation-configurations-spark-application/
| 归档时间： |
|
| 查看次数： |
651 次 |
| 最近记录： |