在我的sparkconf中,我可以设置要使用的内核数量,我的笔记本电脑上有4个物理内存,8个逻辑内存,如果我指定机器上不可能的数字,例如100个内核,那么它会起什么作用？
核心数量不描述物理核心,而是描述许多正在运行的线程.这意味着如果数量高于可用核心数,则不会发生任何奇怪的事情.
根据您的设置,它实际上可能是一种首选配置,其值大约是可用内核的两倍,这是通常建议的设置.显然,如果数量很高,您的应用程序将花费更多时间在线程之间切换而不是实际处理.
| 归档时间： |
|
| 查看次数： |
1102 次 |
| 最近记录： |