R 会利用运行 OSX 的 Mac Pro 上的 64GB 内存吗?

Mac*_*471 5 macos r

我一直在 2014 年初的 13 英寸 MacBook Air 上使用 R 3.1.2,该 MacBook Air 配备 8GB 和 1.7GHz Intel Core I7,运行 Mavericks OSX。

最近,我开始处理更大的数据帧(2+ 百万行和 500+ 列),并且遇到了性能问题。在活动监视器中,我看到虚拟内存大小为 64GB、32GB 页面文件等,并且“内存压力”指示器为红色。

我可以使用“投入更多硬件”来解决这个问题吗?由于 MacBook Air 的物理内存最高为 8GB,因此我正在考虑购买具有 64GB 内存的 Mac Pro。在我花 5000 美元以上之前,我想问一下,除了我在这里读到的限制之外,R 是否还有任何固有的限制:R 内存限制,或者拥有 Mac Pro 的人是否在运行 R/RStudio 时遇到过任何问题在上面。我使用 Google 进行了搜索,但没有找到任何有关在 Mac Pro 上运行 R 的具体信息。

请注意,我意识到除非重写代码,否则我仍将使用 1 个 CPU 核心。我只是想先解决内存问题。

Ron*_*Ron 0

几个想法:

1) 使用像https://www.dominodatalab.com(非附属)这样的云服务更具成本效益。Amazon AWS 也可以,多米诺骨牌的好处是它可以减轻管理环境的工作,这样您就可以专注于数据科学。

2) 您可能想要重新设计您的处理管道,以便不需要同时将所有数据加载到内存中(很快您就会发现您需要 128 GB,然后呢)。阅读内存映射、使用数据库、将管道分成几个可以独立执行的步骤等(谷歌搜索找到http://user2007.org/program/presentations/adler.pdf)。在处理现实生活中的数据集时,内存不足是一个常见问题,使用更多硬件来解决该问题并不总是您的最佳选择(尽管有时确实无法避免)。