当vector过大时，如何解决C++内存不足的问题？

Question

测试两个向量是否相同

见下面的代码

#include <iostream>
#include <vector>
#include <string>
int main(void) {
    std::vector<std::string> vstr1(131, "asdf");
    std::vector<std::string> vstr2(33131, "asdf");

    std::cout << (vstr1 == vstr2) << std::endl;;
    std::cout << "******************************" << std::endl;

    return 0;
}

它工作正常。

现在我将vstr2的大小更改为非常大，例如33333333333131

#include <iostream>
#include <vector>
#include <string>
int main(void) {
    std::vector<std::string> vstr1(131, "asdf");
    std::vector<std::string> vstr2(33333333333131, "asdf");

    std::cout << (vstr1 == vstr2) << std::endl;;
    std::cout << "******************************" << std::endl;

    return 0;
}

不工作，错误信息是

terminate called after throwing an instance of 'std::bad_alloc' 
what()  std::bad_alloc
Aborted    (core dumped)     a.out

我已经收集到由于内存分配失败而发生的错误。

我能做些什么来处理非常大的向量？

Answer 1

你在这里有两个问题：

1) 如果每个std::string只需要 1 字节的 RAM 来存储，那么您的 33333333333131 字符串向量将需要大约 30 TB的数据。实际上，每个都std:string需要几十个字节（至少），因此需求会更大。您的计算机上不太可能有那么多可用的 RAM（或交换空间）。

2) 如果您的计算机在 32 位模式下运行，则您（通常）被限制为小于 2^32 字节（也称为 4 GB）的地址空间用于您的进程——可能少一点，或者可能多几 GB如果您的计算机启用了一些特殊的分页技巧。因此，在这种情况下，即使您确实拥有 30 TB 以上的 RAM，您也无法直接访问所有这些 RAM。

至于如何处理像 tera-vector 这样的非常大的数据结构，通常要考虑的阈值是您是否希望安装足够的物理 RAM 以将所有数据放入 RAM 中。如果你这样做了，那就太好了——只需使用一个向量（或任何你喜欢的内存数据结构）并使用它。如果没有，如果您配置了足够的交换空间来保存数据，您仍然可以使用内存中的数据结构，但是由于磁盘 I/O 比 RAM 慢得多，您可能会发现这对您来说太慢了目的。

如果您无法将数据结构放入 RAM，那么您有几个选择：

1. 将数据结构拆分为可管理大小的较小块，一次只处理一个块，而不是试图一次保存整个事物

2. 将数据保存在磁盘而不是 RAM 中，一次只加载其中的一部分，对其进行操作，然后写出结果。（这实际上只是（1）的变体）

3. 将任务拆分到多台计算机上，让每台计算机并行运行一部分任务。继续添加计算机，直到您有足够的计算机来充分处理工作。

4. 退后一步，重新考虑您要解决的问题。真的需要存储那么多数据吗？为什么？是否有任何可能的替代方法来解决可以减少存储需求的问题？如果您需要存储数 TB 的数据，您可能要么确切地知道自己在做什么（因此可能不会在 StackOverflow 上询问有关它的问题），要么您正在做一些非常低效的事情。

5. （不得已）购买更多存储硬件。如今，您只需花费大约一辆新法拉利的成本就可以获得一台具有 30 TB 磁盘存储空间和 0.5 TB RAM 的计算机，所以让自己大吃一惊！:)