良好的C++数组类,以快速和内存有效的方式处理大型数据数组？

Question

继上一个与堆使用限制相关的问题之后,我正在寻找一个好的标准C++类,以一种既节省内存又提高速度的方式处理大数据数据.我一直在使用单个malloc/HealAlloc分配数组,但是在使用各种调用的多个trys之后,继续犯下堆碎片.因此,除了移植到64位之外,我得出的结论是使用一种机制,允许我拥有一个跨越多个较小内存片段的大型数组.我不希望每个元素都有一个alloc,因为它的内存效率很低,所以计划是编写一个覆盖[]运算符的类,并根据索引选择一个合适的元素.是否已经有一个体面的班级来做这件事,或者我最好自己动手？

根据我的理解和一些谷歌搜索,32位Windows进程理论上应该可以解决高达2GB的问题.现在假设我已经安装了2GB,并且各种其他进程和服务占用大约400MB,你认为我的程序可以合理地期望从堆中获得多少可用内存？

我目前正在使用各种风格的Visual C++.

编辑 按照Poita的帖子,我尝试了一个std :: deque,在VS2008上使用以下测试;

#include <deque>
using namespace std;
struct V    
{
    double  data[11];
};

struct T
{
    long    data[8];    
};


void    dequeTest()
{
    deque<V> VQ;
    deque<T> TQ;

    V defV;
    T defT;

    VQ.resize(4000000,defV);
    TQ.resize(8000000,defT);
}

上述数据的总内存为608MB,如果我使用直接malloc或HeapAlloc,则需要<1秒.deque resizes最初占用了950MB,然后慢慢开始退回.15分钟后,dequeTest()完成了,只使用了6MB的内存显示进程,这可能更多地与运行时间有关.我也尝试使用各种推送选项填充双端队列,但性能非常糟糕,我不得不提前爆发.我可以提供一个比defualt更好的分配器来获得更好的响应,但从表面来看,deque并不是这项工作的类.请注意,这也可能与deque的MS VS2008实现有关,因为在这个类中似乎有很多与性能相关的非常依赖于实现的实现.

我想,是时候写我自己的大数组了.

第二次编辑: 使用以下内容立即分配较小的数量,产生1.875GB;

#define TenMB 1024*1024*10

void    SmallerAllocs()
{

    size_t Total = 0;
    LPVOID  p[200];
    for (int i = 0; i < 200; i++)
    {
        p[i] = malloc(TenMB);
        if (p[i])
            Total += TenMB; else
            break;
    }
    CString Msg;
    Msg.Format("Allocated %0.3lfGB",Total/(1024.0*1024.0*1024.0));
    AfxMessageBox(Msg,MB_OK);
}

最后的编辑 我已经决定接受Poita的帖子以及它之后的各种评论,不是因为我将直接使用deque类,而是更多的数组作为随后的评论中的一副牌概念.这应该是直接用O(1)随机元素访问实现的,基于每个块的固定数量的元素,这是我需要的.感谢大家的反馈!

Answer 1

你试过用过std::deque吗？与std::vector使用一个巨大堆分配的a不同,deque通常以小块分配,但仍然提供通过分摊的常量时间索引operator[].

Answer 2

这个数组究竟有多稀疏？如果其中有大量空(未使用)空间,您可能需要采取另一种方法.这个问题的答案表明了一个stl地图.

如果它不是稀疏的(如评论中所述),那么您在Windows上运行时可能会考虑的一件事是使用内存映射文件.虽然您的操作系统可能是32位,但您的文件系统不是.这当然意味着会有交换进行,这可能比你真的把整个darn东西放在RAM中要慢得多.

此外,你真的应该考虑将系统的RAM敲到最大值(我认为32位Windows上的3GB),看看是否能为你修复它.这应该只花费你大约100美元,并且你花费的时间远远超过工时,只是担心这个.