获取共享数组空间的memsize

Question

TL;博士

require 'objspace'

ObjectSpace.memsize_of([0] * 1_000_000)
#=> 8000040
ObjectSpace.memsize_of(Array.new([0] * 1_000_000))
#=> 40

它去了哪里？

更长的版本

Array中的一大堆东西似乎有一个"共享数组"的概念,其中数据块被移动到共享堆空间.我知道memsize_of它清楚地表明它可能是不完整的,但是有一种(好的)方法来分析这些共享数组块的分配吗？从它们的角度来看,它们似乎不是"对象" ObjectSpace.each_object.对于此内存分析器而言,即使我无法将其追溯到特定对象,至少能够跟踪共享阵列堆空间的总体大小也是很好的.

Answer 1

幸运的rb_ary_memsize是，它是一个公共函数，因此通过一些小技巧，你可以做到这一点：

#include <ruby.h>
#include <assert.h>

/* private macros from array.c */
#define ARY_OWNS_HEAP_P(a) (!FL_TEST((a), ELTS_SHARED|RARRAY_EMBED_FLAG))
#define ARY_SHARED_P(ary) \
    (assert(!FL_TEST((ary), ELTS_SHARED) || !FL_TEST((ary), RARRAY_EMBED_FLAG)), \
     FL_TEST((ary),ELTS_SHARED)!=0)

RUBY_FUNC_EXPORTED size_t
rb_ary_memsize(VALUE ary)
{
    if (ARY_OWNS_HEAP_P(ary)) {
        return RARRAY(ary)->as.heap.aux.capa * sizeof(VALUE);
    }
/* -------8<------8<------- */
    else if (ARY_SHARED_P(ary)){
        /* if it is a shared array, calculate size using length of shared root */
        return RARRAY_LEN(RARRAY(ary)->as.heap.aux.shared) * sizeof(VALUE);
    }
/* ------->8------>8------- */
    else {
        return 0;
    }
}

将其编译为共享对象：

gcc $(ruby -rrbconfig \
  -e'puts RbConfig::CONFIG.values_at("rubyhdrdir","rubyarchhdrdir").map{|d| " -I#{d}"}.join') \
  -Wall -fpic -shared -o ary_memsize_hack.so ary_memsize_hack.c

并加载到进程中替换原始函数：

LD_PRELOAD="$(pwd)/ary_memsize_hack.so" ruby -robjspace \
  -e 'p ObjectSpace.memsize_of([0] * 1_000_000); 
      p ObjectSpace.memsize_of(Array.new([0] * 1_000_000))'

它将产生所需的输出：

8000040
8000040

UPDATE： rb_ary_memsize负责估计数组大小的函数，仅适用于拥有堆（即不共享且不嵌入）的数组，否则返回零。一般来说，这是有道理的，因为如果您应该计算应用程序中所有数组的大小，最终数字应该匹配，而使用我的补丁，共享数组的内容将被多次计算。我想主要问题是在 ruby​​ 端构建包装数组的方式：本质上内部数组的引用丢失了，并且应用程序代码无法访问，并且看起来是不可数的。我的补丁仅演示了如何到达共享数组的根以公开大小，但我认为这不应该以任何方式集成到上游。类似的问题也存在于嵌入式数组中，因为 ruby​​ 也返回 0 作为大小，这并没有显示应用程序期望看到的内容：

require 'objspace'

puts ObjectSpace.dump([1])
#=> {"address":"0x000008033f9bd8", "type":"ARRAY", "class":"0x000008029f9a98", "length":1, 
#    "embedded":true, "memsize":40, "flags":{"wb_protected":true}}
puts ObjectSpace.dump([1, 2])
#=> {"address":"0x000008033f9b38", "type":"ARRAY", "class":"0x000008029f9a98", "length":2, 
#    "embedded":true, "memsize":40, "flags":{"wb_protected":true}}
puts ObjectSpace.dump([1, 2, 3])
#=> {"address":"0x000008033f9ac0", "type":"ARRAY", "class":"0x000008029f9a98", "length":3, 
#    "embedded":true, "memsize":40, "flags":{"wb_protected":true}}
puts ObjectSpace.dump([1, 2, 3, 4])
#=> {"address":"0x000008033f9a48", "type":"ARRAY", "class":"0x000008029f9a98", "length":4,
#    "memsize":72, "flags":{"wb_protected":true}}