Python中Bytearray和List之间的区别

Sra*_*ala 6 python memory arrays

我很想知道Bytearray和Python中的列表之间的内存管理有何不同.

我发现了一些问题,比如bytearray和list之间的差异,但没有完全回答我的问题.

我的问题正是......

from array import array
>>> x = array("B", (1,2,3,4))
>>> x.__sizeof__()
36
>>> y = bytearray((1,2,3,4))
>>> y.__sizeof__()
32
>>> z = [1,2,3,4]
>>> z.__sizeof__()
36
Run Code Online (Sandbox Code Playgroud)

正如我们所看到的,list/array.array(4个元素为36个字节)和一个字节数组(4个元素为32个字节)之间的大小存在差异.有人可以向我解释为什么会这样吗?字节数组占用元素32的内存字节是有意义的,但是如何解释list和array.array呢?4( 4 * 8 == 32 )

# Lets take the case of bytearray ( which makes more sense to me at least :p)
for i in y:
        print(i, ": ", id(i))

1 :  499962320
2 :  499962336 #diff is 16 units
3 :  499962352 #diff is 16 units
4 :  499962368 #diff is 16 units
Run Code Online (Sandbox Code Playgroud)

为什么两个连续元素之间的差异在16这里以单位不同,当每个元素只占用8字节时.这是否意味着每个内存地址指针指向一个半字节?

整数的内存分配标准是什么?我读到Python将根据整数的值分配更多的内存(如果我错了,请纠正我),就像数字越大,内存越多.

例如:

>>> y = 10
>>> y.__sizeof__()
14
>>> y = 1000000
>>> y.__sizeof__()
16
>>> y = 10000000000000
>>> y.__sizeof__()
18
Run Code Online (Sandbox Code Playgroud)

Python分配内存的标准是什么?

为什么Python占用了更多的内存而C只占用了8个字节(我的是64位机器)?当它们完全在整数范围内(2 ** 64)

元数据:

Python版本: '3.4.3 (v3.4.3:9b73f1c3e601, Feb 24 2015, 22:43:06) [MSC v.1600 32 bit (Intel)]'

机器拱: 64位

PS:请引导我阅读一篇很好的文章,其中更好地解释了Python内存管理.我花了将近一个小时的时间来弄清楚这些事情并最终在SO中提出这个问题.:(

ant*_*869 3

我并不是说这是完整的答案,但有一些提示可以帮助您理解这一点。

bytearray是一个字节序列,list也是一个对象引用序列。因此[1,2,3]实际上保存了指向存储在内存中其他地方的那些整数的内存指针。要计算列表结构的总内存消耗,我们可以这样做(我正在sys.getsizeof进一步使用,它是调用__sizeof__加上GC开销)

>>> x = [1,2,3]
>>> sum(map(getsizeof, x)) + getsizeof(x)
172
Run Code Online (Sandbox Code Playgroud)

在不同机器上结果可能不同。

另外,看看这个:

>> getsizeof([])
64
Run Code Online (Sandbox Code Playgroud)

那是因为列表是可变的。为了快速起见,该结构分配了一些内存范围来存储对对象的引用(加上一些元存储,例如列表的长度)。当您追加项目时,下一个内存单元将填充对这些项目的引用。当没有空间来存储新项目时,会分配新的、更大的范围,将现有数据复制到那里,并释放旧数据。这称为动态数组。

您可以通过运行此代码来观察此行为。

import sys 
data=[]
n=15
for k in range(n):
    a = len(data)
    b = sys.getsizeof(data)
    print('Length: {0:3d}; Size in bytes: {1:4d}'.format(a, b))
    data.append(None)
Run Code Online (Sandbox Code Playgroud)

我的结果:

Length:   0; Size in bytes:   64 
Length:   1; Size in bytes:   96
Length:   2; Size in bytes:   96 
Length:   3; Size in bytes:   96
Length:   4; Size in bytes:   96 
Length:   5; Size in bytes:  128
Length:   6; Size in bytes:  128 
Length:   7; Size in bytes:  128
Length:   8; Size in bytes:  128 
Length:   9; Size in bytes:  192
Length:  10; Size in bytes:  192 
Length:  11; Size in bytes:  192
Length:  12; Size in bytes:  192 
Length:  13; Size in bytes:  192
Length:  14; Size in bytes:  192
Run Code Online (Sandbox Code Playgroud)

我们可以看到有64个字节用于存储8个内存地址(每个64位)。

几乎同样的情况bytearray()(将第二行更改为data = bytearray()并在最后一行追加 1)。

Length:   0; Size in bytes:   56
Length:   1; Size in bytes:   58
Length:   2; Size in bytes:   61
Length:   3; Size in bytes:   61
Length:   4; Size in bytes:   63
Length:   5; Size in bytes:   63
Length:   6; Size in bytes:   65
Length:   7; Size in bytes:   65
Length:   8; Size in bytes:   68
Length:   9; Size in bytes:   68
Length:  10; Size in bytes:   68
Length:  11; Size in bytes:   74
Length:  12; Size in bytes:   74
Length:  13; Size in bytes:   74
Length:  14; Size in bytes:   74
Run Code Online (Sandbox Code Playgroud)

不同之处在于,内存现在用于保存实际的字节值,而不是指针。

希望能帮助您进一步调查。