将可变大小的字节数组转换为整数/长整数

Question

如何将(大端)可变大小的二进制字节数组转换为(无符号)整数/长？例如,'\x11\x34'代表4404

现在,我正在使用

def bytes_to_int(bytes):
  return int(bytes.encode('hex'), 16)

哪个小而且有点可读,但可能效率不高.有更好的(更明显的)方式吗？

Answer 1

Python传统上并没有太多用于"大端C布局中的数字",这对C来说太大了.(如果你处理的是2字节,4字节或8字节的数字,那么struct.unpack就是答案.)

但是有足够的人厌倦了没有一种明显的方法来做到这一点,Python 3.2添加了一个int.from_bytes完全符合你想要的方法:

int.from_bytes(b, byteorder='big', signed=False)

不幸的是,如果你使用的是旧版本的Python,那么就没有了.那么,你有什么选择？(除了显而易见的一个:更新到3.2,或者更好,3.4 ......)

首先,有你的代码.我认为binascii.hexlify拼写它比拼写更好.encode('hex'),因为对于字节字符串上的方法(而不是Unicode字符串),"encode"似乎总是有些奇怪,而且它实际上已经在Python 3中被放逐了.但除此之外,似乎对我来说非常可读和明显.它应该非常快 - 是的,它必须创建一个中间字符串,但它在C中进行所有循环和算术(至少在CPython中),这通常比Python中快一个数量级或两个数量级.除非你bytearray是如此之大以至于分配字符串本身会很昂贵,所以我不担心这里的性能.

或者,您可以循环执行.但这将更加冗长,至少在CPython中,速度要慢得多.

您可以尝试消除隐式循环的显式循环,但显而易见的函数是reduce,社区的一部分被认为是非Pythonic - 当然它需要为每个字节调用一个函数.

你可以展开循环,或者reduce将它分成8个字节的块并循环struct.unpack_from,或者只是做一个大的struct.unpack('Q'*len(b)//8 + 'B' * len(b)%8)循环,但这使得它的可读性低得多,而且可能没有那么快.

你可以使用NumPy ......但是如果你要比64位或者128位更大,它最终会将所有内容转换为Python对象.

所以,我认为你的答案是最好的选择.

以下是将其与最明显的手动转换进行比较的一些时间:

import binascii
import functools
import numpy as np

def hexint(b):
    return int(binascii.hexlify(b), 16)

def loop1(b):
    def f(x, y): return (x<<8)|y
    return functools.reduce(f, b, 0)

def loop2(b):
    x = 0
    for c in b:
        x <<= 8
        x |= c
    return x

def numpily(b):
    n = np.array(list(b))
    p = 1 << np.arange(len(b)-1, -1, -1, dtype=object)
    return np.sum(n * p)

In [226]: b = bytearray(range(256))

In [227]: %timeit hexint(b)
1000000 loops, best of 3: 1.8 µs per loop

In [228]: %timeit loop1(b)
10000 loops, best of 3: 57.7 µs per loop

In [229]: %timeit loop2(b)
10000 loops, best of 3: 46.4 µs per loop

In [283]: %timeit numpily(b)
10000 loops, best of 3: 88.5 µs per loop

在Python 3.4中进行比较:

In [17]: %timeit hexint(b)
1000000 loops, best of 3: 1.69 µs per loop

In [17]: %timeit int.from_bytes(b, byteorder='big', signed=False)
1000000 loops, best of 3: 1.42 µs per loop

所以,你的方法仍然很快......