替代字节数组处理瓶颈的高速替代方案

Question

>>见下面的编辑<<

我正在通过pyUSB使用FTDI D2xx驱动程序处理来自串行的特殊像素化CCD相机的数据.

相机可以在PC上以高带宽运行,最高可达80帧/秒.我很喜欢这种速度,但是知道Python不可行,因为它是一种脚本语言,但我想知道我能接近多少 - 是否是我在代码中遗漏的一些优化,线程化,或使用其他方法.我立刻认为打破最耗时的循环并将它们放在C代码中,但我没有太多的C代码经验,也不确定让Python与它内联进行的最佳方法,如果可能的话.我使用SciPy/Numpy在Python中大量开发了复杂的算法,这些算法已经过优化并具有可接受的性能,因此我需要一种方法来加速数据采集以反馈到Python,如果这是最好的方法.

难度,以及我使用Python而不是其他语言的原因,是因为需要能够轻松地跨平台运行它(我在Windows中开发,但是我将代码放在嵌入式Linux板上,制作一个独立系统).如果你建议我使用其他代码,比如C,我怎样才能跨平台工作？我从来没有在Windows和Linux之间编译像C这样的低级语言,所以我想确定这个过程 - 我必须为每个系统编译它,对吧？你有什么建议？

这是我的函数,具有当前执行时间:

ReadStream: 'RXcount'是114733,用于设备读取,从字符串到字节等效格式化

返回表示二进制值的字节列表(0-255)

当前执行时间:0.037秒

def ReadStream(RXcount):
    global ftdi
    RXdata = ftdi.read(RXcount)
    RXdata = list(struct.unpack(str(len(RXdata)) + 'B', RXdata))
    return RXdata

ProcessRawData:将字节列表重新整形为与像素方向匹配的数组

在修剪掉一些不需要的字节后,在3584x32阵列中产生结果.

数据是唯一的,因为每个14行的块代表设备上一行像素的14位(跨越8位/字节= 256位的32字节),即256×256像素.处理后的数组有32列字节,因为每个字节(二进制)代表8个像素(32个字节*8位= 256个像素).还在研究如何做到这一点...... 我之前已经发布了一个问题

当前执行时间:0.01秒......不错,它只是Numpy

def ProcessRawData(RawData):
    if len(RawData) == 114733:
        ProcessedMatrix = np.ndarray((1, 114733), dtype=int)
        np.copyto(ProcessedMatrix, RawData)
        ProcessedMatrix = ProcessedMatrix[:, 1:-44]
        ProcessedMatrix = np.reshape(ProcessedMatrix, (-1, 32))
        return ProcessedMatrix
    else:
        return None

最后,

GetFrame:设备有一个模式,它只输出一个像素是否检测到任何东西,使用数组的最低位(每第14行) - 获取该数据并转换为每个像素的int

结果为256x256数组,在每第14行处理后,这些字节将被读取为二进制(32字节跨... 32字节*8位= 256像素跨)

当前执行时间:0.04秒

def GetFrame(ProcessedMatrix):
    if np.shape(ProcessedMatrix) == (3584, 32):
        FrameArray = np.zeros((256, 256), dtype='B')
        DataRows = ProcessedMatrix[13::14]
        for i in range(256):
            RowData = ""
            for j in range(32):
                RowData = RowData + "{:08b}".format(DataRows[i, j])
            FrameArray[i] = [int(RowData[b:b+1], 2) for b in range(256)]
        return FrameArray
    else:
        return False

目标:

我想通过你提出的任何建议(目前它是0.25秒/帧,GetFrame功能最弱)来确定~0.02秒/帧的总执行时间.设备I/O不是限制因素,因为它每0.0125秒输出一个数据包.如果我将执行时间缩短,那么我可以通过一些线程并行运行采集和处理吗？

让我知道你的建议是最好的前进道路 - 谢谢你的帮助!

编辑,感谢@Jaime:

功能现在是:

def ReadStream(RXcount):
    global ftdi
    return np.frombuffer(ftdi.read(RXcount), dtype=np.uint8)

......时间0.013秒

def ProcessRawData(RawData):
    if len(RawData) == 114733:
        return RawData[1:-44].reshape(-1, 32)
    return None

...时间0.000007秒!

def GetFrame(ProcessedMatrix):
    if ProcessedMatrix.shape == (3584, 32):
        return np.unpackbits(ProcessedMatrix[13::14]).reshape(256, 256)
    return False

...时间0.00006秒!

因此,使用纯Python,我现在能够以所需的帧速率获取数据!在对D2xx USB缓冲器和延迟时间进行了一些调整之后,我的时钟频率为47.6 FPS!

最后一步是,如果有任何方法可以使此运行与我的处理算法并行运行？需要一些方法将结果传递GetFrame给另一个并行运行的循环.

Answer 1

有几个地方你可以显着加快速度.也许最明显的是重写GetFrame:

def GetFrame(ProcessedMatrix):
    if ProcessedMatrix.shape == (3584, 32):
        return np.unpackbits(ProcessedMatrix[13::14]).reshape(256, 256)
    return False

这要求ProcessedMatrix是一种ndarray类型np.uint8,但除此之外,在我的系统上它运行速度提高了1000倍.

有了你的另外两个功能,我认为ReadStream你应该做的事情如下:

def ReadStream(RXcount):
    global ftdi
    return np.frombuffer(ftdi.read(RXcount), dtype=np.uint8)

即使它没有大大加快这个功能的速度,因为它占据了大部分时间的读数,它已经为你提供了一个庞大的字节数组.有了它,你可以继续ProcessRawData尝试:

def ProcessRawData(RawData):
    if len(RawData) == 114733:
        return RawData[1:-44].reshape(-1, 32)
    return None

这比你的版本快10倍.