有没有比通过数组更有效的方法来处理大量数据？

Question

在那里,我正在为使用Python设置的物理测量编写数据采集和分析软件.在这个过程中,我收集了大量的数据点(很容易在1.000.000或更高的数量级),我随后会分析这些数据点.到目前为止,我正在使用浮点数的数组,原则上这是完成工作.然而,由于每次测量使用越来越多的数据点,我对获取的数据产生了奇怪的影响,这让我想知道阵列的处理是如此低效,写入它们会导致数据采集中的显着时间延迟环.

这有可能吗？您对如何在写入过程中改善处理时间有任何建议(这是一个微秒的问题),还是不是可能的影响,我需要在其他地方寻找？

提前致谢!

Answer 1

你的意思是名单吗？您可以使用NumPy来处理高效且高效的数值数组.

来自NumyPy网站:

首先,它们非常适合在很大程度上依赖于数学和数值运算来进行计算.它们可以与矩阵和数组本地工作,对它们执行操作,找到特征向量,计算积分,求解微分方程.

NumPy的数组类(用于实现矩阵类)在考虑速度的情况下实现,因此访问NumPy数组比访问Python列表更快.此外,NumPy实现了一种数组语言,因此不需要大多数循环.