从CSV文件到python的实时数据流

Question

我有一个 CSV 文件，其中包含几分钟内记录的随机传感器的数据。现在我想将该数据从 CSV 文件传输到我的 pyhton 代码，就好像它直接从传感器本身接收数据一样。（代码用于从两个不同的传感器/csv 文件中获取读数并对其求平均值）有人建议使用 Apache Spark 来流式传输数据，但我觉得这对我来说有点太复杂了。可能有更简单的解决方案吗？

Answer 1

您也可以使用pandas read_csv() 函数以小块读取大的csv文件，基本代码如下：

import pandas as pd
chunksize = 100
for chunk in pd.read_csv('myfile.csv', chunksize=chunksize):
    print(chunk)

这个链接解释了它是如何工作的：http : //pandas.pydata.org/pandas-docs/stable/io.html#io-chunking

Answer 2

你可以使用类似tail -fpython 的东西来实现这一点。这应该做你想做的。http://lethain.com/tailing-in-python/