我创建了一个元组生成器,它从文件中提取信息,仅过滤感兴趣的记录并将其转换为生成器返回的元组.
我尝试从以下位置创建DataFrame:
import pandas as pd
df = pd.DataFrame.from_records(tuple_generator, columns = tuple_fields_name_list)
Run Code Online (Sandbox Code Playgroud)
但抛出一个错误:
...
C:\Anaconda\envs\py33\lib\site-packages\pandas\core\frame.py in from_records(cls, data, index, exclude, columns, coerce_float, nrows)
1046 values.append(row)
1047 i += 1
-> 1048 if i >= nrows:
1049 break
1050
TypeError: unorderable types: int() >= NoneType()
Run Code Online (Sandbox Code Playgroud)
我设法让它在列表中使用生成器,但使用两次内存:
df = pd.DataFrame.from_records(list(tuple_generator), columns = tuple_fields_name_list)
Run Code Online (Sandbox Code Playgroud)
我想加载的文件很大,内存消耗很重要.最后一次尝试我的电脑花了两个小时试图增加虚拟内存:(
问题:任何人都知道从记录生成器直接创建DataFrame的方法,而不事先将其转换为列表?
注意:我在Windows上使用python 3.3和pandas 0.12和Anaconda.
更新:
这不是读取文件的问题,我的元组生成器做得很好,它逐行扫描混合记录的文本压缩文件,只将所需数据转换为正确的类型,然后在元组形式的生成器中生成字段.一些数字,它扫描13013 gzip文件上的2111412条记录,大约6.5分钟未压缩,大约一分钟,并且使用的内存很少.
Pandas 0.12不允许生成器,dev版本允许它,但将所有生成器放在列表中然后转换为帧.这不是有效的,但它必须处理内部大熊猫.与此同时,我必须考虑购买更多的内存.
我有大约700万行,HDFStore超过60列.数据超出了我的记忆能力.我希望根据列"A"的值将数据聚合成组.pandas 拆分/聚合/组合的文档假定我已经拥有了所有数据DataFrame,但是我无法将整个存储读入内存中DataFrame.将数据分组的正确方法是HDFStore什么?