相关疑难解决方法(0)

从生成器创建一个pandas DataFrame?

我创建了一个元组生成器,它从文件中提取信息,仅过滤感兴趣的记录并将其转换为生成器返回的元组.

我尝试从以下位置创建DataFrame:

import pandas as pd
df = pd.DataFrame.from_records(tuple_generator, columns = tuple_fields_name_list)
Run Code Online (Sandbox Code Playgroud)

但抛出一个错误:

... 
C:\Anaconda\envs\py33\lib\site-packages\pandas\core\frame.py in from_records(cls, data, index, exclude, columns, coerce_float, nrows)
   1046                 values.append(row)
   1047                 i += 1
-> 1048                 if i >= nrows:
   1049                     break
   1050 

TypeError: unorderable types: int() >= NoneType()
Run Code Online (Sandbox Code Playgroud)

我设法让它在列表中使用生成器,但使用两次内存:

df = pd.DataFrame.from_records(list(tuple_generator), columns = tuple_fields_name_list)
Run Code Online (Sandbox Code Playgroud)

我想加载的文件很大,内存消耗很重要.最后一次尝试我的电脑花了两个小时试图增加虚拟内存:(

问题:任何人都知道从记录生成器直接创建DataFrame的方法,而不事先将其转换为列表?

注意:我在Windows上使用python 3.3和pandas 0.12和Anaconda.

更新:

这不是读取文件的问题,我的元组生成器做得很好,它逐行扫描混合记录的文本压缩文件,只将所需数据转换为正确的类型,然后在元组形式的生成器中生成字段.一些数字,它扫描13013 gzip文件上的2111412条记录,大约6.5分钟未压缩,大约一分钟,并且使用的内存很少.

Pandas 0.12不允许生成器,dev版本允许它,但将所有生成器放在列表中然后转换为帧.这不是有效的,但它必须处理内部大熊猫.与此同时,我必须考虑购买更多的内存.

python pandas

30
推荐指数
3
解决办法
3万
查看次数

Pandas"Group By"查询HDFStore中的大数据?

我有大约700万行,HDFStore超过60列.数据超出了我的记忆能力.我希望根据列"A"的值将数据聚合成组.pandas 拆分/聚合/组合的文档假定我已经拥有了所有数据DataFrame,但是我无法将整个存储读入内存中DataFrame.将数据分组的正确方法是HDFStore什么?

python pytables pandas

20
推荐指数
1
解决办法
7467
查看次数

标签 统计

pandas ×2

python ×2

pytables ×1