为了管理我在进行分析时消耗的RAM量,我有一个大型数据集存储在hdf5(.h5)中,我需要使用Pandas有效地查询这个数据集.
该数据集包含一套应用程序的用户性能数据.我只想从40个字段中提取几个字段,然后将结果数据帧过滤到仅使用我感兴趣的几个应用程序之一的用户.
# list of apps I want to analyze
apps = ['a','d','f']
# Users.h5 contains only one field_table called 'df'
store = pd.HDFStore('Users.h5')
# the following query works fine
df = store.select('df',columns=['account','metric1','metric2'],where=['Month==10','IsMessager==1'])
# the following pseudo-query fails
df = store.select('df',columns=['account','metric1','metric2'],where=['Month==10','IsMessager==1', 'app in apps'])
我意识到字符串'app in app'不是我想要的.这只是我希望实现的类似SQL的表示.我似乎无法以任何方式传递一系列字符串,但必须有一种方法.
现在我只是在没有这个参数的情况下运行查询,然后我在后续步骤中过滤掉了我不想要的应用程序
df = df[df['app'].isin(apps)]
但这样效率要低得多,因为在我删除它们之前,所有应用程序都需要先加载到内存中.在某些情况下,这是一个很大的问题,因为我没有足够的内存来支持整个未过滤的df.