Pandas:按行数将数据帧拆分为多个数据帧

Question

对熊猫来说相当新鲜所以忍受我...

我有一个巨大的csv,有很多行的表.我想简单地将每个数据帧拆分为2,如果它包含超过10行.

如果为true,我希望第一个数据帧包含前10个数据帧,其余数据帧包含第二个数据帧.

这有一个方便的功能吗？我环顾四周但发现没什么用处......

即split_dataframe(df,2(if> 10))？

Answer 1

如果条件满足,这将返回拆分的DataFrame,否则返回原始和None(然后您需要单独处理).请注意,这假设拆分只需要每次发生一次,df并且拆分的第二部分(如果它超过10行(意味着原始长度超过20行))是可以的.

df_new1, df_new2 = df[:10, :], df[10:, :] if len(df) > 10 else df, None

请注意,您也可以根据需要使用df.head(10)和df.tail(len(df) - 10)获取正面和背面.您还可以使用各种索引方法:您可以根据需要提供第一个维度索引,例如df[:10]代替df[:10, :](尽管我喜欢明确地编写您正在考虑的维度).您也可以以类似的方式使用df.iloc和df.ix索引.

df.loc但是要小心使用,因为它是基于标签的,输入永远不会被解释为整数位置..loc只有当您碰巧有从0开始且没有间隙的整数的索引标签时才会"意外"工作.

但是您还应该考虑pandas提供的各种选项,用于将DataFrame的内容转储为HTML,还可能考虑LaTeX,以便为演示文稿制作更好的表格(而不仅仅是复制和粘贴).简单地谷歌搜索如何将DataFrame转换为这些格式,为这个应用程序提供了大量的教程和建议.

Answer 2

没有特定的便利功能.

你必须做的事情如下:

first_ten = pd.DataFrame()
rest = pd.DataFrame()

if df.shape[0] > 10: # len(df) > 10 would also work
    first_ten = df[:10]
    rest = df[10:]

Answer 3

我使用列表理解将一个巨大的DataFrame切成100'000的块：

size = 100000
list_of_dfs = [df.loc[i:i+size-1,:] for i in range(0, len(df),size)]

或作为生成器：

list_of_dfs = (df.loc[i:i+size-1,:] for i in range(0, len(df),size))

Answer 4

基于的方法np.split：

df = pd.DataFrame({    'A':[2,4,6,8,10,2,4,6,8,10],
                       'B':[10,-10,0,20,-10,10,-10,0,20,-10],
                       'C':[4,12,8,0,0,4,12,8,0,0],
                      'D':[9,10,0,1,3,np.nan,np.nan,np.nan,np.nan,np.nan]})

listOfDfs = [df.loc[idx] for idx in np.split(df.index,5)]

一个使用模的小函数可以处理分裂不均匀的情况（例如np.split(df.index,4)会抛出错误）。

（是的，我知道原始问题比这更具体。但是，这应该回答标题中的问题。）