Pandas在groupby内插入

Question

我有一个包含以下信息的数据框:

    filename    val1    val2
t                   
1   file1.csv   5       10
2   file1.csv   NaN     NaN
3   file1.csv   15      20
6   file2.csv   NaN     NaN
7   file2.csv   10      20
8   file2.csv   12      15

我想基于索引在数据帧中插入值,但仅在每个文件组中.

为了插值,我通常会这样做

df = df.interpolate(method="index")

我去做分组

grouped = df.groupby("filename")

我希望插值数据框看起来像这样:

    filename    val1    val2
t                   
1   file1.csv   5       10
2   file1.csv   10      15
3   file1.csv   15      20
6   file2.csv   NaN     NaN
7   file2.csv   10      20
8   file2.csv   12      15

NaN仍然存在于t = 6,因为它们是file2组中的第一项.

我怀疑我需要使用"申请",但未能确切地知道如何......

grouped.apply(interp1d)
...
TypeError: __init__() takes at least 3 arguments (2 given)

任何帮助,将不胜感激.

Answer 1

>>> df.groupby('filename').apply(lambda group: group.interpolate(method='index'))
    filename  val1  val2
t                       
1  file1.csv     5    10
2  file1.csv    10    15
3  file1.csv    15    20
6  file2.csv   NaN   NaN
7  file2.csv    10    20
8  file2.csv    12    15

Answer 2

我也遇到了这个。apply您可以使用代替使用，transform如果您拥有 1000 个组，这将减少超过 25% 的运行时间：

import numpy as np
import pandas as pd

np.random.seed(500)
test_df = pd.DataFrame({
    'a': np.random.randint(low=0, high=1000, size=10000),
    'b': np.random.choice([1, 2, 4, 7, np.nan], size=10000, p=([0.2475]*4 + [0.01]))
})

测试：

%timeit test_df.groupby('a').transform(pd.DataFrame.interpolate)

输出： 566 ms ± 27.1 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit test_df.groupby('a').apply(pd.DataFrame.interpolate)

输出： 788 ms ± 10.4 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit test_df.groupby('a').apply(lambda group: group.interpolate())

输出： 787 ms ± 17.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit test_df.interpolate()

输出： 918 µs ± 16.9 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

与对interpolate完整 DataFrame的完全矢量化调用相比，您仍然会看到运行时间显着增加，但我认为在 Pandas 中您不会做得更好。