我有这样一个数据框:
col0 col1 col2 col3
ID1 0 2 0 2
ID2 1 1 2 10
ID3 0 1 3 4
Run Code Online (Sandbox Code Playgroud)
我想删除包含零个以上的行。
我试着做:
cols = ['col1', etc]
df.loc[:, cols].value_counts()
Run Code Online (Sandbox Code Playgroud)
但这仅适用于系列,不适用于数据帧。
df.loc[:, cols].count(0) <= 1
Run Code Online (Sandbox Code Playgroud)
仅返回布尔值。
我觉得我已经接近第二次尝试了。
应用条件并计算True
值。
(df == 0).sum(1)
ID1 2
ID2 0
ID3 1
dtype: int64
df[(df == 0).sum(1) < 2]
col0 col1 col2 col3
ID2 1 1 2 10
ID3 0 1 3 4
Run Code Online (Sandbox Code Playgroud)
或者,将整数转换为bool并将其求和。更直接一点。
# df[(~df.astype(bool)).sum(1) < 2]
df[df.astype(bool).sum(1) > len(df.columns)-2] # no inversion needed
col0 col1 col2 col3
ID2 1 1 2 10
ID3 0 1 3 4
Run Code Online (Sandbox Code Playgroud)
为了提高性能,您可以使用np.count_nonzero
:
# df[np.count_nonzero(df, axis=1) > len(df.columns)-2]
df[np.count_nonzero(df.values, axis=1) > len(df.columns)-2]
col0 col1 col2 col3
ID2 1 1 2 10
ID3 0 1 3 4
Run Code Online (Sandbox Code Playgroud)
df = pd.concat([df] * 10000, ignore_index=True)
%timeit df[(df == 0).sum(1) < 2]
%timeit df[df.astype(bool).sum(1) > len(df.columns)-2]
%timeit df[np.count_nonzero(df.values, axis=1) > len(df.columns)-2]
7.13 ms ± 161 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
4.28 ms ± 120 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
997 µs ± 38.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
Run Code Online (Sandbox Code Playgroud)
归档时间: |
|
查看次数: |
500 次 |
最近记录: |