删除所有行和标题为 na 的数据框列

Kaj*_*jsa 3 python dataframe pandas

我有一个包含许多 NoneType 值的数据框,我想删除所有行值和标题为 None 的所有列。我正在努力寻找一种方法来做到这一点。在下面的MWE中,我设法要么删除所有行都为 None 的所有列,要么删除标题为 None 的所有列。

from __future__ import annotations

import pandas as pd

d = [[1, 2, None, None, None], [4, 5, None, None, 7]]
cols = ['a', 'b', 'c', None, None]
df = pd.DataFrame(data=d, columns=cols)

print("Original: \n", df)
#Original: 
#    a  b     c   NaN  NaN
#0  1  2  None  None  NaN
#1  4  5  None  None  7.0

print("\nDropped how = all: \n", df.dropna(axis=1, how="all"))    # Drops column 'c'
#Dropped how = all: 
#    a  b  NaN
#0  1  2  NaN
#1  4  5  7.0

print("\nDropped None columns: \n", df[df.columns.dropna()])
#Dropped None columns: 
#    a  b     c
#0  1  2  None
#1  4  5  None

Run Code Online (Sandbox Code Playgroud)

我怎样才能只删除我想删除的列并得到这个?

#Wanted: 
#    a  b     c  NaN
#0  1  2  None   NaN
#1  4  5  None   7.0
Run Code Online (Sandbox Code Playgroud)

ank*_*_91 7

您可以将 2 个条件与 an&和 invert 和 use 一起使用.loc[]

df.loc[:,~(df.columns.isna() & df.isna().all())]
Run Code Online (Sandbox Code Playgroud)
   a  b     c  NaN
0  1  2  None  NaN
1  4  5  None  7.0
Run Code Online (Sandbox Code Playgroud)

  • DeMorgan 的版本 `df.loc[:, df.notna().any() | df.columns.notna()]` (2认同)

yat*_*atu 5

这是根据条件在数据帧上使用notnaany执行布尔索引的一种方法:

df.loc[:, (df.notna() | df.columns.notna()).any(0)]

   a  b     c  NaN
0  1  2  None  NaN
1  4  5  None  7.0
Run Code Online (Sandbox Code Playgroud)