如何计算pandas DataFrame中列中的NaN值

Question

我有数据,我想在其中找到数量NaN,所以如果它小于某个阈值,我会删除这些列.我看了,但没能找到任何功能.有value_counts,但对我来说会很慢,因为大多数价值观都是不同的,我NaN只想要数.

Answer 1

您可以使用该isna()方法(或它的别名isnull(),它也与旧的pandas版本<0.21.0兼容),然后求和以计算NaN值.对于一列:

In [1]: s = pd.Series([1,2,3, np.nan, np.nan])

In [4]: s.isna().sum()   # or s.isnull().sum() for older pandas versions
Out[4]: 2

对于多个列,它也有效:

In [5]: df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})

In [6]: df.isna().sum()
Out[6]:
a    1
b    2
dtype: int64

Answer 2

您可以从非纳米值的数量中减去总长度:

count_nan = len(df) - df.count()

你应该对你的数据进行计时.对于小型系列而言,与isnull解决方案相比,速度提高了3倍.

Answer 3

让我们假设df是一个pandas DataFrame

然后,

df.isnull().sum(axis = 0)

这将给出每列中的NaN值的数量.

如果需要,每行都有NaN值,

df.isnull().sum(axis = 1)

Answer 4

dataset.isnull().sum()

这会工作！

Answer 5

基于最多投票的答案,我们可以轻松定义一个函数,该函数为我们提供了一个数据框,用于预览每列中缺失值和缺失值的百分比:

def missing_values_table(df):
        mis_val = df.isnull().sum()
        mis_val_percent = 100 * df.isnull().sum() / len(df)
        mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
        mis_val_table_ren_columns = mis_val_table.rename(
        columns = {0 : 'Missing Values', 1 : '% of Total Values'})
        mis_val_table_ren_columns = mis_val_table_ren_columns[
            mis_val_table_ren_columns.iloc[:,1] != 0].sort_values(
        '% of Total Values', ascending=False).round(1)
        print ("Your selected dataframe has " + str(df.shape[1]) + " columns.\n"      
            "There are " + str(mis_val_table_ren_columns.shape[0]) +
              " columns that have missing values.")
        return mis_val_table_ren_columns

Answer 6

由于pandas 0.14.1我在这里建议在 value_counts方法中有一个关键字参数已经实现:

import pandas as pd
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})
for col in df:
    print df[col].value_counts(dropna=False)

2     1
 1     1
NaN    1
dtype: int64
NaN    2
 1     1
dtype: int64

Answer 7

下面将按降序打印所有 Nan 列。

df.isnull().sum().sort_values(ascending = False)

或者

下面将按降序打印前 15 个 Nan 列。

df.isnull().sum().sort_values(ascending = False).head(15)

Answer 8

df.isnull().sum() 将给出缺失值的列式总和。

如果您想知道特定列中缺失值的总和，则以下代码将起作用： df.column.isnull().sum()

Answer 9

如果它只是在熊猫列中计算纳米值是一个快速的方法

import pandas as pd
## df1 as an example data frame 
## col1 name of column for which you want to calculate the nan values
sum(pd.isnull(df1['col1']))

Answer 10

如果你正在使用Jupyter笔记本,怎么样....

 %%timeit
 df.isnull().any().any()

要么

 %timeit 
 df.isnull().values.sum()

或者,数据中是否有任何NaN,如果有,在哪里？

 df.isnull().any()

Answer 11

请在下面使用特定的列数

dataframe.columnName.isnull().sum()

Answer 12

df.isnull().sum() 
      //type: <class 'pandas.core.series.Series'>

或者

df.column_name.isnull().sum()
     //type: <type 'numpy.int64'>

Answer 13

希望这可以帮助，

import pandas as pd
import numpy as np
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan],'c':[np.nan,2,np.nan], 'd':[np.nan,np.nan,np.nan]})

df.isnull().sum()/len(df) * 100

Thres = 40
(df.isnull().sum()/len(df) * 100 ) < Thres

Answer 14

您可以使用value_counts方法并打印np.nan的值

s.value_counts(dropna = False)[np.nan]

Answer 15

import numpy as np
import pandas as pd

raw_data = {'first_name': ['Jason', np.nan, 'Tina', 'Jake', 'Amy'], 
        'last_name': ['Miller', np.nan, np.nan, 'Milner', 'Cooze'], 
        'age': [22, np.nan, 23, 24, 25], 
        'sex': ['m', np.nan, 'f', 'm', 'f'], 
        'Test1_Score': [4, np.nan, 0, 0, 0],
        'Test2_Score': [25, np.nan, np.nan, 0, 0]}
results = pd.DataFrame(raw_data, columns = ['first_name', 'last_name', 'age', 'sex', 'Test1_Score', 'Test2_Score'])

results 
'''
  first_name last_name   age  sex  Test1_Score  Test2_Score
0      Jason    Miller  22.0    m          4.0         25.0
1        NaN       NaN   NaN  NaN          NaN          NaN
2       Tina       NaN  23.0    f          0.0          NaN
3       Jake    Milner  24.0    m          0.0          0.0
4        Amy     Cooze  25.0    f          0.0          0.0
'''

您可以使用以下功能，这将在Dataframe中提供输出

• 零值
• 缺失值
• 占总价值的百分比
• 总零缺失值
• 总零缺失值百分比
• 数据类型

只需复制并粘贴以下函数，然后通过传递您的pandas Dataframe来调用它

def missing_zero_values_table(df):
        zero_val = (df == 0.00).astype(int).sum(axis=0)
        mis_val = df.isnull().sum()
        mis_val_percent = 100 * df.isnull().sum() / len(df)
        mz_table = pd.concat([zero_val, mis_val, mis_val_percent], axis=1)
        mz_table = mz_table.rename(
        columns = {0 : 'Zero Values', 1 : 'Missing Values', 2 : '% of Total Values'})
        mz_table['Total Zero Missing Values'] = mz_table['Zero Values'] + mz_table['Missing Values']
        mz_table['% Total Zero Missing Values'] = 100 * mz_table['Total Zero Missing Values'] / len(df)
        mz_table['Data Type'] = df.dtypes
        mz_table = mz_table[
            mz_table.iloc[:,1] != 0].sort_values(
        '% of Total Values', ascending=False).round(1)
        print ("Your selected dataframe has " + str(df.shape[1]) + " columns and " + str(df.shape[0]) + " Rows.\n"      
            "There are " + str(mz_table.shape[0]) +
              " columns that have missing values.")
#         mz_table.to_excel('D:/sampledata/missing_and_zero_values.xlsx', freeze_panes=(1,0), index = False)
        return mz_table

missing_zero_values_table(results)

输出量

Your selected dataframe has 6 columns and 5 Rows.
There are 6 columns that have missing values.

             Zero Values  Missing Values  % of Total Values  Total Zero Missing Values  % Total Zero Missing Values Data Type
last_name              0               2               40.0                          2                         40.0    object
Test2_Score            2               2               40.0                          4                         80.0   float64
first_name             0               1               20.0                          1                         20.0    object
age                    0               1               20.0                          1                         20.0   float64
sex                    0               1               20.0                          1                         20.0    object
Test1_Score            3               1               20.0                          4                         80.0   float64

如果要保持简单，则可以使用以下函数获取％的缺失值

def missing(dff):
    print (round((dff.isnull().sum() * 100/ len(dff)),2).sort_values(ascending=False))


missing(results)
'''
Test2_Score    40.0
last_name      40.0
Test1_Score    20.0
sex            20.0
age            20.0
first_name     20.0
dtype: float64
'''

Answer 16

计数零：

df[df == 0].count(axis=0)

要计算NaN：

df.isnull().sum()

要么

df.isna().sum()

Answer 17

尚未建议的另一个简单选项是仅计算 NaN，将在形状中添加以返回包含 NaN 的行数。

df[df['col_name'].isnull()]['col_name'].shape

Answer 18

对于第一部分计数，NaN我们有多种方式。

方法1 count，由于count会忽略NaN与size

print(len(df) - df.count())

方法2 isnull/isna链带sum

print(df.isnull().sum())
#print(df.isna().sum())

方法 3 describe/ info：注意这将输出“notnull”值计数

print(df.describe())
#print(df.info())

方法来自numpy

print(np.count_nonzero(np.isnan(df.values),axis=0))

对于问题的第二部分，如果我们想将列放在脱粒处，我们可以尝试使用dropna

thresh，可选 需要许多非 NA 值。

Thresh = n # no null value require, you can also get the by int(x% * len(df))
df = df.dropna(thresh = Thresh, axis = 1)