用熊猫中的NaN替换空白值(空格)

Question

我想在Pandas数据帧中找到包含空格(任意数量)的所有值,并用NaN替换这些值.

有什么想法可以改进吗？

基本上我想转此:

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux     

进入:

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

我已经设法用下面的代码来做,但是男人是丑陋的.它不是Pythonic,我敢肯定它也不是最有效的熊猫用途.我循环遍历每一列并对通过应用对每个值进行正则表达式搜索的函数生成的列掩码进行布尔替换,并在空格上进行匹配.

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

只需迭代可能包含空字符串的字段,就可以对其进行优化:

if df[i].dtype == np.dtype('object')

但这并没有太大的改善

最后,这段代码将目标字符串设置为None,它与Pandas的函数一样工作fillna(),但如果我能NaN直接插入一个而不是完整性,那么它对于完整性会很好None.

Answer 1

我认为df.replace()做的工作:

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

生产:

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

正如Temak指出的那样,请使用df.replace(r'^\s+$', np.nan, regex=True)以防有效数据包含空格.

Answer 2

如果要替换空字符串和仅包含空格的记录,则正确的答案是!:

df = df.replace(r'^\s*$', np.nan, regex=True)

接受的答案

df.replace(r'\s+', np.nan, regex=True)

不替换空字符串!,您可以尝试使用稍微更新的给定示例:

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'fo o', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', ''],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

注意,'fo o'也没有被Nan替换,尽管它包含一个空格.进一步说明,这很简单:

df.replace(r'', np.NaN)

也不起作用 - 尝试一下.

Answer 3

怎么样:

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

该applymap函数将函数应用于数据帧的每个单元格.

Answer 4

我会这样做的:

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

要么

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

您可以删除所有str,然后用空格替换np.nan.

Answer 5

所有解决方案中最简单的：

df = df.replace(r'^\s+$', np.nan, regex=True)

Answer 6

对于一个非常快速且简单的解决方案，您可以使用该方法来检查单个值的相等性mask。

df.mask(df == ' ')

Answer 7

如果要从CSV文件中导出数据，则可以这样简单：

df = pd.read_csv(file_csv, na_values=' ')

这将创建数据框并将空白值替换为Na