将 pandas 数据框中的所有 inf、-inf 值替换为 NaN

Question

我有一个大型数据框，不同列中包含 inf、-inf 值。我想用 NaN 替换所有 inf、-inf 值

我可以逐栏这样做。所以这有效：

df['column name'] = df['column name'].replace(np.inf, np.nan)

但我的代码在数据帧中一次性执行此操作却没有。

df.replace([np.inf, -np.inf], np.nan)

输出不会替换 inf 值

Answer 1

长话短说

\n

\n
• df.replace更换速度最快\xc2\xb1inf
\n
• 但你可以通过设置来避免完全替换mode.use_inf_as_na
\n

\n\n

更换inf和-inf

\n

df = df.replace([np.inf, -np.inf], np.nan)\n

\n

^{请注意，这inplace是可能的，但不建议这样做，并且很快就会被弃用。}

\n

\n

较慢的df.applymap选项：

\n

\n
• df = df.applymap(lambda x: np.nan if x in [np.inf, -np.inf] else x)
\n
• df = df.applymap(lambda x: np.nan if np.isinf(x) else x)
\n
• df = df.applymap(lambda x: x if np.isfinite(x) else np.nan)
\n

\n\n

环境mode.use_inf_as_na

\n

请注意，我们实际上根本不需要修改df。设置mode.use_inf_as_na只会改变方式inf并被-inf解释：

\n

\n

True表示将None, nan, -inf,inf视为 null
\nFalse表示None和nan为空，但inf,-inf不为空（默认）

\n

\n

\n

• 要么全局启用

  \n

  pd.set_option(\'mode.use_inf_as_na\', True)\n

  \n
\n

• 或者通过上下文管理器在本地

  \n

  with pd.option_context(\'mode.use_inf_as_na\', True):\n    ...\n

  \n
\n

\n

Answer 2

pandas.Series.replace不会就地发生。

因此，替换整个数据帧的代码的问题不起作用，因为您需要将其分配回来或添加inplace=True为参数。这也是逐列工作的原因，因为您将其分配回该列df['column name'] = ...

因此，更改df.replace([np.inf, -np.inf], np.nan)为：

df.replace([np.inf, -np.inf], np.nan,inplace=True)

或者分配回一个新的数据框：

df = df.replace([np.inf, -np.inf], np.nan)