将数据帧转换为 CSV 并返回数据帧后，pd.equals() 返回 false

Question

我有一个原始的 pandas 数据框，我们称之为df。我将数据帧转换为 csv 文件，然后将其转换回 pandas 数据帧。当我调用 df.equals(new dataframe) 时，它返回 false。我认为一个错误可能是索引可能关闭，因此我将新数据帧的索引设置为 csv 文件的第一列（这是原始数据帧的索引），但仍然得到相同的结果。

示例代码：

import pandas as pd

df = <stuff here that aggregates other dataframes into one>
file_name = 'test/aggregated_reports.csv'
df.to_csv(file_name)
df2 = pd.read_csv(file_name, index_col=0)
assert df.equals(df2)

我通过再次将 df2 转换为 csv 并比较 2 个 csv（file_name 和从 中创建的 csv df2.to_csv()）进行了一些手动测试，它们似乎是相同的，所以我假设在将原始数据帧转换为 csv 时发生“差异”文件。但我还是不太明白...

任何有关可能导致此处“差异”的原因的见解将不胜感激！

Answer 1

这可能只是一个舍入误差（我假设您的数据是数字）。如果您将浮点数存储为文本，读回它往往会导致轻微的错误。请参阅下文 - 尝试使用差异而不是 .equals() 来比较数值数据。

import pandas as pd
import numpy as np

df = pd.DataFrame(
    columns=['a', 'b', 'c'],
    index=[0, 1, 2, 3] * 3,
    data=np.random.random((12, 3)))

file_name = 'mydata.csv'
df.to_csv(file_name)
df2 = pd.read_csv(file_name, index_col=0)

print(df.equals(df2))                            # Returns False
print(np.all(np.abs((df - df2) < 10 ** -10)))    # Returns True

其他一些值得关注的选项：

compare = (df == df2)      # Dataframe of True/False
compare.all()              # By column, True if all values are equal
compare.count()            # By column, how many values are equal

# Return any rows where there was a difference
df.where(~compare).dropna(how='all')