小编Tom*_*m_K的帖子

Numpy 的 loadtxt 和 Pandas read_csv 导致不同的 float64 表示

以下代码是一个更大项目的一部分。在我的项目中,我必须阅读一个大文本文件,可能有几百万行,每行都有一对用空格分隔的小数。

一个例子如下:

-0.200000 -1.000000
-0.469967 0.249733
-0.475169 -0.314739
-0.086706 -0.901599
Run Code Online (Sandbox Code Playgroud)

到目前为止,我使用了一个由我创建的定制解析器,它运行良好,但不是最快的。在线搜索我发现numpy的loadtxt和pandas read_csv。第一个效果很好,但它的速度比我的还要差。第二个非常快,但我后来在我的项目中遇到了错误(我用有限元方法解决了一些 PDE,在用我的解析器或 loadtxt 读取坐标时,我得到了正确的结果,当我使用 read_csv 矩阵 A 时系统 Ax=b 变为单数)。

所以我创建了这个测试代码来看看发生了什么:

import numpy as np
import pandas as pd

points_file = './points.txt'

points1 = pd.read_csv(points_file, header=None, sep='\s+', dtype=np.float64).values
points2 = np.loadtxt(points_file, dtype=np.float64)

if (np.array_equal(points1, points2)):
    print ('Equal')
else:
    print ('Not Equal')

for i in range(len(points1)):
    print (points1[i] == points2[i])
Run Code Online (Sandbox Code Playgroud)

令人惊讶的是,输出是:

Not Equal
[ True  True]
[ True False]
[False  True]
[False False]
Run Code Online (Sandbox Code Playgroud)

已经很困惑,我继续搜索,我从用户“Dan Lecocq”那里找到了这个函数来获取数字的二进制表示。

因此,对于第二行中的第二个数字 (0.249733),来自 read_csv …

python numpy pandas

8
推荐指数
1
解决办法
2642
查看次数

标签 统计

numpy ×1

pandas ×1

python ×1