numpy.polyfit不处理NaN值

Question

我对这段Python代码有疑问:

import matplotlib
matplotlib.use("Agg")

import numpy as np
import pylab as pl

A1=np.loadtxt('/tmp/A1.txt',delimiter=',')
A1_extrema = [min(A1),max(A1)]
A2=np.loadtxt('/tmp/A2.txt',delimiter=',')

pl.close()
ab = np.polyfit(A1,A2,1)
print ab
fit = np.poly1d(ab)
print fit
r2 = np.corrcoef(A1,A2)[0,1]
print r2
pl.plot(A1,A2,'r.', label='TMP36 vs. DS18B20', alpha=0.7)
pl.plot(A1_extrema,fit(A1_extrema),'c-')
pl.annotate('{0}'.format(r2) , xy=(min(A1)+0.5,fit(min(A1))), size=6, color='r' )

pl.title('Sensor correlations')
pl.xlabel("T(x) [degC]")
pl.ylabel("T(y) [degC]")
pl.grid(True)
pl.legend(loc='upper left', prop={'size':8})
pl.savefig('/tmp/C123.png')

A1和A2是包含来自不同传感器的温度读数的阵列.我想找到两者之间的相关性并以图形方式显示.但是,偶尔会发生传感器读取错误.在这种情况下,将NaN插入其中一个文件而不是温度值.然后np.polyfit拒绝适合数据并返回[nan, nan]结果.之后所有其他都失败了.

我的问题:我如何说服numpy.polyfit忽略NaN值？注意:数据集目前相对较小.我希望它们一旦部署就可能增长到大约200k ... 600k元素.

Answer 1

我知道这有点旧,但是如果你的阵列中有NaN,你必须通过仅考虑有限的索引来"清理它们".这样做的方法是

idx = np.isfinite(x) & np.isfinite(y)
ab = np.polyfit(x[idx], y[idx], 1)

这样你只能将"好"点传递给polyfit.