Numpy高精度

Question

我正在使用numpy和pyfits来操纵光谱,我需要高精度(类似于一个值可能高达10 ^ 12的8-10位小数).为此,数据类型"十进制"将是完美的(float64不够好),但不幸的是numpy.interp不喜欢它:

File ".../modules/manip_fits.py", line 47, in get_shift
pix_shift = np.interp(x, xp, fp)-fp
File "/usr/lib/python2.7/dist-packages/numpy/lib/function_base.py", line 1053, in interp
return compiled_interp(x, xp, fp, left, right)
TypeError: array cannot be safely cast to required type

我使用的代码的简化版本:

fp = np.array(range(new_wave.shape[-1]),dtype=Decimal)
pix_shift = np.empty_like(wave,dtype=Decimal)
      x = wave
  xp = new_wave
 pix_shift = np.interp(x, xp, fp)-fp

其中'wave'和'new_wave'是代表一维光谱的一维numpy数组.需要此代码来沿x轴移动我的光谱(这是波长)

我最大的问题是,在代码的下游,我将光谱除以我所有光谱总和构建的模板光谱,以便分析差异,因为我没有足够的小数位,所以我得到了舍入错误.有任何想法吗？

谢谢!

更新:

测试示例:

import numpy as np
from decimal import *
getcontext().prec = 12

wave = np.array([Decimal(xx*np.pi) for xx in range(0,10)],dtype=np.dtype(Decimal))
new_wave = np.array([Decimal(xx*np.pi+0.5) for xx in range(0,10)],dtype=np.dtype(Decimal))

fp = np.array(range(new_wave.shape[-1]),dtype=Decimal)
pix_shift = np.empty_like(wave,dtype=Decimal)

x = wave
xp = new_wave
pix_shift = np.interp(x, xp, fp)-fp

错误是:

Traceback (most recent call last):
  File "untitled.py", line 16, in <module>
    pix_shift = np.interp(x, xp, fp)-fp
  File "/usr/lib/python2.7/dist-packages/numpy/lib/function_base.py", line 1053, in interp
    return compiled_interp(x, xp, fp, left, right)
TypeError: array cannot be safely cast to required type

这是我能提供的最接近的,而不使用拟合格式的真实光谱.

更新2:我的光谱的一些典型值,使用十进制打印:

  18786960689.118938446044921875
  18473926205.282184600830078125
  18325454516.792461395263671875
  18400241010.149127960205078125
2577901751996.03857421875
2571812230557.63330078125
2567431795280.80712890625

我得到的问题是当我在它们之间进行操作时,我会收集错误.例如,我通过对所有光谱求和来为所有光谱创建模板.然后我用这个模板来标准化每个光谱.一个例子:

Spectra = np.array([Spectrum1, Spectrum2, ...])
Template = np.nansum(Spectra, axis= 0)

NormSpectra = Spectra/Template

这应该只返回光谱上的噪声(假设模板是恒星的良好表示).我尝试将每个光谱归一化为其总光通量

(Spectrum1 = Spectrum1/np.nansum(Spectrum1), ...) 

以及模板,但更糟糕的是整理错误.

使用Decimal对我来说很好,但我需要"移动"我的光谱,以便所有光谱特征/线对齐.

希望这有道理吗？

Answer 1

你怎么能确定np.float64？在典型的用例中,人们可以从双倍中获得~15个有效数字.

如果您确定这还不够,可以试试np.float128(又名np.longdouble).

但是你的问题似乎比这更深刻:它似乎是一个不合适的问题(通常是小数字划分大数字).这不是你想要的.提高精度应该在一定程度上解决问题,但是你会遇到一些需要float256/float512 /等的数据.避免病态舍入错误.

我建议你解释你的问题,而不是你的解决方案,以便我们可以在每种情况下找到另一种方法来解决它(XY问题).