我开发了一个c ++应用程序(Windows 7,64 Bit,VS 2008),其中使用了以下公式(所有变量都是double类型):
mValue = floor(mValue/mStepping)*mStepping;
我们的想法是将数字缩短到给定的小数位数.我认为有更好的方法可以做到这一点,但这不是问题(但如果你有更好的选择,请带上它!).
mValue来自用户输入,因此在大多数情况下,小数位数已经可以.但在某些情况下,输出与输入不同.
例如,mStepping的值为0.1(应该舍入到一个小数位).现在,如果mValue的值为14.6,那么一切正常.如果mValue为14.7,则结果为14.6.
那么,为什么地板(14.7/0.1)*0.1 = 14.6？
我测试了其他值,其中约20%与0.1不同.我进一步挖掘并发现,14.7/0.1具有与147.0不同的二进制编码:
14.7/0.1 = ff ff ff ff ff 5f 62 40
147.0 = 00 00 00 00 00 60 62 40
据我所知,相同的数字可以不同的方式编码为double.但是为什么floor()以不同的方式处理它们？我能做些什么呢？