那些遇到过的问题

为什么SQL中的199.96 - 0 = 200？

Sil*_*ust 83 t-sql sql-server precision sqldatatypes sql-server-2016

我有一些客户收到奇怪的账单.我能够找出核心问题:

SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))) -- 200 what the?
SELECT 199.96 - (0.0 * FLOOR(1.0 * CAST(199.96 AS DECIMAL(19, 4)))) -- 199.96
SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * 199.96)) -- 199.96

SELECT 199.96 - (CAST(0.0 AS DECIMAL(19, 4)) * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))) -- 199.96
SELECT 199.96 - (CAST(0.0 AS DECIMAL(19, 4)) * FLOOR(1.0 * CAST(199.96 AS DECIMAL(19, 4))))                         -- 199.96
SELECT 199.96 - (CAST(0.0 AS DECIMAL(19, 4)) * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * 199.96))                         -- 199.96

-- It gets weirder...
SELECT (0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))) -- 0
SELECT (0 * FLOOR(1.0 * CAST(199.96 AS DECIMAL(19, 4))))                         -- 0
SELECT (0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * 199.96))                         -- 0

-- so... ... 199.06 - 0 equals 200... ... right???
SELECT 199.96 - 0 -- 199.96 ...NO....
Run Code Online (Sandbox Code Playgroud)

谁有线索,这里到底发生了什么？我的意思是,它肯定与十进制数据类型有关,但我无法真正地围绕它...

关于数字文字的数据类型存在很多混淆,所以我决定展示实线:

PS.SharePrice - (CAST((@InstallmentCount - 1) AS DECIMAL(19, 4)) * CAST(FLOOR(@InstallmentPercent * PS.SharePrice) AS DECIMAL(19, 4))))

PS.SharePrice DECIMAL(19, 4)

@InstallmentCount INT

@InstallmentPercent DECIMAL(19, 4)
Run Code Online (Sandbox Code Playgroud)

我确保DECIMAL(19, 4)在将其应用于外部上下文之前,具有不同类型的操作数的每个操作的结果被明确地转换.

然而,结果仍然存在200.00.

我现在已经创建了一个可以在您的计算机上执行的简化示例.

DECLARE @InstallmentIndex INT = 1
DECLARE @InstallmentCount INT = 1
DECLARE @InstallmentPercent DECIMAL(19, 4) = 1.0
DECLARE @PS TABLE (SharePrice DECIMAL(19, 4))
INSERT INTO @PS (SharePrice) VALUES (599.96)

-- 2000
SELECT
  IIF(@InstallmentIndex < @InstallmentCount,
  FLOOR(@InstallmentPercent * PS.SharePrice),
  1999.96)
FROM @PS PS

-- 2000
SELECT
  IIF(@InstallmentIndex < @InstallmentCount,
  FLOOR(@InstallmentPercent * CAST(599.96 AS DECIMAL(19, 4))),
  1999.96)
FROM @PS PS

-- 1996.96
SELECT
  IIF(@InstallmentIndex < @InstallmentCount,
  FLOOR(@InstallmentPercent * 599.96),
  1999.96)
FROM @PS PS

-- Funny enough - with this sample explicitly converting EVERYTHING to DECIMAL(19, 4) - it still doesn't work...
-- 2000
SELECT
  IIF(@InstallmentIndex < @InstallmentCount,
  FLOOR(@InstallmentPercent * CAST(199.96 AS DECIMAL(19, 4))),
  CAST(1999.96 AS DECIMAL(19, 4)))
FROM @PS PS
Run Code Online (Sandbox Code Playgroud)

现在我有东西......

-- 2000
SELECT
  IIF(1 = 2,
  FLOOR(CAST(1.0 AS decimal(19, 4)) * CAST(199.96 AS DECIMAL(19, 4))),
  CAST(1999.96 AS DECIMAL(19, 4)))

-- 1999.9600
SELECT
  IIF(1 = 2,
  CAST(FLOOR(CAST(1.0 AS decimal(19, 4)) * CAST(199.96 AS DECIMAL(19, 4))) AS INT),
  CAST(1999.96 AS DECIMAL(19, 4)))
Run Code Online (Sandbox Code Playgroud)

到底是什么 - 地板应该返回一个整数.这里发生了什么？:-D

我想我现在真的把它归结为本质:-D

-- 1.96
SELECT IIF(1 = 2,
  CAST(1.0 AS DECIMAL (36, 0)),
  CAST(1.96 AS DECIMAL(19, 4))
)

-- 2.0
SELECT IIF(1 = 2,
  CAST(1.0 AS DECIMAL (37, 0)),
  CAST(1.96 AS DECIMAL(19, 4))
)

-- 2
SELECT IIF(1 = 2,
  CAST(1.0 AS DECIMAL (38, 0)),
  CAST(1.96 AS DECIMAL(19, 4))
)
Run Code Online (Sandbox Code Playgroud)

Sta*_*dii 77

我需要首先解开这个,以便我可以看到发生了什么:

SELECT 199.96 - 
    (
        0.0 * 
        FLOOR(
            CAST(1.0 AS DECIMAL(19, 4)) * 
            CAST(199.96 AS DECIMAL(19, 4))
        )
    )
Run Code Online (Sandbox Code Playgroud)

现在让我们看看SQL Server在减法操作的每一侧使用的确切类型:

SELECT  SQL_VARIANT_PROPERTY (199.96     ,'BaseType'),
    SQL_VARIANT_PROPERTY (199.96     ,'Precision'),
    SQL_VARIANT_PROPERTY (199.96     ,'Scale')

SELECT  SQL_VARIANT_PROPERTY (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))  ,'BaseType'),
    SQL_VARIANT_PROPERTY (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))  ,'Precision'),
    SQL_VARIANT_PROPERTY (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))  ,'Scale')
Run Code Online (Sandbox Code Playgroud)

结果:

numeric 5   2
numeric 38  1

所以199.96是numeric(5,2)和较长Floor(Cast(etc))的numeric(38,1).

结果精度和减法运算的规模(即:) 的规则e1 - e2如下所示:

精度: max(s1,s2)+ max(p1-s1,p2-s2)+ 1
比例: max(s1,s2)

评估如下:

精度: max(1,2)+ max(38-1,5-2)+ 1 => 2 + 37 + 1 => 40
比例: max(1,2)=> 2

您还可以使用规则链接来确定numeric(38,1)首先出现的位置(提示:您将两个精度值乘以19).

但:

  • 结果精度和标度的绝对最大值为38.当结果精度大于38时,它减少到38,并减小相应的标度以试图防止结果的整数部分被截断.在某些情况下,例如乘法或除法,为了保持小数精度,比例因子不会降低,尽管可以提高溢出误差.

哎呀.精度为40.我们必须减少它,因为降低精度应始终切断最低有效数字,这意味着缩小比例.表达式的最终得到的类型将是numeric(38,0),这对于199.96回合200.

您可以通过移动和巩固可能解决这个问题CAST(),从大的表达式中操作一个 CAST()围绕整个表达式的结果.所以这:

SELECT 199.96 - 
    (
        0.0 * 
        FLOOR(
            CAST(1.0 AS DECIMAL(19, 4)) * 
            CAST(199.96 AS DECIMAL(19, 4))
        )
    )
Run Code Online (Sandbox Code Playgroud)

变为:

SELECT CAST( 199.96 - ( 0.0 * FLOOR(1.0 * 199.96) ) AS decimial(19,4))
Run Code Online (Sandbox Code Playgroud)

我甚至可以删除外部演员阵容.

我们在这里学习我们应该选择类型来匹配我们现在实际拥有的精度和规模,而不是预期的结果.仅仅考虑大精度数是没有意义的,因为SQL Server会在算术运算期间改变这些类型以试图避免溢出.

更多信息:

Sal*_*n A 20

密切关注以下语句涉及的数据类型:

SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4))))
Run Code Online (Sandbox Code Playgroud)
  1. NUMERIC(19, 4) * NUMERIC(19, 4)是NUMERIC(38, 7)(见下文)
    • FLOOR(NUMERIC(38, 7))是NUMERIC(38, 0)(见下文)
  2. 0.0 是 NUMERIC(1, 1)
    • NUMERIC(1, 1) * NUMERIC(38, 0) 是 NUMERIC(38, 1)
  3. 199.96 是 NUMERIC(5, 2)
    • NUMERIC(5, 2) - NUMERIC(38, 1)是NUMERIC(38, 1)(见下文)

这就解释了为什么你最终得到200.0(十进制后的一位数,而不是零)而不是199.96.

笔记:

FLOOR返回小于或等于指定数值表达式的最大整数,结果与输入的类型相同.它为INT返回INT,为FLOAT返回FLOAT,为NUMERIC(x,y)返回NUMERIC(x,0).

根据算法:

Operation | Result precision                    | Result scale*
e1 * e2   | p1 + p2 + 1                         | s1 + s2
e1 - e2   | max(s1, s2) + max(p1-s1, p2-s2) + 1 | max(s1, s2)
Run Code Online (Sandbox Code Playgroud)

*结果精度和比例的绝对最大值为38.当结果精度大于38时,它减少到38,并减小相应的比例以试图防止结果的整数部分被截断.

该描述还包含在加法和乘法运算中如何精确缩小比例的细节.基于该描述:

  • NUMERIC(19, 4) * NUMERIC(19, 4)是NUMERIC(39, 8)和夹紧NUMERIC(38, 7)
  • NUMERIC(1, 1) * NUMERIC(38, 0)是NUMERIC(40, 1)和夹紧NUMERIC(38, 1)
  • NUMERIC(5, 2) - NUMERIC(38, 1)是NUMERIC(40, 2)和夹紧NUMERIC(38, 1)

这是我尝试在JavaScript中实现该算法.我已经针对SQL Server交叉检查了结果.它回答了你问题的本质部分.

// https://docs.microsoft.com/en-us/sql/t-sql/data-types/precision-scale-and-length-transact-sql?view=sql-server-2017

function numericTest_mul(p1, s1, p2, s2) {
  // e1 * e2
  var precision = p1 + p2 + 1;
  var scale = s1 + s2;

  // see notes in the linked article about multiplication operations
  var newscale;
  if (precision - scale < 32) {
    newscale = Math.min(scale, 38 - (precision - scale));
  } else if (scale < 6 && precision - scale > 32) {
    newscale = scale;
  } else if (scale > 6 && precision - scale > 32) {
    newscale = 6;
  }

  console.log("NUMERIC(%d, %d) * NUMERIC(%d, %d) yields NUMERIC(%d, %d) clamped to NUMERIC(%d, %d)", p1, s1, p2, s2, precision, scale, Math.min(precision, 38), newscale);
}

function numericTest_add(p1, s1, p2, s2) {
  // e1 + e2
  var precision = Math.max(s1, s2) + Math.max(p1 - s1, p2 - s2) + 1;
  var scale = Math.max(s1, s2);

  // see notes in the linked article about addition operations
  var newscale;
  if (Math.max(p1 - s1, p2 - s2) > Math.min(38, precision) - scale) {
    newscale = Math.min(precision, 38) - Math.max(p1 - s1, p2 - s2);
  } else {
    newscale = scale;
  }

  console.log("NUMERIC(%d, %d) + NUMERIC(%d, %d) yields NUMERIC(%d, %d) clamped to NUMERIC(%d, %d)", p1, s1, p2, s2, precision, scale, Math.min(precision, 38), newscale);
}

function numericTest_union(p1, s1, p2, s2) {
  // e1 UNION e2
  var precision = Math.max(s1, s2) + Math.max(p1 - s1, p2 - s2);
  var scale = Math.max(s1, s2);

  // my idea of how newscale should be calculated, not official
  var newscale;
  if (precision > 38) {
    newscale = scale - (precision - 38);
  } else {
    newscale = scale;
  }

  console.log("NUMERIC(%d, %d) + NUMERIC(%d, %d) yields NUMERIC(%d, %d) clamped to NUMERIC(%d, %d)", p1, s1, p2, s2, precision, scale, Math.min(precision, 38), newscale);
}

/*
 * first example in question
 */

// CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4))
numericTest_mul(19, 4, 19, 4);

// 0.0 * FLOOR(...)
numericTest_mul(1, 1, 38, 0);

// 199.96 * ...
numericTest_add(5, 2, 38, 1);

/*
 * IIF examples in question
 * the logic used to determine result data type of IIF / CASE statement
 * is same as the logic used inside UNION operations
 */

// FLOOR(DECIMAL(38, 7)) UNION CAST(1999.96 AS DECIMAL(19, 4)))
numericTest_union(38, 0, 19, 4);

// CAST(1.0 AS DECIMAL (36, 0)) UNION CAST(1.96 AS DECIMAL(19, 4))
numericTest_union(36, 0, 19, 4);

// CAST(1.0 AS DECIMAL (37, 0)) UNION CAST(1.96 AS DECIMAL(19, 4))
numericTest_union(37, 0, 19, 4);

// CAST(1.0 AS DECIMAL (38, 0)) UNION CAST(1.96 AS DECIMAL(19, 4))
numericTest_union(38, 0, 19, 4);
Run Code Online (Sandbox Code Playgroud)

归档时间：

查看次数：

5941 次

最近记录：

6 年，7 月 前
您应该在SQL Server中选择MONEY或DECIMAL(x,y)数据类型吗？ 420
更多相关链接
相关归档
将NTEXT列与常量值进行比较的正确方法是什么？ 60
在不插入行的情况下获取下一个ID 13
您应该将SQL存储过程存储在源代码管理中吗？ 12
树表的SQL查询 12
插入记录时,SET QUOTED IDENTIFIER应为ON 9
重命名表SQL Server,通过PK和FK级联更改 5
使用带连字符的 CONTAINS 谓词的 T-SQL 5
Postgres 中数字数据类型的精度和小数位数是什么？ 3
当我选择所有WITH(NOLOCK)时,在扩展表上选择了多少行？ 1
如何在 SQL 中格式化货币值 -4
难疑归档
URI,URL和URN有什么区别？ 4217
如何确定数组是否包含Java中的特定值？ 2194
当键盘出现时 - 如何开始编辑时,如何让UITextField向上移动？ 1674
喜欢构成而不是继承？ 1538
在UITableView中使用自动布局来获取动态单元格布局和可变行高 1477
如何确定Python变量的类型？ 1437
如何让ASP.NET Web API使用Chrome返回JSON而不是XML？ 1220
为PHP密码保护哈希和盐 1142
如何在PHP中获取客户端IP地址 1123
#Hibernate hbm2ddl.auto配置的可能值是什么,它们做了什么 1046