Sql server 除法后十进制的Linq到SQL四舍五入_Sql Server_Linq_Decimal_Rounding

Sql server 除法后十进制的Linq到SQL四舍五入

sql-server linq

Sql server 除法后十进制的Linq到SQL四舍五入,sql-server,linq,decimal,rounding,Sql Server,Linq,Decimal,Rounding,在计算两个度量单位之间的比率时，我遇到了一个精度问题比率以计量单位表的形式存储在SQL Server数据库中，格式为：NumberOfDefaultUnits decimal（28,18）在我的linqPad示例中，我有一个类来演示哪里出了问题 private class Test { public decimal saleUom { get; set; } public decimal piUom { get; set; } public decimal Ratio

在计算两个度量单位之间的比率时，我遇到了一个精度问题

比率以计量单位表的形式存储在SQL Server数据库中，格式为：NumberOfDefaultUnits decimal（28,18）

在我的linqPad示例中，我有一个类来演示哪里出了问题

 private class Test
 {
   public decimal saleUom { get; set; }
   public decimal piUom { get; set; }

   public decimal RatioRight { get; set; }
   public decimal RatioWrong { get; set; }
   public decimal CalcledAlsoRight { get { return saleUom / piUom; } }
}

void Main（） {

}

结果是：

saleUom 453.592370000000000000 
piUom 1000000.000000000000000000 
RatioRight 0.000453592370000000000 
RatioWrong 0.0004535923 
CalcledAlsoRight 0.00045359237

花了一段时间才弄明白，必须将除数乘以1m才能得到正确的结果。如果把鞍数乘以1m，它会变得更奇怪。结果是：

RatioRight = (sellUom * 1m) / (buyUom)
RatioRight 0.000453

我猜这与SQLServer如何存储十进制数（28,18）以及Linq如何转换divide命令有关

更新：所有值都是小数

更新2：看起来这完全是SQL舍入的问题。从等式中删除.Net

 select top 1 uom.NumberOfDefaultUnits
      from UnitOfMeasures uom
      where uom.Id = 13

 select (select top 1 uom.NumberOfDefaultUnits
      from UnitOfMeasures uom
      where uom.Id = 13 ) 
    / 
      (select top 1 uom.NumberOfDefaultUnits
      from UnitOfMeasures uom
      where uom.Id = 9)

第一个查询返回：453.5923700000000000

第二个：0.0004535923

看起来SQL就是这样处理这些声明的十进制大小被彼此除的

 DECLARE @p2 Decimal(28,18) = 1000000
 DECLARE @p3 Decimal(28,18) = 453.59237

 select @p3 / @p2

 DECLARE @p1 Decimal(19,18) = 1  -- This is how Linq sends the * 1m

 select @p3 / (@p2 *@p1)
 select (@p3 *@p1) / @p2

结果:

0.0004535923

0.000453

0.00045359

看起来SQL就是这样处理这些声明的十进制大小被彼此除的

 DECLARE @p2 Decimal(28,18) = 1000000
 DECLARE @p3 Decimal(28,18) = 453.59237

 select @p3 / @p2

 DECLARE @p1 Decimal(19,18) = 1  -- This is how Linq sends the * 1m

 select @p3 / (@p2 *@p1)
 select (@p3 *@p1) / @p2

结果:

0.0004535923

0.000453

0.00045359

这肯定是由于SQL Server在计算中处理精度和比例的方式

如果将@mikeymouses示例更改为@p1使用6分制，则会得到一致的结果：

DECLARE @p2 Decimal(28,6) = 1000000
DECLARE @p3 Decimal(28,18) = 453.59237

 select @p3 / @p2

 DECLARE @p1 Decimal(19,18) = 1  -- This is how Linq sends the * 1m

 select @p3 / (@p2 *@p1)
 select (@p3 *@p1) / @p2

结果:

0.00045359237000000000000

0.00045359237000

0.000453592370000000000

精度和比例结果记录在上，但关键点是：对于乘法：

结果精度=p1+p2+1
结果比例=s1+s2

关于分部：

结果精度=p1-s1+s2+max（6，s1+p2+1）
结果比例=最大值（6，s1+p2+1）

其中p1和p2是操作数的精度，s1、s2是操作数的刻度

应记住，结果精度和刻度绝对最大值为38。当结果精度大于38时，相应的比例将减小，以防止结果的整数部分被截断。

我认为这就是这里发生的事情。

这肯定是由于SQL Server在计算中如何处理精度和规模