标签: parallelism

在最新版本的 PostgreSQL 中（截至 2013 年 12 月），我们能否在两个或多个内核之间共享查询以提高性能？还是我们应该获得更快的内核？

已经有很多关于SQL Server中标量 UDF的危险的文章。随意搜索将返回大量结果。

不过，有些地方标量 UDF 是唯一的选择。

例如：处理 XML 时：XQuery 不能用作计算列定义。Microsoft 记录的一种选择是使用标量 UDF将 XQuery 封装在标量 UDF 中，然后在计算列中使用它。

这会产生各种影响和一些解决方法。

• 查询表时逐行执行
• 强制对表的所有查询串行运行

您可以通过对函数进行架构绑定来绕过逐行执行，并保留计算列或对其进行索引。即使未引用标量 UDF，这两种方法都不能阻止强制序列化查询表。

有没有一种已知的方法可以做到这一点？

今天，我们的生产 sql 服务器的性能下降了。在发生这种情况时，我们记录了几个"The query processor could not start the necessary thread resources for parallel query execution"错误。我所做的阅读表明，这与执行复杂查询时要使用的 CPU 数量有关。但是，当我在停电期间检查我们的CPU Utilization was only at 7%. 还有什么其他的东西可以指代我还没有遇到过吗？这是性能下降的可能罪魁祸首还是我在追逐红鲱鱼？

我的 sp_configure 值如下：

name                                minimum maximum config_value run_value
cost threshold for parallelism      0       32767   5            5

我遇到了一个查询的性能问题，我似乎无法理解。

我从游标定义中提取了查询。

此查询需要几秒钟才能执行

SELECT A.JOBTYPE
FROM PRODROUTEJOB A
WHERE ((A.DATAAREAID=N'IW')
AND ((A.CALCTIMEHOURS<>0)
AND (A.JOBTYPE<>3)))
AND EXISTS (SELECT 'X'
FROM PRODROUTE B
WHERE ((B.DATAAREAID=N'IW')
AND (((((B.PRODID=A.PRODID)
AND ((B.PROPERTYID=N'PR1526157') OR (B.PRODID=N'PR1526157')))
AND (B.OPRNUM=A.OPRNUM))
AND (B.OPRPRIORITY=A.OPRPRIORITY))
AND (B.OPRID=N'GRIJZEN')))
AND NOT EXISTS (SELECT 'X'
FROM ADUSHOPFLOORROUTE C
WHERE ((C.DATAAREAID=N'IW')
AND ((((((C.WRKCTRID=A.WRKCTRID)
AND (C.PRODID=B.PRODID))
AND (C.OPRID=B.OPRID))
AND (C.JOBTYPE=A.JOBTYPE))
AND (C.FROMDATE>{TS '1900-01-01 00:00:00.000'}))
AND ((C.TODATE={TS '1900-01-01 00:00:00.000'}))))))
GROUP BY A.JOBTYPE
ORDER BY A.JOBTYPE

实际的执行计划是这样的。

注意到服务器范围的设置被设置为 MaxDOP 1，我尝试使用 maxdop 设置。

添加OPTION (MAXDOP 0)到查询或更改服务器设置会导致更好的性能和此查询计划。

但是，有问题的应用程序（Dynamics AX）不会执行这样的查询，它使用游标。 …

我们在生产环境（SQL Server 2012 SP2 - 是的......我知道......）中看到了很多这些查询内并行线程死锁，但是当查看通过扩展事件捕获的死锁 XML 时，受害者列表是空的。

<victim-list />

死锁似乎在 4 个线程之间，两个线程WaitType="e_waitPipeNewRow"和两个WaitType="e_waitPipeGetRow".

 <resource-list>
  <exchangeEvent id="Pipe13904cb620" WaitType="e_waitPipeNewRow" nodeId="19">
   <owner-list>
    <owner id="process4649868" />
   </owner-list>
   <waiter-list>
    <waiter id="process40eb498" />
   </waiter-list>
  </exchangeEvent>
  <exchangeEvent id="Pipe30670d480" WaitType="e_waitPipeNewRow" nodeId="21">
   <owner-list>
    <owner id="process368ecf8" />
   </owner-list>
   <waiter-list>
    <waiter id="process46a0cf8" />
   </waiter-list>
  </exchangeEvent>
  <exchangeEvent id="Pipe13904cb4e0" WaitType="e_waitPipeGetRow" nodeId="19">
   <owner-list>
    <owner id="process40eb498" />
   </owner-list>
   <waiter-list>
    <waiter id="process368ecf8" />
   </waiter-list>
  </exchangeEvent>
  <exchangeEvent id="Pipe4a106e060" WaitType="e_waitPipeGetRow" nodeId="21">
   <owner-list>
    <owner id="process46a0cf8" />
   </owner-list>
   <waiter-list>
    <waiter id="process4649868" />
   </waiter-list>
  </exchangeEvent> …

在 SQL Server 2008 或更高版本中，是UPDATE STATISTICS WITH FULLSCAN单线程操作还是可以使用并行性？如何使用默认采样更新统计信息 - 它可以使用并行性吗？我没有看到指定MAXDOP更新统计信息的选项。

我正在处理的数据处理系统存在一些性能问题。我从一小时的 peroid 中收集了等待统计数据，其中显示了大量的 CXPACKET 和 LATCH_EX 等待事件。

该系统由 3 个处理 SQL Server 组成，它们进行大量的数字运算和计算，然后将数据馈送到中央集群服务器。处理服务器最多可以同时运行 6 个作业。这些等待统计数据适用于我认为导致瓶颈的中央集群。中央集群服务器有 16 个内核和 64GB RAM。MAXDOP 设置为 0。

我猜 CXPACKET 来自正在运行的多个并行查询，但是我不确定 LATCH_EX 等待事件表示什么。从我读到的这可能是一个非缓冲等待？

任何人都可以建议这种等待统计的原因是什么，以及我应该采取什么行动来调查这个性能问题的根本原因？

顶部查询结果是总等待统计数据，底部查询结果是 1 小时内的统计数据

我只是很好奇为什么聚合查询使用GROUP BY子句比没有子句运行得更快。

例如，这个查询需要将近 10 秒才能运行

SELECT MIN(CreatedDate)
FROM MyTable
WHERE SomeIndexedValue = 1

虽然这个只需不到一秒钟

SELECT MIN(CreatedDate)
FROM MyTable
WHERE SomeIndexedValue = 1
GROUP BY CreatedDate

CreatedDate在这种情况下只有一个，因此分组查询返回与未分组查询相同的结果。

我注意到两个查询的执行计划是不同的 - 第二个查询使用 Parallelism 而第一个查询没有。

如果 SQL Server 没有 GROUP BY 子句，它以不同的方式评估聚合查询是否正常？在不使用GROUP BY子句的情况下，我可以做些什么来提高第一个查询的性能？

编辑

我刚刚了解到我可以使用OPTION(querytraceon 8649)将并行性的开销开销设置为 0，这使得查询使用一些并行性并将运行时间减少到 2 秒，尽管我不知道使用此查询提示是否有任何缺点。

SELECT MIN(CreatedDate)
FROM MyTable
WHERE SomeIndexedValue = 1
OPTION(querytraceon 8649)

我仍然更喜欢较短的运行时间，因为查询旨在根据用户选择填充一个值，因此理想情况下应该像分组查询一样是即时的。现在我只是结束我的查询，但我知道这并不是一个理想的解决方案。

SELECT Min(CreatedDate)
FROM
(
    SELECT Min(CreatedDate) as CreatedDate
    FROM MyTable WITH (NOLOCK) 
    WHERE SomeIndexedValue = 1
    GROUP …

作为我之前关于对 Sharepoint 站点进行性能故障排除的问题的后续问题，我想知道我是否可以对 CXPACKET 等待做些什么。

我知道下意识的解决方案是通过将 MAXDOP 设置为 1 来关闭所有并行性 - 听起来是个坏主意。但另一个想法是在并行开始之前增加成本阈值。执行计划成本的默认值 5 相当低。

所以我想知道是否已经写了一个查询，可以找到执行计划成本最高的查询（我知道你可以找到那些执行持续时间最长的查询等等 - 但是执行计划成本是否可以在某处检索，也是？），这也会告诉我这样的查询是否已并行执行。

有没有人手头有这样的脚本，或者可以向我指出相关的 DMV、DMF 或其他系统目录视图的方向以找出这一点？

我有一个查询在我们的服务器上运行大约需要 3 个小时——而且它没有利用并行处理。（大约 115 万条记录dbo.Deidentified， 300 条记录dbo.NamesMultiWord）。服务器可以访问 8 个内核。

  UPDATE dbo.Deidentified 
     WITH (TABLOCK)
  SET IndexedXml = dbo.ReplaceMultiWord(IndexedXml),
      DE461 = dbo.ReplaceMultiWord(DE461),
      DE87 = dbo.ReplaceMultiWord(DE87),
      DE15 = dbo.ReplaceMultiWord(DE15)
  WHERE InProcess = 1;

和ReplaceMultiword是一个过程定义为：

SELECT @body = REPLACE(@body,Names,Replacement)
 FROM dbo.NamesMultiWord
 ORDER BY [WordLength] DESC
RETURN @body --NVARCHAR(MAX)

是呼吁ReplaceMultiword阻止形成平行计划吗？有没有办法重写它以允许并行？

ReplaceMultiword 以降序运行，因为某些替换是其他替换的简短版本，我希望最长的匹配成功。

例如，可能有“乔治华盛顿大学”和另一个来自“华盛顿大学”。如果“华盛顿大学”比赛是第一场，那么“乔治”就会被甩在后面。

从技术上讲，我可以使用 CLR，只是我不熟悉如何使用。