标签: columnstore

我有以下形式的查询：

SELECT ...
FROM ColumnstoreTable cs
CROSS APPLY (
    SELECT *
    FROM (VALUES
        ('A', cs.DataA)
        , ('B', cs.DataB)
        , ('C', cs.DataC)
    ) x(Col0, Col1)
) someValues

这从 Columnstore 支持的子查询 ( ColumnstoreTable) 中获取每一行并将这些行相乘。这本质上是一个UNPIVOT. 真正的查询比这更大。这部分查询会进入其他处理。

这里的问题是这CROSS APPLY是作为一个循环连接实现的，这是一个合理的选择。不幸的是，循环连接不支持批处理模式。

这部分查询对性能非常关键，我怀疑以批处理模式运行它可能对性能非常有益。

我怎样才能重写这个查询，这样我就不会退出批处理模式？

我确实尝试使用临时表而不是VALUES，但这并没有改变这样一个事实，即没有相等连接条件来进行哈希连接。

以下查询SUM对列存储表执行窗口化处理1500 total rows，每个表的值为 0 或 1，并溢出INT数据类型。为什么会这样？

SELECT a, p, s, v, m, n,
    SUM(CASE WHEN n IS NULL THEN 0 ELSE 1 END)
        OVER (PARTITION BY s, v, a ORDER BY p) AS lastNonNullPartition
FROM (
    SELECT a, p, s, v, m, n,
        RANK() OVER (PARTITION BY v, s, a, p ORDER BY m) AS rank
    FROM #t /* A columnstore table with 1,500 rows */
)  x
WHERE x.rank = 1
--Msg 8115, …

我正在 SQL Server 2014 中创建聚集列存储索引。

我收到错误

“超时已过期。在操作完成之前超时时间已过，或者服务器没有响应。（Microsoft SQL Server）”。

我设置

EXEC sp_configure 'remote query timeout', 60000; reconfigure EXEC sp_configure

行数 = 304969603 数据空间 = 88,812.266 MB

使用下面的示例，谓词是相同的，但是顶部语句（正确）返回 0 行，底部语句返回 1 - 即使谓词不匹配：

declare @barcode nchar(22)=N'RECB012ZUKI449M1VBJZ'  
declare @tableId int = null
declare @total decimal(10, 2) = 5.17

SELECT 1
FROM
    [dbo].[transaction] WITH (INDEX([IX_Transaction_TransactionID_PaymentStatus_DeviceID_DateTime_All]))
WHERE
    Barcode = @barcode
    AND StatusID = 1
    AND TableID = @tableID
    AND @total <= Total

SELECT 1
FROM
    [dbo].[transaction] 
WHERE
    Barcode = @barcode
    AND StatusID = 1
    AND TableID = @tableID
    AND @total <= Total

为什么会发生这种情况？

更多信息：

• top 语句中的非聚集索引未过滤
• CheckDB 返回 0 个问题
• 服务器版本： Microsoft SQL Azure (RTM) - 12.0.2000.8 Dec 19 2018 …

我在 SQL Server 2016 中有三个聚集列存储索引 (CCI) 表。所有这些 CCI 都在相同的分区方案中，基于租户 ID。最近，不一致的是，我在从连接到这些表的简单选择语句上遇到了死锁。死锁的示例查询：

SELECT  TOP 33 r.tenantid
FROM    Table_r r
        INNER JOIN Table_cm cm ON r.MyKey=cm.MyKey 
        INNER JOIN Table_pe pe ON r.MyKey=pe.MyKey 
WHERE   r.TenantId = 69
        AND pe.TenantId = 69
        AND cm.TenantId = 69

错误信息：

事务（进程 ID 56）在与另一个进程的通用可等待对象资源上发生死锁，并已被选为死锁受害者。重新运行事务。

线索：

• 如果查询使用除 CCI 之外的另一个索引，它不会死锁。
• 如果我删除三个租户 ID 过滤器中的两个，它不会死锁。
• 如果我选择前 32 位或更低，它不会死锁。
• 如果我添加 OPTION (MAXDOP 1) 它不会死锁。
• 我可以在我的乱码 PROD 副本、PROD READ-ONLY Secondary 和 PROD 本身中重现这一点。
• 我无法在 DEV 或 INT 中重现这种行为。
• 如果我将 WITH(NOLOCK) 添加到所有 3 个表连接，它仍然会死锁
• 查询本身会死锁。当没有其他活动进程时，它将死锁。
• 没有并行性的查询计划不会死锁 …

我有一个非常大的表 IMO（约 1.37 亿行），其中包含大量重复数据、大量NULL列等。

我正在考虑使用一个带有 a 的表来探索这个COLUMNSTORE INDEX，我IDENTITY在原始表中有一个列，这是我唯一的每一行都是唯一的列。

我应该忽略此列还是包含它？我已经读到您想将表的所有行都包含在 中，COLUMNSTORE INDEX但我也读到最佳候选者是具有许多非唯一行的列。

这只是一个糟糕的候选人COLUMNSTORE INDEX吗？

我使用的是 SQL Server 2012，所以它是一个非聚集列存储。我只是在探索可能的更好的方法来存储这些数据。更新是不存在的，尽管会通过 ELT 过程定期添加新行，所以我假设会在那里完成一些工作。有些人挖掘这些数据并生成大量报告，大量扫描行，有时会使服务器爬行，这迫使我们每天将副本卸载到辅助服务器。

我想通过创建聚集列存储索引将行存储表转换为列存储表。表中有三列：id、time 和 value。

该表在创建列存储索引之前按 id 和时间排序；但是，在创建列存储索引后，行顺序混乱了。我认为这可能是由于并行性并添加了maxdop = 1选项，但这并没有解决问题。谁能帮我这个？

这是创建表和索引的代码：

-- creating rowstore table
drop table if exists tab1_rstore
select id, time, value
into tab1_rstore
from tab0
order by id_loan, period
option(maxdop 1)

-- creating clustered index on rowstore table
create clustered index idx on tab1_rstore (id,time)

-- creating columnstore table 
select * 
into tab1_cstore
from tab1_rstore
    option(maxdop 1)

-- comparing the first two rows from these two tables
    select top 2 *
from tab1_rstore

    select top 2 * …

我有一个由四个聚集列存储索引表 (CCI) 和九个行存储表组成的数据仓库。这些表仅用于分析，并且每 15 分钟从临时表中插入 CCI 数据。我希望通过添加分区和排序来优化查询性能。

该数据的所有查询都基于一个包含大约 350 个不同值的整数字段。最左边的 CCI 有 100M 条记录和 125 列。有三个子 CCI 具有相同的整数字段。CCI 2 有 1500 万条记录和 150 列，CCI 3 和 4 都有大约 3000 万条记录和 25 列。

在这 350 个不同的整数中，最左边表中的记录数分布如下：

• 5% 大于 1M
• 46% 大于 100K
• 83% 大于 10K

此外，还有其他九个行存储表也连接到 CCI。它们具有涓流插入，是 CCI 的子项，它们都包含相同的整数字段。这些行存储具有相似或更小的记录量，每个 < 10 列，两个包含 LOBS，两个经常进行大规模更新（这些更新也基于 ID 字段）。

我应该做多少个分区？

我还应该对行存储表进行分区吗？

是否有我忽略的重要考虑因素？

关于我之前提到的“排序”的注意事项：

最左边的 CCI 中的日期字段通常是这些查询中的次要谓词，因此我正在考虑每四个星期左右按日期重新排序 CCI 作为维护。我将通过删除 CCI、在日期上添加聚集行存储索引、删除该索引，然后使用 MAXDOP=1 重新添加 CCI 来实现这种排序。我也在考虑通过其父级的连接键对子 CCI 进行排序。

我有一个具有以下结构的测试表。

CREATE TABLE [dbo].[DW_test](
[ID] [bigint] IDENTITY(1,1) NOT NULL,
[CourtCaseID] [int] NOT NULL,
[ActionID] [int] NOT NULL,
PRIMARY KEY CLUSTERED([ID] ASC)

接下来，我使用以下脚本在我的表中填充了大约 4.7 亿条记录。

insert into DW_test
--select count(*)
--from (
select top 1000000 abs(checksum(newid())) % 100000 + 1 a, abs(checksum(newid())) % 10 + 1 b
from sys.all_objects
cross join sys.all_objects a
cross join sys.all_objects b
cross join sys.all_objects c
cross join sys.all_objects d
cross join sys.all_objects e
cross join sys.all_objects f
cross join sys.all_objects g
--) t
GO

该脚本执行了大约 …

即使我要求一个小样本，在聚集列存储表上构建统计信息似乎总是会读取整个表。为什么是这样？