查询单独数据库中多个相同表的最有效方法

Question

我有一个服务器(SQL Server 2005),它有多个存档数据库(每季度1个,可追溯到8年),它们在结构上完全相同.

我经常需要查询跨越n个数据库的特定日期范围,通常n小1-3,但我可能需要查询整个集合.

从代码清洁度和性能角度来看,最有效的方法是什么？

当前的解决方案是临时的,有一组视图可以跨越所有或只是最新的数据库,其他解决方案是生成动态SQL,确定哪些DB包含所寻找的数据.

显然,理想的解决方案是对表进行分区,但我不能这样做,因为它是第三方提供的数据库

戴夫

编辑:我不能组合数据库,因为他们是第三方控制,总数据大小约50GB所以不是很大,最大的表每季度包含约1.5米行

编辑2:数据仓库绝对是长期的正确解决方案(它在计划中),但我今天不能这样做:(

Answer 1

一种方法:使用sp_msForEachDb.

- 第1轮 - - - -

使用varchar参数调用此系统过程.(它实际上比这更麻烦,如果你想知道它在做什么,请检查master数据库中的代码.)参数必须是一大块动态代码 - 例如,

DECLARE @DemoParameter varchar(1000)
SET @DemoParameter = 'SELECT MyCol from MyTable where CreatedOn between ''Jan 1, 1980'' and ''Dec 21, 2012'''
EXECUTE sp_msForEachDb @DemoParameter

这将针对SQL实例上的每个数据库运行查询,每个数据库返回一个集合 - 除了那些没有必要表的数据库,这会引发错误(特别是系统数据库).这导致我们......

- 第2轮---------

在动态代码中,因为数据库是在问号的所有实例上迭代的吗？将替换为当前正在处理的数据库的名称.您可以使用它来过滤要处理的数据库,哪些不是.另请注意,例程中不会更改"当前"数据库,您必须自己执行此操作.这给我们的代码如下:

SET @DemoParameter = '

IF ''?'' like  ''%Foo%''
 BEGIN
    USE ?
    SELECT MyCol from MyTable where CreatedOn between ''Jan 1, 1980'' and ''Dec 21, 2012''

'

这将仅针对名称中包含字符"foo"的数据库运行查询.可能你可以检查每个数据库中是否存在表; 其他方法表明自己.

这将为每个数据库霰弹一个数据集,如果你需要一个整齐有序的数据集,那就没有多大帮助,这让我们......

- 第3轮------------

简而言之:创建临时表,并在动态查询中填充它.正如我在下面所示,您可以包含数据库的名称,以及服务器名称 - 当您跨越几个服务器分布数十个数据库中的丢失数据时非常有用.

创建(或清除)临时表:

IF object_id('tempdb.dbo.##Foo') is null
    CREATE TABLE ##Foo
     (
       ServerName         varchar(100)  not null
      ,DBName             varchar(100)  not null

      --  Add your own columns here
      ,MyCol              int  not null
     )

ELSE
    --Option: Delete this line to not clear on each run
    TRUNCATE TABLE ##Foo

运行代码(这是我的主模板,你可以轻松地在那里工作@DemoParameter):

EXECUTE sp_msForEachDB '
IF ''?'' like  ''%Foo%''
 BEGIN
    USE ?

    INSERT ##Foo
     select @@servername, db_name()
       ,MyCol
      from MyTable
 END
'

......这应该会产生一个包含数据的临时表.测试一下,我在没有实际测试代码的情况下编写了这个,并且typso将会sil.(#temp表应该和## temp一样工作,我通常用ad-hoc系统支持问题来做)