SQL Server 2008 R2的可重试SQLBulkCopy

Question

我基本上是从数据库背景和新的.net的东西.如果我的问题听起来很愚蠢,请耐心等待.

我在我的代码中使用SqlBulkCopy将数据从一个SQL Server传输到另一个SQL Server.但由于网络问题,它经常失败.为了避免这种情况,我打算做两件事

1. 减小批量大小(从5000到1000)并增加超时(从3分钟到1分钟)

2. 实现重试逻辑

我的问题是

1. 实现重试的最佳方法是什么,即在表级或批处理级别(如果可能的话)？
2. 我在这里找到了一些适用于弹性SQL Azure的框架:https://msdn.microsoft.com/en-us/library/hh680934(v = pandp.50) .aspx我们对SQL Server 2008 R2有什么类似的东西吗？

我正在使用的示例代码:

  private void BulkCopyTable(string schemaName, string tableName)
    {using (var reader = srcConnection.ExecuteReader($"select * from [{SourceDBName}].[{schemaName}].[{tableName}]"))
            {
                const SqlBulkCopyOptions bulkCopyOptions = SqlBulkCopyOptions.TableLock | SqlBulkCopyOptions.FireTriggers |
                                                           SqlBulkCopyOptions.KeepNulls | 
                                                           SqlBulkCopyOptions.KeepIdentity;

                using (var bcp = new SqlBulkCopy(dstConnection.ConnectionString, bulkCopyOptions))
                {
                    const int threeMinutes = 60*3;
                    bcp.BulkCopyTimeout = threeMinutes; //Timeout is for a single batch
                    bcp.BatchSize = 5000;
                    bcp.DestinationTableName = $"[{DestinationDB}].[{schemaName}].[{tableName}]";
                    bcp.EnableStreaming = true;
                    foreach (var col in table.Columns.Cast<Column>().Where(c => !c.Computed))
                    {
                        bcp.ColumnMappings.Add(col.Name, col.Name);
                    }
                    bcp.WriteToServer(reader);
                }
            }
        }

Answer 1

一个简单的方法是：

1. 自己实施批次。这会导致效率稍低，因为SqlBulkCopy每次调用都需要查询元数据WriteToServer。所以批量不要太小。实验。
2. 插入临时表（不是#temp表，而是持久表，以便您可以断开连接并继续）。
3. 然后，执行 ainsert...select作为最后一步，将行从临​​时表移动到实际表。

这种舞蹈将工作分成可重试的批次，但就像一个事务一样。

如果不需要原子性，可以将其保留在步骤 (1) 中。