从IEnumerable <T>转换为DataTable的有效方法

Question

在将其标记为重复之前，我已经看到了许多答案，例如“ 将IEnumerable转换为DataTable”，并试图通过创建扩展方法的方式进行类似的操作。我问我的问题，因为问题可能在其他地方。

从本质上讲，到目前为止，我有相当大的IEnumerable（大约16-17百万个项目），在使用扩展方法尝试转换为数据表之前，我并没有遇到任何问题：

/// <summary>
/// Converts IEnumberable to datatable. Mainly for use when using SQLBulkCopy/>
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="collection"></param>
/// <param name="customColumnOrder">Custom order for columns allows me to make sure that the order of columns will always be the same. Am open for suggestions for better ways to do this</param>
/// <returns></returns>
public static DataTable ToDataTable<T>(this IEnumerable<T> collection, List<Tuple<string, int, int>> customColumnOrder)
{
    DataTable dt = new DataTable();
    var type = collection.First().GetType();
    foreach (var column in customColumnOrder)
    {
        dt.Columns.Add(column.Item1, Nullable.GetUnderlyingType(type.GetProperty(column.Item1).PropertyType) ?? type.GetProperty(column.Item1).PropertyType);
    }
    //Populate the table
    foreach (T item in collection)
    {
        DataRow dr = dt.NewRow();
        dr.BeginEdit();
        foreach (var column in customColumnOrder)
        {
            dr[column.Item1] = type.GetProperty(column.Item1).GetValue(item) ?? DBNull.Value;
        }
        dr.EndEdit();
        dt.Rows.Add(dr);
    }
    return dt;
}

这对于大约100,000个项目的较小表很好用，但是当它达到数百万个时就开始真正挣扎。我只是不断地超时。从IEnumerable转换到数据表是否有更有效/通常更好的方法？我将转换为DataTable，因此可以使用SQLBulkCopy将数据获取到数据库中。

编辑0：这里是从哪里传递数据的地方

    /// <summary>
    /// SqlBulkCopy for saving large amounts of data
    /// </summary>
    /// <typeparam name="T"></typeparam>
    /// <param name="dataToSave"></param>
    /// <param name="modelManager">Custom manager to use alongside the model</param>
    /// <param name="conn">Connection string to DB</param>
    public void BatchSave<T>(IEnumerable<T> dataToSave, IData modelManager, string conn)
    {
        var model = dataToSave.First();
        using (SqlConnection sqlconn= new SqlConnection(conn))
        {
            sqlconn.Open();
            using (SqlCommand cmd = new SqlCommand(GetCreateScript(modelManager, model), sqlconn))
            {
                //Create temp table to do initial insert into
                cmd.ExecuteNonQuery();

                SqlBulkCopy copy = new SqlBulkCopy(cmd.Connection);

                copy.DestinationTableName = "#tempTableForImport";

                //Convert data to DataTable
                DataTable dt = dataToSave.ToDataTable(modelManager.GetDataColumnsOrder());

                //Copy to temp table
                copy.WriteToServer(dt);
            }
            using (SqlCommand cmd = new SqlCommand(modelManager.GetInsertSproc(), sqlconn) { CommandType=CommandType.StoredProcedure })
            {
                //Clean up data and move to final table
                cmd.ExecuteNonQuery();
            }
            sqlconn.Close();
        }
    }

编辑1：使用建议，最近修改的代码，现在使用Fastmember：

public void BatchSave<T>(IEnumerable<T> dataToSave, IData modelManager, string conn)
{
    var model = dataToSave.First();
    using (SqlConnection sqlconn = new SqlConnection(conn))
    {
        sqlconn.Open();
        using (var bcp = new SqlBulkCopy(sqlconn))
        {
            using (var reader = ObjectReader.Create(dataToSave, modelManager.GetDataColumnsOrder().Select(s => s.Item1).ToArray() /*modelManager.GetDataColumnsOrder().Select(obj=>obj.Item1).ToString()*/))
            {
                using (SqlCommand cmd= new SqlCommand(GetCreateScript(modelManager, model), sqlconn))
                {
                    cmd.ExecuteNonQuery();
                    bcp.DestinationTableName = "#tempTableForImport";
                    bcp.WriteToServer(reader);
                }
                using (SqlCommand cmd = new SqlCommand(modelManager.GetInsertSproc(), sqlconn) { CommandType = CommandType.StoredProcedure })
                {
                    cmd.ExecuteNonQuery();
                }
            }
        }
        sqlconn.Close();
    }
}

这加快了速度，但是我仍然在此行上收到“超时” bcp.WriteToServer(reader);。感谢所有在约30秒后提供的帮助，您对此有何想法？也许以某种方式增加了超时之前的时间长度？

Answer 1

而不是通过DataTable，我将为您的集合实现IDataReader并将其提供给SqlBulkCopy。如果正确完成并使用惰性IEnumerable，它将比数据表路由更快，使用更少的内存。Mark Gravell已经编写了一个用于将IEnumerables转换为IDataReader的库，我建议您在滚动自己的库之前先进行检查。

可以在NuGet上找到FastMember：https：//www.nuget.org/packages/FastMember/ ，原始资源位于https://code.google.com/p/fast-member/，并带有示例线程在这里：来自列表<>的SqlBulkCopy

更新：您可能还需要更改命令超时，并在sqlbulkcopy上设置批处理大小，如下所示：

using (SqlCommand cmd = new SqlCommand(modelManager.GetInsertSproc(), sqlconn) { 
  CommandType = CommandType.StoredProcedure, CommandTimeout=300 })

和

bcp.BatchSize = 100000;