根据项目长度拆分列表<T>

Question

我有一个列表,Message以及他们的项目长度size,this.Size = JsonConvert.SerializeObject(Data).Length;.

public class Data
{
    public int Id { get; set; }
    public string Name { get; set; }
}

public class Message
{
    public Data Data { get; set; }
    public int Size { get; set; }

    public Message(Data Data)
    {
        this.Data = Data;
        this.Size = JsonConvert.SerializeObject(Data).Length;
    }
}

现在我有下面的数据集,我想将列表拆分成多个列表,每个列表应该只有50个字节(例如).

注 - 以 50为例,我的实际大小为1 MB,没有单个消息大于1MB

我试过下面,但是如何计算总大小并按照chunksize去分组,

.GroupBy(x => x.ItemSize / chunkSize)

还是以不同的方式？

var messages = new List<Message>
{
    new Message(new Data{ Id=100, Name="N100"}),
    new Message(new Data{ Id=1100, Name="N1100"}),
    new Message(new Data{ Id=11100, Name="N11100"}),
    new Message(new Data{ Id=111100, Name="N111100"}),
    new Message(new Data{ Id=1111100, Name="N1111100"})
};

int chunkSize = 50;

var X = messages
    .Select(x => new { ItemSize = x.Size, Value = x })
    .GroupBy(x => x.ItemSize / chunkSize)
    .Select(x => x.Select(v => v.Value).ToList())
    .ToList();

Answer 1

这可能有用 ..前提是它通过一个IEnumerable<Message>和yields一个IEnumerable<List<Message>>(子列表Message)迭代迭代,其中累积大于chunk大小

public static IEnumerable<List<Message>> Split(this IEnumerable<Message> source, int chunk)
{

   var list = new List<Message>();
   var accum = 0;

   foreach (var message in source)
   {
      accum += message.Size;

      if (accum > chunk)
      {
         yield return list;
         list = new List<Message>();
         accum = message.Size;
      }
      list.Add(message);
   }

   // Return last result if any 
   if (list.Any()) yield return list;
}

用法

var sublists = messages.Split(50);

更新

这是一个有用的方法,所以我使它通用,更适合于库.它包括健全性检查,如果size大于,则抛出chunk

public static IEnumerable<List<T>> Buffer<T>(this IEnumerable<T> source, int chunk, Func<T, long> selector)
{
   // safety first
   if (source == null) throw new ArgumentNullException(nameof(source));

   var list = new List<T>();
   long accum = 0;

   foreach (var item in source)
   {
      var size = selector(item);

      // sanity check
      if (size > chunk) throw new InvalidOperationException("Selector size cant be greater than chunk size");

      // Return chunk
      if ((accum += size) > chunk)
      {
         yield return list;
         list = new List<T>();
         accum = size;
      }

      list.Add(item); // always need to add the current
   }

   // Return any partial result
   if (list.Any()) yield return list;
}

用法

var results = messages.Buffer(50, x => x.Size)