更快的方式生成随机文本文件C#

Art*_*yba 0 c# arrays file generator

输出应该是一个大文本文件,其中每行的格式为Number.String,文本是随机的:

347. Bus
20175. Yes Yes
15. The same
2. Hello world
178. Tree
Run Code Online (Sandbox Code Playgroud)

必须以字节为单位指定文件大小.对以最快的方式生成大约1000MB以上的文件感兴趣.

我的代码用于生成随机文本:

public string[] GetRandomTextWithIndexes(int size)
    {
        var result = new string[size];

        var sw = Stopwatch.StartNew();
        var indexes = Enumerable.Range(0, size).AsParallel().OrderBy(g => GenerateRandomNumber(0, 5)).ToList();
        sw.Stop();
        Console.WriteLine("Queue fill: " + sw.Elapsed);

        sw = Stopwatch.StartNew();
        Parallel.For(0, size, i =>
        {
            var text = GetRandomText(GenerateRandomNumber(1, 20));
            result[i] = $"{indexes[i]}. {text}";
        });

        sw.Stop();
        Console.WriteLine("Text fill: " + sw.Elapsed);

        return result;
    }

public string GetRandomText(int size)
    {
        var builder = new StringBuilder();

        for (var i = 0; i < size; i++)
        {
            var character = LegalCharacters[GenerateRandomNumber(0, LegalCharacters.Length)];
            builder.Append(character);
        }

        return builder.ToString();
    }

private int GenerateRandomNumber(int min, int max)
    {
        lock (_synlock)
        {
            if (_random == null)
                _random = new Random();
            return _random.Next(min, max);
        }
    }
Run Code Online (Sandbox Code Playgroud)

我不知道如何使用这个代码而不是字符串的大小,而是MB的大小.当我将尺寸设置为大约1000000000时,我会收到OutOfMemoryException.也许有一些更快的方法来生成索引

Pav*_*syn 6

  1. 磁盘是你的瓶颈,不需要并行处理
  2. 在写入之前无需将所有内容存储在内存中

using (var fs = File.OpenWrite(@"c:\w\test.txt"))
using (var w = new StreamWriter(fs))
{
    for (var i = 0; i < size; i++)
    {
        var text = GetRandomText(GenerateRandomNumber(1, 20));
        var number = GenerateRandomNumber(0, 5);
        var line = $"{number}. {text}";
        w.WriteLine(line);
    }
}
Run Code Online (Sandbox Code Playgroud)