在linq select中异步等待

Question

我需要修改现有程序,它包含以下代码:

var inputs = events.Select(async ev => await ProcessEventAsync(ev))
                   .Select(t => t.Result)
                   .Where(i => i != null)
                   .ToList();

但这对我来说似乎很奇怪,首先是使用async和await选择.根据Stephen Cleary的回答,我应该能够放弃这些.

然后第二个Select选择结果.这是不是意味着任务根本不是异步的并且是同步执行的(没有任何努力),或者异步执行任务,何时完成查询的其余部分？

我应该根据Stephen Cleary的另一个答案写下面的代码如下:

var tasks = await Task.WhenAll(events.Select(ev => ProcessEventAsync(ev)));
var inputs = tasks.Where(result => result != null).ToList();

这是完全一样的吗？

var inputs = (await Task.WhenAll(events.Select(ev => ProcessEventAsync(ev))))
                                       .Where(result => result != null).ToList();

当我正在研究这个项目时,我想更改第一个代码示例,但我不太热衷于更改(显然工作)异步代码.也许我只是担心什么都没有,所有3个代码示例完全相同？

ProcessEventsAsync如下所示:

async Task<InputResult> ProcessEventAsync(InputEvent ev) {...}

Answer 1

var inputs = events.Select(async ev => await ProcessEventAsync(ev))
                   .Select(t => t.Result)
                   .Where(i => i != null)
                   .ToList();

但这对我来说似乎很奇怪,首先在select中使用async和await.根据Stephen Cleary的回答,我应该能够放弃这些.

呼叫Select有效.这两行基本相同:

events.Select(async ev => await ProcessEventAsync(ev))
events.Select(ev => ProcessEventAsync(ev))

(关于如何抛出同步异常存在细微差别ProcessEventAsync,但在此代码的上下文中它根本不重要.)

然后是第二个Select选择结果.这是不是意味着任务根本不是异步的并且是同步执行的(没有任何努力),或者异步执行任务,何时完成查询的其余部分？

这意味着查询正在阻止.所以它并不是真正的异步.

打破它:

var inputs = events.Select(async ev => await ProcessEventAsync(ev))

将首先为每个事件启动异步操作.那么这一行:

                   .Select(t => t.Result)

将等待这些操作一次完成一个(首先它等待第一个事件的操作,然后是下一个,然后是下一个,等等).

这是我不关心的部分,因为它会阻塞并且还会包含任何异常AggregateException.

这是完全一样的吗？

var tasks = await Task.WhenAll(events.Select(ev => ProcessEventAsync(ev)));
var inputs = tasks.Where(result => result != null).ToList();

var inputs = (await Task.WhenAll(events.Select(ev => ProcessEventAsync(ev))))
                                       .Where(result => result != null).ToList();

是的,这两个例子是等价的.它们都启动所有异步操作(events.Select(...)),然后异步等待所有操作以任何顺序(await Task.WhenAll(...))完成,然后继续完成其余的工作(Where...).

这两个示例都与原始代码不同.原始代码是阻塞的,并将包含异常AggregateException.

Answer 2

我使用了这个代码：

public static async Task<IEnumerable<TResult>> SelectAsync<TSource,TResult>(
    this IEnumerable<TSource> source, Func<TSource, Task<TResult>> method)
{
  return await Task.WhenAll(source.Select(async s => await method(s)));
}

像这样：

var result = await sourceEnumerable.SelectAsync(async s=>await someFunction(s,other params));

编辑：

有些人提出了并发问题，比如当你访问一个数据库时，你不能同时运行两个任务。所以这是一个更复杂的版本，它也允许特定的并发级别：

public static async Task<IEnumerable<TResult>> SelectAsync<TSource, TResult>(
    this IEnumerable<TSource> source, Func<TSource, Task<TResult>> method,
    int concurrency = int.MaxValue)
{
    var semaphore = new SemaphoreSlim(concurrency);
    try
    {
        return await Task.WhenAll(source.Select(async s =>
        {
            try
            {
                await semaphore.WaitAsync();
                return await method(s);
            }
            finally
            {
                semaphore.Release();
            }
        }));
    } finally
    {
        semaphore.Dispose();
    }
}

如果没有参数，它的行为与上面更简单的版本完全相同。参数为 1 时，它将按顺序执行所有任务：

var result = await sourceEnumerable.SelectAsync(async s=>await someFunction(s,other params),1);

注意：按顺序执行任务并不意味着执行会在出错时停止！

就像使用更大的并发值或未指定参数一样，所有任务都将被执行，如果其中任何一个任务失败，则生成的 AggregateException 将包含抛出的异常。

如果您想一个接一个地执行任务并在第一个失败，请尝试另一种解决方案，例如 xhafan 建议的解决方案（/sf/answers/4505442441/）

Answer 3

现有代码正在运行,但正在阻塞该线程.

.Select(async ev => await ProcessEventAsync(ev))

为每个事件创建一个新任务,但是

.Select(t => t.Result)

阻止线程等待每个新任务结束.

另一方面,您的代码产生相同的结果但保持异步.

只需对您的第一个代码发表评论.这条线

var tasks = await Task.WhenAll(events...

将生成一个单独的任务,因此该变量应以单数形式命名.

最后你的最后一个代码是相同的,但更简洁

供参考:Task.Wait/Task.WhenAll

Answer 4

使用Linq中现有的方法,它看起来很丑陋:

var tasks = items.Select(
    async item => new
    {
        Item = item,
        IsValid = await IsValid(item)
    });
var tuples = await Task.WhenAll(tasks);
var validItems = tuples
    .Where(p => p.IsValid)
    .Select(p => p.Item)
    .ToList();

希望以下版本的.NET能够提供更优雅的工具来处理集合的任务和任务集合.

Answer 5

我更喜欢将此作为扩展方法：

public static async Task<IEnumerable<T>> WhenAll<T>(this IEnumerable<Task<T>> tasks)
{
    return await Task.WhenAll(tasks);
}

因此它可与方法链接一起使用：

var inputs = await events
  .Select(async ev => await ProcessEventAsync(ev))
  .WhenAll()

Answer 6

我想调用Select(...)但要确保它按顺序运行，因为并行运行会导致其他一些并发问题，所以我最终得到了这个。我无法调用，.Result因为它会阻塞 UI 线程。

public static class TaskExtensions
{
    public static async Task<IEnumerable<TResult>> SelectInSequenceAsync<TSource, TResult>(this IEnumerable<TSource> source, Func<TSource, Task<TResult>> asyncSelector)
    {
        var result = new List<TResult>();
        foreach (var s in source)
        {
            result.Add(await asyncSelector(s));
        }
        
        return result;
    }
}

用法：

var inputs = events.SelectInSequenceAsync(ev => ProcessEventAsync(ev))
                   .Where(i => i != null)
                   .ToList();

我知道 Task.WhenAll 是我们可以并行运行的方法。

Answer 7

我和@KTCheek 有同样的问题，我需要它按顺序执行。但是我想我会尝试使用 IAsyncEnumerable（在 .NET Core 3 中引入）并等待 foreach（在 C# 8 中引入）。这是我想出的：

public static class IEnumerableExtensions {
    public static async IAsyncEnumerable<TResult> SelectAsync<TSource, TResult>(this IEnumerable<TSource> source, Func<TSource, Task<TResult>> selector) {
        foreach (var item in source) {
            yield return await selector(item);
        }
    }
}

public static class IAsyncEnumerableExtensions {
    public static async Task<List<TSource>> ToListAsync<TSource>(this IAsyncEnumerable<TSource> source) {
        var list = new List<TSource>();

        await foreach (var item in source) {
            list.Add(item);
        }

        return list;
    }
}

这可以通过说：

var inputs = await events.SelectAsync(ev => ProcessEventAsync(ev)).ToListAsync();

更新：或者，您可以添加对“System.Linq.Async”的引用，然后您可以说：

var inputs = await events
    .ToAsyncEnumerable()
    .SelectAwait(async ev => await ProcessEventAsync(ev))
    .ToListAsync();