rik*_*kit 9 c# multithreading json.net nest elasticsearch-net
我用 C# 编写了一个并行作业框架,用于从 ElasticSearch 集群导入/导出大量数据。为此,我将单个项目的每个导入或导出建模为一个对象,该对象由框架在某个时刻执行。为了与 ElasticSearch 交互,我使用 NEST(官方 .NET ElasticSearch 客户端库)v1.7.1 和 JSON.Net 7.0.1。
每个导入/导出任务对象都使用 NEST 与 ElasticSearch 交互。出于性能原因,我编写了一个代理类,它将任务对象生成的搜索请求分组为固定大小的批次,以便与 NEST 的 _msearch API 一起使用。此类的调用者将被延迟,直到其批处理返回。该课程可以在这里找到。
我的框架将每个导入/导出任务的结果包装为“bool”或“Exception”。即使遇到个别项目的错误,整个过程也能够继续。
在几个小时的任务完成且没有错误的情况下,我发现以下异常出现了数千次:
System.InvalidOperationException: Current error context error is different to requested error.
at _____.Matcher.<GetBestMatchAsync>d__15.MoveNext() in C:\\_work\\edc7a363\\_____\\Matcher.cs:line 266
--- End of stack trace from previous location where exception was thrown ---
at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
at System.Runtime.CompilerServices.TaskAwaiter`1.GetResult()
_____.MatchBlock`1.<ExecuteAsyncInternal>d__19.MoveNext() in C:\\_work\\edc7a363\\_____\\MatchBlock.cs:line 111
--- End of stack trace from previous location where exception was thrown ---
at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
at System.Runtime.CompilerServices.ConfiguredTaskAwaitable`1.ConfiguredTaskAwaiter.GetResult()
at _____.Block.BlockBase.<ExecuteAsync>d__11.MoveNext() in C:\\_work\\edc7a363\\_____\\Block\\BlockBase.cs:line 33
Run Code Online (Sandbox Code Playgroud)
这是抛出异常的代码(来自上面链接的批量搜索器类):
try
{
var bulkResponse = Client.MultiSearch(searchDescriptor);
var items = bulkResponse.GetResponses<T>().ToList();
// Set response values and release all waiting tasks
var zip = currentBuffer.Zip(items, (op, result) => new { op, result });
foreach (var a in zip)
{
a.op.Response = a.result;
a.op.Cts.Cancel();
}
}
catch (Exception e)
{
foreach (var op in currentBuffer)
{
op.Error = e;
op.Cts.Cancel();
}
}
Run Code Online (Sandbox Code Playgroud)
哪里Client是IElasticClient.
谷歌搜索异常消息使我找到了JSON.Net 中 JsonSerializerInternalBase 类中的此方法,该方法似乎在每次反序列化后执行:
private ErrorContext GetErrorContext(object currentObject, object member, string path, Exception error)
{
if (_currentErrorContext == null)
{
_currentErrorContext = new ErrorContext(currentObject, member, path, error);
}
if (_currentErrorContext.Error != error)
{
throw new InvalidOperationException("Current error context error is different to requested error.");
}
return _currentErrorContext;
}
Run Code Online (Sandbox Code Playgroud)
鉴于跨多个线程的每个操作都重用单个 NEST 对象 - 而且我认为 NEST 只使用一个 JsonSerializer 实例 - 这让我认为 JSON.Net 的这一部分不是线程安全的。尽管奇怪的是,错误直到运行几个小时后才开始发生。
我怎样才能进一步调试这个?
我的同事最终追踪到了错误 - 这是由于从另一个 JsonConverter 调用的 JsonConverter 内部引发了异常。“错误上下文”是一个内部 JSON.Net 事物,用于跟踪最后抛出的异常。似乎异常是由错误的 JsonConverter 处理的。我们向内部 JsonConverter 添加了一个标志,让它知道在特定上下文中不要抛出异常。