在WPF中呈现非托管视频帧的最佳性能是什么？

Question

我正在使用FFmpeg库以最小的延迟(MediaElement无法处理的东西)通过UDP接收和解码H.264/MPEG-TS .

在专用的FFmpeg线程上,我正在拉PixelFormats.Bgr32视频帧进行显示.我已经尝试过InteropBitmap:

_section = CreateFileMapping(INVALID_HANDLE_VALUE, IntPtr.Zero, PAGE_READWRITE, 0, size, null);
_buffer = MapViewOfFile(_section, FILE_MAP_ALL_ACCESS, 0, 0, size);
Dispatcher.Invoke((Action)delegate()
{
    _interopBitmap = (InteropBitmap)Imaging.CreateBitmapSourceFromMemorySection(_section, width, height, PixelFormats.Bgr32, (int)size / height, 0);
    this.Source = _interopBitmap;
});

然后每帧更新:

Dispatcher.Invoke((Action)delegate()
{
    _interopBitmap.Invalidate();
});

但性能非常差(跳帧,高CPU使用率等).

我也试过WriteableBitmap:FFmpeg将帧放在_writeableBitmap.BackBuffer和每帧更新:

Dispatcher.Invoke((Action)delegate()
{
    _writeableBitmap.Lock();
});
try
{
    ret = FFmpegInvoke.sws_scale(...);
}
finally
{
    Dispatcher.Invoke((Action)delegate()
    {
        _writeableBitmap.AddDirtyRect(_rect);
        _writeableBitmap.Unlock();
    });
}

遇到几乎相同的性能问题(使用各种DispatcherPriority测试).

任何帮助将不胜感激.

Answer 1

我知道为时已晚，但我为那些正在努力解决此问题的人们写下这个答案。最近，我使用 InteropBitmap 完成了一个渲染项目，其中我能够在 core i7 1.6 Ghz CPU +8Gb RAM 笔记本电脑上同时在 WPF 窗口中运行大约 16 个媒体播放器组件，帧速率为 25fps。以下是我针对性能调整所采取的技巧：

首先，我没有让GC处理我的视频数据包。无论何时需要实例化视频帧，我都使用 Marshal.AllocateHGlobal 分配内存，并在完成渲染后立即使用 Marshal.FreeHGlobal 进行处置。

其次，我为每个单独的媒体播放器创建了一个调度程序线程。有关详细信息，请阅读“ https://blogs.msdn.microsoft.com/dwayneneed/2007/04/26/multithreaded-ui-hostvisual/ ”。

第三，为了长宽比，以及通常调整大小的目的，我使用了原生 EmguCV 库。这个库在性能方面对我帮助很大，而不是使用位图和叠加等。

我认为这些步骤可以帮助每个需要使用 InteropBitmap 等手动渲染的人。