通过WCF发送图像的有效方式？

Question

我正在学习WCF,LINQ和其他一些技术,从头开始编写自定义远程控制应用程序,如VNC.我在创建它时考虑到三个主要目标:

1. 服务器将在应用程序级别(即无缝窗口)上提供"远程控制",而不是完全桌面访问.
2. 客户端可以选择服务器上运行的任意数量的应用程序,并接收每个应用程序的图像流.
3. 客户端可以同时连接到多个服务器.

现在我正在使用WCF发送一个表示正在发送的窗口的字节数组:

using (var ms = new MemoryStream()) {
    window.GetBitmap().Save(ms, ImageFormat.Jpeg);
    frame.Snapshot = ms.ToArray();
}

GetBitmap实现:

var wRectangle = GetRectangle();
var image = new Bitmap(wRectangle.Width, wRectangle.Height);
var gfx = Graphics.FromImage(image);

gfx.CopyFromScreen(wRectangle.Left, wRectangle.Top, 0, 0, wRectangle.Size, CopyPixelOperation.SourceCopy);

return image;

它然后通过WCF(TCPBinding,它将始终通过LAN)发送到客户端,并在没有边框的空白窗口形式重建,如下所示:

using (var ms = new MemoryStream(_currentFrame.Snapshot))
{
    BackgroundImage = Image.FromStream(ms);
}

我希望这个过程在CPU和内存使用方面尽可能高效,带宽排在第三位.我的目标是让客户端连接到5台服务器,每台服务器有10多个应用程序.

我现有的方法是最好的方法(同时继续使用这些技术)并且我能做些什么来改进它？

我正在研究的想法(但我没有经验):

• 使用开源图形库来捕获和保存图像,而不是.Net解决方案.
• 保存为PNG或其他图像类型而不是JPG.
• 每次发送图像增量而不是完整图像.
• 尝试并"记录"窗口并创建压缩视频流而不是图片快照(mpeg？).

Answer 1

你应该知道这一点:

• 传输:TCP /二进制消息编码将是传输图像数据的最快方式
• 图像捕获:您可以依靠P/Invoke来访问您的屏幕数据,因为这可以更快,更耗费内存.一些例子:在C#[P /调用]捕获屏幕图像,如何使用.NET [托管]获取屏幕截图和捕获使用C#的截图(管理)
• 您应该在发送之前减少图像数据;
  • 明智地选择图像格式,因为某些格式具有本机压缩(如JPG)
  • 一个例子应该是找到图像C#之间的差异
  • 只发送差异图像,你可以裁剪它,只发送非空区域
• 尝试检查您的WCF消息.这将有助于您了解消息的格式,并帮助您确定如何使消息更小.

只是之后通过这一切的步骤,并信纳你的最终代码,你可以下载VncSharp源代码.它实现了RFB协议 (维基百科条目),"a simple protocol for remote access to graphical user interfaces. Because it works at the framebuffer level it is applicable to all windowing systems and applications, including X11, Windows and Macintosh. RFB is the protocol used in VNC (Virtual Network Computing)."

Answer 2

不久前我参与了一个类似的项目。这是我的一般方法：

• 将捕获的位图光栅化为 32x32 的图块
• 为了确定哪些图块在帧之间发生了变化，我使用不安全的代码一次对它们进行 64 位比较
• 在一组 delta 切片上，我应用了其中一个 PNG 滤镜来提高可压缩性，并使用Paeth 滤镜获得了最佳结果
• 使用DeflateStream压缩过滤后的增量
• 使用BinaryMessageEncoding自定义绑定到服务来以 Binary 形式传输数据，而不是默认的 Base64 编码版本

一些客户端注意事项。在处理通过 WCF 服务传输的大量数据时，我发现HttpTransportBinding和XmlDictionaryRenderQuotas的某些参数设置为相当保守的值。所以你会想要增加它们。