从 directshow 获取 iplImage 或 Mat 到 opencv

Question

由于使用 c++ 和 opencv 时很难更改相机的分辨率，因此我不得不将我的眼动追踪软件改用 directshow。

Directshow 对我来说很陌生，很难理解所有内容。但我发现这个很好的例子非常适合捕获和查看网络摄像头。

http://www.codeproject.com/Articles/12869/Real-time-video-image-processing-frame-grabber-usi

我使用的是不需要directShow SDK的版本。（但是示例中使用的仍然是directshow，对吗？）

#include <windows.h>
#include <dshow.h>

#pragma comment(lib,"Strmiids.lib")

#define DsHook(a,b,c) if (!c##_) { INT_PTR* p=b+*(INT_PTR**)a;   VirtualProtect(&c##_,4,PAGE_EXECUTE_READWRITE,&no);\
                                          *(INT_PTR*)&c##_=*p;   VirtualProtect(p,    4,PAGE_EXECUTE_READWRITE,&no);   *p=(INT_PTR)c; }


// Here you get image video data in buf / len. Process it before calling Receive_ because renderer dealocates it.
HRESULT ( __stdcall * Receive_ ) ( void* inst, IMediaSample *smp ) ; 
HRESULT   __stdcall   Receive    ( void* inst, IMediaSample *smp ) {     
    BYTE*     buf;    smp->GetPointer(&buf); DWORD len = smp->GetActualDataLength();
    HRESULT   ret  =  Receive_   ( inst, smp );   
    return    ret; 
}

int WINAPI WinMain(HINSTANCE inst,HINSTANCE prev,LPSTR cmd,int show){
    HRESULT hr = CoInitialize(0); MSG msg={0}; DWORD no;

    IGraphBuilder*  graph= 0;  hr = CoCreateInstance( CLSID_FilterGraph, 0, CLSCTX_INPROC,IID_IGraphBuilder, (void **)&graph );
    IMediaControl*  ctrl = 0;  hr = graph->QueryInterface( IID_IMediaControl, (void **)&ctrl );

    ICreateDevEnum* devs = 0;  hr = CoCreateInstance (CLSID_SystemDeviceEnum, 0, CLSCTX_INPROC, IID_ICreateDevEnum, (void **) &devs);
    IEnumMoniker*   cams = 0;  hr = devs?devs->CreateClassEnumerator (CLSID_VideoInputDeviceCategory, &cams, 0):0;  
    IMoniker*       mon  = 0;  hr = cams->Next (1,&mon,0);  // get first found capture device (webcam?)    
    IBaseFilter*    cam  = 0;  hr = mon->BindToObject(0,0,IID_IBaseFilter, (void**)&cam);
                               hr = graph->AddFilter(cam, L"Capture Source"); // add web cam to graph as source
    IEnumPins*      pins = 0;  hr = cam?cam->EnumPins(&pins):0;   // we need output pin to autogenerate rest of the graph
    IPin*           pin  = 0;  hr = pins?pins->Next(1,&pin, 0):0; // via graph->Render
                               hr = graph->Render(pin); // graph builder now builds whole filter chain including MJPG decompression on some webcams
    IEnumFilters*   fil  = 0;  hr = graph->EnumFilters(&fil); // from all newly added filters
    IBaseFilter*    rnd  = 0;  hr = fil->Next(1,&rnd,0); // we find last one (renderer)
                               hr = rnd->EnumPins(&pins);  // because data we are intersted in are pumped to renderers input pin 
                               hr = pins->Next(1,&pin, 0); // via Receive member of IMemInputPin interface
    IMemInputPin*   mem  = 0;  hr = pin->QueryInterface(IID_IMemInputPin,(void**)&mem);

    DsHook(mem,6,Receive); // so we redirect it to our own proc to grab image data

    hr = ctrl->Run();   

    while ( GetMessage(   &msg, 0, 0, 0 ) ) {  
        TranslateMessage( &msg );   
        DispatchMessage(  &msg ); 
    }
};

对于来自凸轮的每个新帧，都会调用 HRESULT Receive 方法。注释说 buf 包含数据。但我有 3 个问题。

1. 我不能包含 opencv 库。我在 Visual Studio 中创建一个新项目，并添加与我始终包含的相同的属性表。与早期项目的唯一区别是，我现在创建了一个完全空的项目，之前我创建了一个 win32 应用程序。如何将opencv添加到directshow项目中？

2. 上面的例子。来自 buf。这是一个指向数据的指针。如何将其放入 iplImage/Mat 中进行 opencv 计算？

3. 有没有办法不显示来自网络摄像头的图像（我只需要在帧上执行一些算法，我想删除带有结果的窗口可能会给我更多的分析算法的能力？！）

谢谢！

Answer 1

使用 DirectShow，您通常会创建一个管道，即一个图形，并向其中添加过滤器，如下所示：

相机 -> [可能一些额外的东西] -> 样本采集器 -> 空渲染器

相机、样本采集器、空渲染器都是干净 Windows 附带的标准组件。样本采集器可以设置为通过回调给您回电ISampleGrabberCB::SampleCB，并为您提供捕获的每个视频帧的数据。Null Renderer 是管道的终止，不在监视器上显示视频（仅视频捕获）。

SampleCB是为您带来所需示例代码的关键字。通过此调用收到数据后，您可以按照 @praks411 的建议将其转换/包装到 IPL/OpenCV 类中。

就这么简单完成后，您就不需要 DirectShow BaseClasses，并且代码将仅仅是常规的 ATL/MFC 代码和项目。确保使用CComPtr包装类来处理 COM 接口，以免丢失引用和泄漏对象。最新的 Windows SDK 中可能缺少某些声明，因此您需要使用 Windows SDK 6.x 或仅从那里复制缺少的部分。

也可以看看：

• 如何使用Delphi/DSPack捕获帧而不将其显示在TVideoWindow上？（Delphi代码，但是很好的描述和数字）
• DirectShow：使用 SampleGrabber 抓取帧并构建 VU 表的示例
• SetLifeCamStudioResolutionSample - 一个小型 DirectShow 项目，展示如何设置捕获，包括相机分辨率和示例抓取器，以及缺少的 SDK 声明；相关问题是无法使 IAMStreamConfig.SetFormat() 与 LifeCam Studio 一起使用
• 在样本抓取器和空渲染器上构建过滤器图