使用openCV for iOS拼接图像的问题

Question

我正在尝试从这里采用代码:

https://github.com/foundry/OpenCVStitch

进入我的计划.但是,我碰壁了.此代码将已存在的图像拼接在一起.我正在尝试制作的程序会将用户拍摄的图像拼接在一起.我得到的错误是,当我将图像传递给针脚功能时,它说它们的大小无效(0 x 0).

这是拼接功能:

- (IBAction)stitchImages:(UIButton *)sender {
    dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{


        NSArray* imageArray = [NSArray arrayWithObjects:
                               chosenImage, chosenImage2, nil];
        UIImage* stitchedImage = [CVWrapper processWithArray:imageArray]; // error occurring within processWithArray function
        dispatch_async(dispatch_get_main_queue(), ^{

            NSLog (@"stitchedImage %@",stitchedImage);
            UIImageView *imageView = [[UIImageView alloc] initWithImage:stitchedImage];
            self.imageView = imageView;
            [self.scrollView addSubview:imageView];
            self.scrollView.backgroundColor = [UIColor blackColor];
            self.scrollView.contentSize = self.imageView.bounds.size;
            self.scrollView.maximumZoomScale = 4.0;
            self.scrollView.minimumZoomScale = 0.5;
            self.scrollView.contentOffset = CGPointMake(-(self.scrollView.bounds.size.width-self.imageView.bounds.size.width)/2, -(self.scrollView.bounds.size.height-self.imageView.bounds.size.height)/2);
            [self.spinner stopAnimating];

        });


    });

}

chosenImage和chosenImage2是用户使用这两个函数拍摄的图像:

- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary *)info {
    savedImage = info[UIImagePickerControllerOriginalImage];

    // display photo in the correct UIImageView
    switch(image_location){
        case 1:
            chosenImage = info[UIImagePickerControllerOriginalImage];
            self.imageView2.image = chosenImage;
            image_location++;
            break;
        case 2:
            chosenImage2 = info[UIImagePickerControllerOriginalImage];
            self.imageView3.image = chosenImage2;
            image_location--;
            break;

    }
    // if user clicked "take photo", it should save photo
    // if user clicked "select photo", it should not save photo
    /*if (should_save){
     UIImageWriteToSavedPhotosAlbum(chosenImage, nil, nil, nil);
     }*/
    [picker dismissViewControllerAnimated:YES completion:NULL];

}

- (IBAction)takePhoto:(UIButton *)sender {
    UIImagePickerController *picker = [[UIImagePickerController alloc] init];
    picker.delegate = self;
    picker.allowsEditing = NO;
    picker.sourceType = UIImagePickerControllerSourceTypeCamera;
    //last_pressed = 1;
    should_save = 1;
    [self presentViewController:picker animated:YES completion:NULL];
}

stitchesImages函数将这两个图像的数组传递给此函数:

+ (UIImage*) processWithArray:(NSArray*)imageArray
{
    if ([imageArray count]==0){
        NSLog (@"imageArray is empty");
        return 0;
        }
    cv::vector<cv::Mat> matImages;

    for (id image in imageArray) {
        if ([image isKindOfClass: [UIImage class]]) {
            cv::Mat matImage = [image CVMat3];
            NSLog (@"matImage: %@",image);
            matImages.push_back(matImage);
        }
    }
    NSLog (@"stitching...");
    cv::Mat stitchedMat = stitch (matImages); // error occurring within stitch function
    UIImage* result =  [UIImage imageWithCVMat:stitchedMat];
    return result;
}

这是程序遇到问题的地方.当它传递在应用程序文件中本地保存的图像时,它可以正常工作.但是,当传递保存在变量(selectedImage和chosenImage2)中的图像时,它不起作用.

这是在processWithArray函数中调用的stitch函数,它导致错误:

cv::Mat stitch (vector<Mat>& images)
{
    imgs = images;
    Mat pano;
    Stitcher stitcher = Stitcher::createDefault(try_use_gpu);
    Stitcher::Status status = stitcher.stitch(imgs, pano);

    if (status != Stitcher::OK)
        {
        cout << "Can't stitch images, error code = " << int(status) << endl;
            //return 0;
        }
    return pano;
}

错误是"无法拼接图像,错误代码= 1".

Answer 1

你正在达到内存限制.包含的四个演示图像为720 x 960像素,而您使用的是设备相机的全分辨率图像.

这是仪器中的Allocations曲线导致崩溃,从相机缝合两个图像......

这个github示例的重点是说明一些事情......
(1)如何将openCV与iOS集成;
(2)如何使用包装器分离Objective-C和C++代码;
(3)如何在openCV中实现最基本的拼接功能.

它最适合作为iOS + openCV的"hello world"项目,而不是设计用于相机图像的稳健工作.如果你想按原样使用我的代码,我建议首先将相机图像缩小到可管理的大小(例如,长边最大1000).

无论如何,您使用的openCV框架与项目一样古老.感谢您的问题,我刚刚更新了它(现在是arm64友好的),尽管内存限制仍然适用.

V2,OpenCVSwiftStitch可能是一个更有趣的实验起点 - 接口是用Swift编写的,它使用cocoaPods跟上openCV版本(尽管目前固定为2.4.9.1,因为2.4.10会破坏所有内容).所以它仍然说明了这三点,并且还展示了如何使用Objective-C包装器作为中介来使用Swift和C++.

我可能能够改进内存处理(通过传递指针).如果是这样,我将推送更新到v1和v2.如果您可以进行任何改进,请发送拉取请求.

更新我已经有了另一种外观,我相信如果不深入了解openCV拼接算法,将无法改进内存处理.图像已经在堆上分配,因此没有任何改进.我希望最好的选择是平铺和缓存看起来像openCV正在创建的中间图像作为过程的一部分.如果我对此有任何进一步的说明,我会发布更新.同时,调整相机图像的大小是可行的方法.

更新2
稍后,我找到了问题的根本原因.当您使用iOS相机中的图像作为输入时,如果这些图像处于纵向方向,则它们将具有openCV的错误输入尺寸(和方向).这是因为所有iOS相机照片都是原生的"左侧风景".像素尺寸为横向,右侧是主页按钮.要显示肖像,'imageOrientation'标志设置为UIImageOrientationRight.这仅表示操作系统将图像向右旋转90度以进行显示.

图像存储未旋转,横向左侧.不正确的像素方向会导致更高的内存要求以及openCV中不可预测/损坏的结果.

我已经在最新版本的openCVSwiftStitch中解决了这个问题:在添加到openCV管道之前,必要的图像以像素方式旋转.