如何在 Flutter 插件中添加 OpenCV

Question

我正在做一个颤振项目，我必须检测物体的边缘。我已经搜索了现有的插件，但找不到任何插件。我打算使用 OpenCV 进行边缘检测。

我从 Android Studio 创建了一个 flutter 插件。这是插件结构。

我已经从这里下载了适用于 Android 的 OpenCV - opencv-3.4.3-android-sdk并解压缩。

我已经将 OpenCV SDK 中的 java 文件夹作为模块导入到 flutter 插件的 Android 项目中。

这就是我的 android 项目（flutter 插件）build.gradle 的样子

group 'com.xxxx.xxxxx'
version '1.0-SNAPSHOT'

buildscript {
    ext.kotlin_version = '1.2.30'
    repositories {
        google()
        jcenter()
    }

    dependencies {
        classpath 'com.android.tools.build:gradle:3.1.2'
        classpath "org.jetbrains.kotlin:kotlin-gradle-plugin:$kotlin_version"
    }
}

rootProject.allprojects {
    repositories {
        google()
        jcenter()
    }
}

apply plugin: 'com.android.library'
apply plugin: 'kotlin-android'
apply plugin: 'kotlin-android-extensions'

android {
    compileSdkVersion 27

    sourceSets {
        main.java.srcDirs += 'src/main/kotlin'
    }
    defaultConfig {
        minSdkVersion 16
        testInstrumentationRunner "android.support.test.runner.AndroidJUnitRunner"
    }
    lintOptions {
        disable 'InvalidPackage'
    }
}

dependencies {
    implementation "org.jetbrains.kotlin:kotlin-stdlib-jre7:$kotlin_version"
    implementation 'com.android.support:appcompat-v7:27.1.1'
    implementation 'io.reactivex.rxjava2:rxandroid:2.1.0'

    implementation project(':openCVLibrary343')
    compileOnly files('templibs/flutter.jar')
}

这就是我的 opencv build.gradle 的样子

apply plugin: 'com.android.library'

android {
    compileSdkVersion 27
    buildToolsVersion "28.0.3"

    defaultConfig {
        minSdkVersion 8
        targetSdkVersion 21
    }

    buildTypes {
        release {
            minifyEnabled false
            proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.txt'
        }
    }
}

这是Android项目（flutter插件）的settings.gradle的样子

rootProject.name = 'flutter_plugin'
include ':openCVLibrary343'

当我尝试运行由 flutter 插件模板创建的示例应用程序时，出现以下错误。

在调试模式下在 Nexus 6P 上启动 lib\main.dart... 初始化 gradle... 解决依赖项... * 运行 Gradle 时出错：退出代码 1 从：C:\Users\xxxxx\Documents\flutter_plugin\example\android\ gradlew.bat 应用程序：属性：

FAILURE：构建失败，出现异常。

• 其中：构建文件 'C:\Users\xxxx\Documents\flutter_plugin\android\build.gradle' 行：48

• 出了什么问题：评估项目“：flutter_plugin”时出现问题。

  在项目 ':flutter_plugin' 中找不到路径为 ':openCVLibrary343' 的项目。

• 尝试：使用 --stacktrace 选项运行以获取堆栈跟踪。使用 --info 或 --debug 选项运行以获得更多日志输出。使用 --scan 运行以获得完整的见解。

• 在https://help.gradle.org获取更多帮助

1 秒内构建失败

Finished with error: 请检查您在 android/ 文件夹中的 Gradle 项目设置。

Answer 1

对于我正在进行的一个项目，我设法创建了一个依赖 OpenCV 的 flutter 插件来处理来自相机的图像。请注意，当我说“来自相机”时，我指的不是视频捕获的实时帧，而是之前保存在设备内存中的图片。

首先，我在此处遵循 Flutter 文档中有关创建插件的信息

当flutter创建了插件文件夹和文件时，我最终得到了一个与此类似的结构（第一级的“opencv”文件夹是插件的根目录）：

请注意opencv-341.jar，我添加包含Java方法来控制本地库文件OpenCVPlugin.java和opencv.dart它们的入口点颤振访问Java方法和颤振创建。

.java 和 .dart 文件的文件名可能不同，并反映您在上述插件创建阶段作为参数传递的名称。

.jar 文件可以在 Java 的 OpenCV 包中作为预编译库找到。在同一个包中，您会在这个小伪装的末尾找到所需的本机库。

的build.gradle在[plugin_root]文件/机器人应该引用这样的jar文件

dependencies {
    implementation files('opencv/opencv-341.jar')
}

本OpencvPlugin.java应承载从DART调用的方法。就我而言，为了更好地管理不同的方法，我创建了这样的代码：

if (call.method.equals("processReceiptImage")) {
    if (!call.hasArgument("input")) {
        result.error("NOTFOUND", "File not found", null);
        return;
    }
    try {
        String input = call.argument("input");
        int maxWidth = (int) call.argument("maxWidth");
        int quality = (int) call.argument("quality");
        String output = call.argument("output");
        result.success(ProcessReceiptImage.run(input, maxWidth, quality, output));
        return;
    } catch (Exception e) {
        e.printStackTrace();
        result.error("UNKNOWN", e.getMessage(), null);
        return;
    }
}

静态方法ProcessReceiptImage包含在相关文件中ProcessReceiptImage.java：

package com.yourplugin.opencv;

import org.opencv.core.Mat;
import org.opencv.core.MatOfInt;
import org.opencv.core.Size;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;

import java.util.ArrayList;


public class ProcessReceiptImage {
    static String run(String input, int maxWidth, int quality, String output) throws Exception {
        Mat src = Imgcodecs.imread(input, Imgcodecs.CV_LOAD_IMAGE_GRAYSCALE);
        Size size = src.size();

        int height = (int) (maxWidth * size.height / size.width);
        Imgproc.resize(src, src, new Size(maxWidth, height));

        ArrayList<Integer> parameters;
        parameters = new ArrayList();

        parameters.add(Imgcodecs.CV_IMWRITE_JPEG_QUALITY);
        parameters.add(quality);

        MatOfInt par = new MatOfInt();
        par.fromList(parameters);
        Imgcodecs.imwrite(output, src, par);
        return output;
    }
}

从那时起，如果您运行您的应用程序，它可能会由于缺少 library 而失败opencv_java3。为了解决这部分问题，我现在创建的唯一方法是像这样将本机库复制到您的最终项目中（这是您的应用程序的根目录，而不是插件）：

我已经为我想要定位的每个平台包含了最终的 .so 本地库，因此无论用户使用哪个平台，代码始终可以获取正确的 .so 并正确加载 OpenCV。

提示：由于包含所有 .so 文件会导致 APK 变大，我建议您配置 build.gradle 以将包拆分为 abis，这样您将拥有一个较小的 apk，它将通过 Play 商店自动提供。