如何在也使用OpenCV的项目中使用Wikitude？

Question

我们无法让Wikitude在Xamarin跨平台项目(Android和iOS)中工作,该项目也使用OpenCV.

安装程序

Xamarin跨平台项目使用MvvmCross进行以下设置:

• 核心项目,PCL提供视图模型,业务逻辑和平台无关的逻辑.
• OpenCV.Droid,绑定项目,为Android部分提供OpenCV.
  • Android Library(AAR),由官方OpenCV SDK for Android创建.
• OpenCV.iOS,绑定项目使用P/Invoke将OpenCV提供给iOS部分.
  • 自己的静态库项目.
  • 包括官方OpenCV SDK for iOS的静态库,它只是一个Apple Framework(结合了静态库和头文件).
  • 通过自己的API公开OpenCV功能,以最大限度地减少编组代码的数量.
• UI.Droid,提供视图和平台特定逻辑的Android平台项目.
• UI.iOS,iOS平台项目提供视图和平台特定的逻辑.

我们的ARchitectWorld使用对象跟踪,并且可以在Android和iOS的Xamarin组件中包含的Wikitude示例中成功进行测试.

问题

当我们的iOS项目开始ARchitectWorld,世界被加载,我们收到onLoaded-callback创建时TargetCollectionResource,还有onTargetsLoaded-callback创建时ObjectTracker.到目前为止,Wikitude的示例项目以及我们的项目中的行为是相同的.

问题是,使用相同WTO文件的同一对象在我们的项目中没有被识别,而它在示例项目中工作得很好.

调查

当问题发生时,我们简化了处理ARchitectWorld的ViewController中的逻辑,以排除我们代码中的问题.

然后我们通过将ARchitectWorld添加到我们repo历史中的不同提交中来调查我们的项目,我们认为这些提交是关键更改并且发现了提交,对象跟踪正在进行中.

为了找到关键的变化,我们使用了git-bisect并确定了引入问题的提交.通过该提交,我们的OpenCV绑定项目的静态库已更新,因为它缺少设备架构 - 它只有模拟器拱,基本上是x86_64.

在那之后,我们假设,Wikitude可能会在内部使用OpenCV,我们可能会发生符号冲突,即使链接器没有抱怨重复的符号.虽然,Wikitude不使用OpenCV,但搜索Wikitude和OpenCV的组合使用会带来一些没有解决方案的结果:

• 使用OpenCV时崩溃
• Wikitude iOS JavaScript检测崩溃

然后我们发现,Wikitude和OpenCV都包含部分相同的第三方代码.

问题

在链接的帖子中,Wikitude支持非常公开地回答,建议进行内部讨论并回到OP.虽然线程中没有进一步的答案,但表明没有答案或信息已通过另一个渠道进行交换.

在其他帖子中,我们看到了将OpenCV与Wikitude一起使用的建议,即准备可视化数据并将其提供给输入插件.这表明,OpenCV和Wikitude可以一起使用.

• 可以,如果,如何在我所描述的Xamarin项目中实现这一目标？
• 它需要特定版本的OpenCV吗？(我们目前正在使用v3.3.1.)

也许社区也实现了这一点,我非常期待有关这方面的答案.我们还联系了Wikitude支持,如果我们收到任何有助于回答问题的信息,我们会在这里提供反馈信息.

Answer 1

我们终于有了一个使用 Wikitude 和 OpenCV 的工作应用程序。尽管我们无法清楚地确定根本原因。产生可行解决方案的步骤如下：

1. 仅使用我们需要的模块从源代码构建 OpenCV，使用--without构建脚本的参数build_framework.py来减少可能的冲突数量。无论如何，这是错误的，因为二进制文件在本机链接期间被剥离并且没有出现错误。
   • 使用 v3.3.1（我们一直使用的 OpenCV 版本）的可下载源代码来执行此操作，在编译 Xamarin 项目时，我们在本机链接期间遇到了符号问题。
   • 这导致了 OpenCV 中的一个问题，该问题最近刚刚修复（2018-01-10）：https://github.com/opencv/opencv/issues/10565
     （我们没有使用 进行构建--dyanmic，在原生过程中仍然面临错误编译 Xamarin 项目时进行链接。）
2. 从 GitHub 上当前的 master 构建 OpenCV（提交17233c687e2d51010dab2587f2532a460ccdb4b6，超出 v3.4.0 的东西）结果证明可以工作并且不会破坏 Wikitude： https: //github.com/opencv/opencv
3. 使用适用于 iOS (v3.4.0) 的可下载 OpenCV 框架在本机链接期间导致了相同的问题。

长话短说

从 GitHub 上的源代码构建 OpenCV，至少17233c687e2d51010dab2587f2532a460ccdb4b6提交结果并没有破坏 Wikitude。

我们将查看 OpenCV 下一版本的可下载 iOS 框架，看看它是否有效，然后返回使用它，而不是我们自己构建 OpenCV。