如何在Camera View android中的墙壁上绘画？

Question

我正在尝试在我的相机视图中粉刷墙壁。任何人都可以告诉我应该从哪里开始，任何图书馆或可以为我指明正确方向的有用东西。

我知道这是一件困难的事情，但我需要一些方向来继续我的工作。目前我只尝试过VuForia，但我不知道我们如何使用它来识别墙壁并在增强现实的墙壁上绘画。

下面是所需的结果：

Answer 1

正如你所说，回答你的问题并不容易，因为有多种解决方案可以实现你想要的。

我认为您应该阅读有关对象检测的内容，尤其是有关卷积神经网络（CNN）的内容。用于检测任务的良好库可能是OpenCV和 Google 的Tensorflow。此外，Google移动视觉 API中的示例可以向您展示如何从相机获取实时反馈并管理将其与您的绘画叠加。我个人发现这个例子对于了解在哪里/如何实现检测器以及图形覆盖非常有帮助，即使它用于文本识别。最后，您可以看到Android Tensorflow 演示。

但尽管看起来很容易，但还有很长的路要走。对于这种使用 Tensorflow 的实现，您需要......

1. 收集带有墙壁和非墙壁的样本图像；）
2. 考虑预处理（例如重新缩放、灰度和过滤）并实现它
3. 为 CNN 模型编写和调整 Python 代码
4. 使用 Python 训练和评估您的模型
5. 将您的模型移植到 Android
6. 在适当的区域涂抹

我能想到的另一种方法是边缘检测和霍夫线变换，但我建议您使用神经网络，因为结果可能更好，Tensorflow（移动版或精简版）已经针对 Android 进行了优化，并且它是尖端技术；）

希望这可以帮助！