检查用户是否正在通过代码查看屏幕

Question

在较新的 Android 设备中，可以使用面部解锁手机。Iphone X 也可以实现这一点。

有没有办法使用这些传感器/摄像头来检查用户是否正在看屏幕？

编辑： 我发现谷歌还有一个Vision Framework：Vision Framework

Answer 1

是和不是。

\n\n

iPhone X 内置的 Face ID 功能可以解锁设备并授权其他内置功能（Apple Pay、iTunes/App Store 支付等）。您还可以将其用作应用程序中的授权方法 \xe2\x80\x94 相同的LocalAuthentication框架调用会自动使用 Face ID，而不是在 iPhone X 上。

\n\n

默认情况下，Face ID 要求用户注视屏幕。因此，如果您的注意力检测用例与授权或解锁有关，您可以使用 LocalAuthentication 来执行此操作。（但是，用户可以在辅助功能设置中禁用注意力检测，这会降低安全性，但会增加 Face ID 的可用性。第三方应用程序无法控制甚至读取此设置。）

\n\n\n\n

如果你说的是更直接地进行注意力检测或视线跟踪...Apple 不提供任何公开 Face ID 内部工作原理的 API，或者至少是视线跟踪部分。这是他们所拥有的：

\n\n

\n

• ARKit 提供ARFaceTrackingConfiguration（另请参阅示例代码），它实时提供详细的面部 3D 模型（据称使用一些与 Face ID 相同的神经引擎内容来实现细节和性能）。

  \n\n

  但就 ARKit 而言，眼睛只是脸上的两个洞 \xe2\x80\x94，没有视线跟踪。

\n

• Apple 的Vision 框架提供人脸检测和人脸标志识别（即定位眼睛、鼻子、嘴巴等）。视觉确实可以识别眼睛轮廓和瞳孔，理论上您可以将其用作注视跟踪的基础。

  \n\n

  然而，由于 Vision 仅以 2D 形式提供此类数据，并且无法获取面部的 3D 姿势，因此如果您想自己构建视线跟踪，您仍然会遇到严重的计算机视觉问题。Vision 处理 2D 图像，这意味着它不需要 iPhone X（但也意味着它也不能从 iPhone X 上的 TrueDepth 摄像头受益）。

\n

• AVCapture提供对 TrueDepth 摄像头的访问，因此您可以获得与 Face ID 和 ARKit 用来发挥魔力的相同颜色 + 深度图像。（你只是自己无法获得所谓的魔法。）

\n

\n\n

这并不是说一般的 iOS 或 iPhone X 上不可能实现注视追踪 \xe2\x80\x94 所有构建模块都在那里，因此只要有足够的研发努力，您就可以自己实现它。但苹果不向任何开发者提供内置视线跟踪机制的访问权限。

\n