使用 Dlib.Net(FaceRecognition.Net) 检测人脸是否颠倒

Question

基本上，我正在尝试使用此库https://github.com/takuya-takeuchi/FaceRecognitionDotNet检查图像中的人脸是否颠倒。以下图为例

这是一张使用 FaceRecognition.Net 库成功检测到的图像。图像是颠倒的。我用蓝色椭圆标记了图像中的所有面部标志。

这是我遵循的方法

 // Finding faceparts
var faceparts = dparameters._FaceRecognition.FaceLandmark(dparameters.FCImage);

// Drawing Ellipses over all points got from faceparts

foreach(var facepart in faceparts) {
  foreach(var mypoint in facepart.Values) {
    foreach(var x in mypoint) {
      tempg.DrawEllipse(Pens.Blue, x.Point.X, x.Point.Y, 2, 2);
    }
  }
}

现在我正在通过比较嘴唇和眼点的最大 Y 坐标来检查图像是否旋转

var temp = faceparts.FirstOrDefault();
IEnumerable < FacePoint > lippoints;
temp.TryGetValue(FacePart.BottomLip, out lippoints);

IEnumerable < FacePoint > eyepoints;
temp.TryGetValue(FacePart.LeftEye, out eyepoints);

var lippoint = lippoints.Max(r => r.Point.Y);
var topeyepoint = eyepoints.Max(r => r.Point.Y);
if (lippoint > topeyepoint) {
  bool isinverted = true;
} else {
  bool isinverted = false;
}

问题是即使图像没有倒置，眼坐标也小于人脸坐标。这是因为检测到图像中的轮廓是假人脸。如何解决这个问题？

Answer 1

看起来这个库没有提供结果的置信比。否则，我建议尝试输入及其翻转副本，并在进行“眼高于嘴”检查之前以更高的置信度获取其中一个。

所以也许有帮助的是：

• 使用CNN模型，在原始库中它被称为

face_locations = face_recognition.face_locations(image, number_of_times_to_upsample=0, model="cnn")

在 C# 端口中它应该是

_FaceRecognition.FaceLocations(image, 0, Model.Cnn)

这应该会给你一个更准确的面部边界框，然后你可以将其与地标的边界框进行比较。如果您对图像的翻转副本执行相同的操作，则可以“模拟”我之前提到的置信度并假设框匹配得更好的方向。然后你可以通过“眼高于嘴”测试来识别方向。

• 据我注意到，该库不提供预先训练的数据，因此为了使用该Cnn模型，您需要自己训练它。训练数据集的选择当然非常重要。如果您已经进行了训练，更多/更好的训练数据可能会提高准确性。