（11）眨眼检测

opencv+dlib

---

我们使用opencv+dlib库进行眨眼检测。
其中参考一篇论文：Real-Time Eye Blink Detection using Facial Landmarks
作者在这篇文章中提出了一个眼睛纵横比（eye aspect ratio (EAR)）的概念，通过计算这个EAR的数值，我们可以判断眼睛是张开还是闭合，从而检测眨眼动作

首先我们要用到68个特征点检测。之前我们已经实现过。其实68个特征点检测是非常复杂的。但是我们可以用dilb库较容易得实现。
在得到的68个点中，左眼和右眼各由6个点包围，我们之后用到的算法就是基于这6个点的。如图：

上图中的6个特征点p1、p2、p3、p4、p5、p6是人脸特征点中对应眼睛的6个特征点。
我们想关注的重点是：这些点在眼睛睁开和闭合时，彼此坐标之间的关系。
如图中直线所示，我们可以看出，长宽比在眼睛睁开和闭合时会有所不同。
我们可以导出EAR的方程：

$$EAR=\frac{||p_2-p_6||+||p_3-P_5||}{2*||p_1-p_4||}$$
分子中计算的是眼睛的特征点在垂直方向上的距离，分母计算的是眼睛的特征点在水平方向上的距离。由于水平点只有一组，而垂直点有两组，所以分母乘上了2，以保证两组特征点的权重相同。
接下来看看，上面的那个表格。我们不难发现，EAR在眼睛睁开时是基本保持不变的，在小范围内会上下浮动，然而，当眼睛闭合时，EAR会迅速下降。这也就是我们进行眨眼检测的原理，十分简单。更详细的内容还是请查阅论文。

首先我们来写一个直接用阈值判断的程序

import dlib
import cv2
import os
import sys
from scipy.spatial import distance
from imutils import face_utils
def eye_aspect_ratio(eye):
    # print(eye)
    A = distance.euclidean(eye[1], eye[5])
    B = distance.euclidean(eye[2], eye[4])
    C = distance.euclidean(eye[0], eye[3])
    ear = (A + B) / (2.0 * C)
    return ear
pwd = os.getcwd()# 获取当前路径
model_path = os.path.join(pwd, 'model')# 模型文件夹路径
shape_detector_path = os.path.join(model_path, 'shape_predictor_68_face_landmarks.dat')# 人脸特征点检测模型路径
detector = dlib.get_frontal_face_detector()# 人脸检测器
predictor = dlib.shape_predictor(shape_detector_path)# 人脸特征点检测器
EYE_AR_THRESH = 0.2# EAR阈值
EYE_AR_CONSEC_FRAMES = 2zd# 当EAR小于阈值时，接连多少帧一定发生眨眼动作
# 对应特征点的序号
RIGHT_EYE_START = 37 - 1
RIGHT_EYE_END = 42 - 1
LEFT_EYE_START = 43 - 1
LEFT_EYE_END = 48 - 1
frame_counter = 0# 连续帧计数 
blink_counter = 0# 眨眼计数
cap = cv2.VideoCapture(0)
while(1):
    ret, img = cap.read()# 读取视频流的一帧
    if ret is True:
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    else:
        break
    rects = detector(gray, 0)# 人脸检测
    for rect in rects:# 遍历每一个人脸
        print('-'*20)
        shape = predictor(gray, rect)# 检测特征点
        points = face_utils.shape_to_np(shape)# convert the facial landmark (x, y)-coordinates to a NumPy array
        leftEye = points[LEFT_EYE_START:LEFT_EYE_END + 1]# 取出左眼对应的特征点
        rightEye = points[RIGHT_EYE_START:RIGHT_EYE_END + 1]# 取出右眼对应的特征点
        leftEAR = eye_aspect_ratio(leftEye)# 计算左眼EAR
        rightEAR = eye_aspect_ratio(rightEye)# 计算右眼EAR
        print('leftEAR = {0}'.format(leftEAR))
        print('rightEAR = {0}'.format(rightEAR))
        ear = (leftEAR + rightEAR) / 2.0# 求左右眼EAR的均值
        leftEyeHull = cv2.convexHull(leftEye)# 寻找左眼轮廓
        rightEyeHull = cv2.convexHull(rightEye)# 寻找右眼轮廓
        cv2.drawContours(img, [leftEyeHull], -1, (0, 255, 0), 1)# 绘制左眼轮廓
        cv2.drawContours(img, [rightEyeHull], -1, (0, 255, 0), 1)# 绘制右眼轮廓
        # 如果EAR小于阈值，开始计算连续帧，只有连续帧计数超过EYE_AR_CONSEC_FRAMES时，才会计做一次眨眼
        if ear < EYE_AR_THRESH:
            frame_counter += 1
            cv2.putText(img, "Detect the blinks",(200, 30) , cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,0,255), 2)
        else:
            if frame_counter >= EYE_AR_CONSEC_FRAMES:
                blink_counter += 1
            frame_counter = 0
        # 在图像上显示出眨眼次数blink_counter和EAR
        cv2.putText(img, "Blinks:{0}".format(blink_counter), (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,0,255), 2)
        cv2.putText(img, "EAR:{:.2f}".format(ear), (500, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,0,255), 2)
    cv2.imshow("Frame", img)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break
cap.release()
cv2.destroyAllWindows()

另外我发现，戴上眼镜的话，阈值可能偏大一点效果更好。（但是这并没有lilun理论支持，只是我的个人感觉）
现在我是用的是0.2，戴上眼镜的话，或许0.3更好（也可能我眼睛小吧。）

本文是我学习博客https://blog.csdn.net/hongbin_xu/article/details/79033116后的学习笔记。