摘 要

人脸面部的皱纹作为一种面部特征信息，在年龄估计、皮肤健康评估和皮肤病检测中具有广泛的应用。此外在面部表情识别领域，一种研究思路需要通过面部活动编码系统 FACS 定义面部肌肉动作方式，其通过定义面部肌肉的动作单元（大部分由皱纹构成），可以提供更加客观描述面部表情方法，因此能够准确提取面部皱纹信息具有重要意义。

本文针对人脸皱纹的检测思路，分别从人脸检测、人脸特征关键点提取、皱纹纹理区域标识三个方面展开论述，在皱纹纹理区域标识步骤提出一种基于语义分割方法的面部皱纹纹理检测算法，利用医学图像分割模型-全卷积神经网络Unet，通过监督学习的方式对图像进行像素级的分类，实现皱纹区域标注。在训练过程中，本文采用dice_loss损失函数解决了数据集中正负样本不均衡的问题。本文还采取了一些预处理操作并提出了一些预期的后处理操作，使算法模型得到了更好检测效果。

关键词：人脸检测；特征提取；皱纹检测；语义分割；

Abstract

As a kind of facial feature information，facial wrinkle and it’s detection have wide applications in age estimation, skin health assessment and skin disease detection. In addition, in the field of facial expression recognition, a research idea needs to define the facial muscle action mode through the facial activity coding system FACS, which can provide a more objective description of the facial expression method by defining the action unit of the facial muscle (mostly composed of wrinkles). It is important to be able to accurately extract facial wrinkle information.

In this paper, the detection methods of facial wrinkles are discussed from three aspects: face detection, key feature extraction, and wrinkle texture area identification. In the wrinkle texture area identification step, a facial wrinkle texture detection based on semantic segmentation method is proposed. The algorithm uses the medical image segmentation model - Full Convolutional Neural Network Unet to classify the image at the pixel level by supervised learning to realize the wrinkle area labeling. In the training process, this paper uses the dice_loss loss function to solve the problem of unbalanced positive and negative samples in the data set .We also adopt some pre-processing operations and propose some anticipated ideas about post-processing operations so that the algorithm model can detect wrinkles more effectively.

Key Words：Face detection; feature extraction; wrinkle detection; semantic segmentation;

目 录

第1章 绪论 1

1.1 课题研究目的及意义 1

1.2 国内外研究现状分析 1

1.2.1 人脸检测研究现状 1

1.2.2 人脸关键特征点提取研究现状 2

1.2.3 人脸皱纹检测研究现状脸检测研究现状 3

1.3 论文研究路线及流程图 4

1.3.1 研究内容及技术路线 4

1.3.2 算法流程框图 4

1.4 本文结构 5

第2章 人脸检测算法原理及实现 7

2.1 自然场景人脸检测 7

2.2 本文人脸检测特殊要求 7

2.3 基于OpenCV的人脸检测 7

2.3.1 OpenCV人脸检测原理 7

2.3.2 OpenCV人脸检测程序实现 8

2.4 基于MTCNN的人脸检测 8

2.3.1 MTCNN人脸检测原理 8

2.3.2 MTCNN人脸检测程序实现 11

2.5 本章小结 11

第3章 人脸特征点提取算法原理及实现 12

3.1 人脸特征点提取及应用 12

3.2 基于Dlib人脸特征点提取原理 12

3.3 基于特征点的皱纹检测区域分割提取实现 13

第4章 基于全卷积神经网络Unet的皱纹图像分割算法 15

4.1 基于分割图和labelme的数据集制作 15

4.2 全卷积神经网络基本结构 15

4.2.1 卷积神经网络的基本结构 15

4.2.2 全卷积神经网络的基本结构 17

4.3 Unet网络结构 18

4.4 基于Unet的皱纹分割算法实现 20

4.4.1 数据预处理 20

4.4.2 损失函数-DiceLoss 21

4.4.3 学习优化策略-Adam 22

4.4.4 训练过程 23

4.5 实验结果及分析 25

4.6 与传统方法Gobar滤波器效果比较 27

4.7 本章小结 29

第5章 总结与展望 30

致 谢 31

参考文献 32

第1章 绪论

1.1 课题研究目的及意义

人脸面部的皱纹信息本质上为一种人脸特征信息，准确提取到人脸面部皱纹信息对-特征提取算法加机器学习方法分析这一类人脸识别算法有提高识别准确率的帮助，有助于进行身份识别，特别是针对于年龄较大、皱纹较多的人及双胞胎等特定识别场景。

同时当皱纹提取算法精度足够高后，可以辅助进行人脸表情识别。当前关于人脸表情分类、情绪检测的研究是学界和业界的重要研究课题，但个体之间的表情独特性及不同给研究人员算法提出了很苛刻的要求。从解剖学领域解释，每一个面部表情带动着若干条肌肉线，继而肌肉线条的导致人脸面部表情区域的变化。因此通过规定人脸面部肌肉的动作单元，可以提供一种更加标准的研究人脸表情的思路。面部活动编码系统 FACS是一种较为客观准确的评判的面部肌肉动作的规则方式。这种面部区域活动被FACS 形容为“面部活动单元”，而这个面部活动单元很大一部分是由上述的短暂存在的因表情形成的皱纹构成。

人脸皱纹提取还有助于进行年龄估计，皮肤健康评价等领域的应用。一方面皱纹可以作为一种生物老化的标志物识别，另一方面还可以辅助进行皮肤病检测。一种未来期望的智慧医疗场景即：皮肤质量检测仪通过皮肤扫描及皱纹、肤质检测，推荐基于被检测者皮肤类型和其他生物参数的皮肤护理，让人们对自己的皮肤状况进行深入认识以及针对性呵护。

1.2 国内外研究现状分析

人脸皱纹检测可大致分为如下几个大步骤：目标人脸区域检测、人脸特征关键点提取及人脸对齐、皱纹检测大致区域分割、皱纹具体区域纹理区域分割及自动标识。下面将从人脸检测、人脸特征关键点提取及人脸皱纹检测三个方面分析研究现状。

1.2.1 人脸检测研究现状

人脸检测技术的相关研究最早起源于法国学者奥尔顿，并在十九世纪得到首次运用；目前人脸检测方法主要划分为三大类，基于统计的检测模型，基于知识的检测模型和基于深度学习的检测模型。[^[1]]

其中基于知识模型的检测方式是利用人脸图像具备的先验知识，抽取人脸图像的几何特征，从直观角度对人脸进行初始位置标定的方式，基于此模型的经典方法有：基于模板匹配识别法、基于肤色识别法等；这类模型的检测方法比较直观方便，但检测精度不高，且对客观环境要求过高，算法适应性较差。[^[2]]

基于统计模型方法的基本思路为通过大量样本训练，获取表述人脸的统计特征，利用该特征训练成为用于检测的分类器，最终利用训练得来的分类器分类识别目标物体，并用方框的形式来标记人脸图像中人脸的基本位置和大小，该类方法本质上是将人脸检测的基本问题转变为统计模式识别的二分类问题，即检测静态图像或者视频流中的人脸与非人脸问题。常见的检测方法有：基于特征子空间的方法，基于概率模型的方法，基于支持向量机的方法。

近年来随着神经网络方法的兴起，大量目标检测以及人脸目标检测的网络如雨后春笋般出现。在通用物体目标检测方面，产生了以Faster R-CNN为代表的先由算法生成一系列作为样本的候选框，继而通过深度卷积神经网络对样本进行分类以及目标检测定位回归框的算法思想；和以YOLO、SSD等算法为代表的直接将目标边框定位的问题转化为回归问题处理的算法思想。源于上述两种目标检测方法上的差异性，导致两类方法在性能上各有优劣，前一类在目标检测准确率与定位精度上占据优势，而后一类则在算法检测速度上更快速一些。

深度学习人脸检测最早的代表作之一是 《A Convolutional Neural Network Cascade for FaceDetection》，该方法采用CNN分类器代替传统分类器；并在分类器结构后放置矫正单元，使得模型对人脸定位回归框的预测更加准确。此篇之后研究者的思路及学界的研究热点开始转向多任务Multi-Task的概念，即通过多个网络同时进行人脸定位框检测、定位框位置的回归以及人脸面部关键点定位及姿态等属性的检测的任务。该算法思想取得良好效果，目前在多任务概念网络中最具代表性是MTCNN的方法。

1.2.2 人脸关键特征点提取研究现状

人脸特征点提取，是在人脸检测的的基础上进行的对人脸面部轮廓，通常包括面部外围轮廓及各五官轮廓，可以清晰表述脸部各类复杂易变的面部动作和微表情，是人类重要的体态生物特征。[^[3]]由于人脸面部会出现较大的视觉变化，例如遮挡，大的姿势变化和极端的照明，这些苛刻条件对准确的定位出各关键点位置的算法以及研究者提出了巨大的挑战。

人脸形状建模典型的方法有点分布模型、可变形模板、图模型等。人脸的表观建模又有局部表观建模以及全局表观建模构成；在其中全局表观建模是研究如何根据全幅人脸的表面观察信息建立模型，典型的方法有主动外观模型和提升外观模型；在局部表观建模方法中研究者则是针对人脸的局部范围的表观观察信息建立模型，包括颜色模型、头像模型、侧剖线模型等。[^[4]]随着研究技术的发展，逐渐采取回归模型借助面部表观到面部形状的对应传递函数建立从表观到形状的对应关系的级联回归模型取得较好进展。此类方法不需要复杂的人脸形状和表观建模，简单高效，在可控场景和非可控场景下均有很好效果的提取结果。

除传统方法外，依托深度学习的人脸面部对齐研究亦取得大幅度的进展，该领域的研究工作大致可分为两类：依托回归的方法以及模板匹配方法。目前针对面部对齐及特征定位的效果较好的研究思路为卷积神经网络辅以结合形状预测回归框使得定位模型精度更加准确。除此以外其他的研究思路还有：除此以外其他的研究思路还有：（1）加入受限制的玻尔兹曼机作为连结人脸特征点提取任务中各问题变化量之间的桥梁。（2）寻找人脸面部检测和面部对齐这两个任务之间的固有相关性，使得面部属性识别作为辅助任务并使用较深层次的CNN增强面部对齐准确率。

由于在传统方法中主动表观模型和主动形状模型使用主成分分析（PCA）对人脸形状变化建模。但是受姿态表情等因素影响，线性PCA模型比较难做到拟合不同姿态和表情中的人脸形状变化。因此为解决此问题，一种研究思路提出使用深度置信网络来刻画不同表情下人脸形状的复杂非线性变化。经实验效果展示该模型在表情测试集中获得了比线性模型AAM更好的预测效果。

目前基于传统方法和深度学习方法的人脸对齐算法对于表情变化，姿态不同的人脸都能取得不错的特征点提取结果，但是对于装饰物部分遮挡、纯侧方面部对齐、以及人脸检测与面部对齐相结合等方向仍有很大的研究与提升空间。

1.2.3 人脸皱纹检测研究现状脸检测研究现状

人脸图像的皱纹检测是以提取人脸图像上的皱纹信息作为最终目的。目前国内外针对皱纹检测的研究思路于进展主要有：

1）2010年项改燕等使用方向传播卷积网络与Gabor滤波器相结合的思路针对人脸面部皱纹区域进行区域有无皱纹分类的识别,此方法仅针对皱纹区域分类。[^[5]]

2）2014年孙彬彬等提出使用一种灰度共生矩阵算法获取纹理特征，对比使用Tamura纹理分析算法检测人脸图像的粗糙程度来分析人脸纹理变化情况。[^[6]]

3）2014年SGJEONG等提出一种标记点模型皱纹检测方法。该方法将皱纹表示为一组线段，每个线段段的特征在于其长度和方向；并利用局部边缘轮廓的皱纹模型的概率密度和皱纹的几何特性，优化概率皱纹模型的密度，取得较为准确的效果。[^[7]]

4）2015年有分别基于Gabor滤波器和图像形态和几何约束；基于Hybrid Hession 滤波器及基于Hession滤波器优化的line tracking思路的多篇论文对皱纹纹理检测进行优化。[^[8]]

5）2016年RYNKL公司提出一种利用resnet做皱纹区域定位，利用语义分割网络Segnet进行绘制wrinkle map。的深度学习研究方法。

6）2017年Weicheng Xie等人针对表情产生的瞬态皱纹，提出一种新的瞬态检测算法。认为皱纹具有线性，固定和混沌形状特征，主要应由边缘对匹配、基于主动外观模型的皱纹结构位置和基于支持SVM的皱纹分类组成。最终采用用于表达合成和改进的泊松方法进行皱纹映射。[^[9]]

1.3 论文研究路线及流程图

1.3.1 研究内容及技术路线

人脸皱纹特征属于人脸图像上的面部细纹理，可能分布在额头、眼尾、脸庞等多个部分；具有非结构化和不确定性等特点。由于皱纹存在短暂存在（随表情产生）和永久存在两种类别，且识别程度对人脸拍摄角度及拍摄图像精度要求较高，因此本文仅针对正面拍摄角度下，高分辨率无表情人脸的永久存在的皱纹提取算法研究。

拟通过本次毕业设计，学习及理解国内外论文对人脸皱纹检测的算法思想。利用机器学习方法及模型完成人脸区域检测与定位，內脸轮廓提取及特征点检测，根据关键特征点位置及主观观察经验完成皱纹可能存在区域的分割，最终提取皱纹纹理信息。

1.3.2 算法流程框图

人脸皱纹检测可大致分为如下几个大步骤：目标人脸区域检测、人脸特征关键点提取及人脸对齐、对皱纹可能存在区域进行分割、皱纹区域具体纹理区域自动标识。

首先可以从公开的高清人脸图像数据库或者通过外部设备扫描获取目标图像，此步为在输入图像的人脸周围绘制一矩形框表示计算机已检测到人脸；接下来要对人脸进行內脸轮廓提取，这一步通常是和特征关键点提取及人脸对齐一并进行的，通过找到人脸的68特征点描绘人脸的具体轮廓、眼睛、鼻子、嘴的位置轮廓；然后根据特征关键点及主观观察经验进行皱纹可能存在的区域的分割，锁定额头、眼角面颊等可能存在皱纹的区域。最后为对区域内特征进行标识，针对皱纹纹理表现为曲线特征而非斑点状特征、连续的而非一系列断开的曲线段、不太可能相互交叉或相互交叉在小范围内拥挤；本文采用在语义分割领域医学图像方面效果比较好的Unet做皱纹纹理分割。

图1-1 本文主题算法流程框图

1.4 本文结构

本文的文章逻辑结构介绍如下：

第一章 从总体、宏观的角度介绍人脸皱纹检测算法课题的研究背景及意义并从三个细分方向介绍目前国内外的研究现状；

第二章 完成本文中人脸检测算法的场景需求分析、原理分析及工程实现。比较基于OpenCV与基于MTCNN算法人脸检测的性能差异。

第三章 在第二章完成人脸检测的基础上完成进行人脸特征点提取的原理分析及工程实现。

第四章 在前两章进行人脸检测与特征点提取的基础上，根据粗略定位结果制作语义分割的训练数据集。由于语义分割预测对输入图像的特殊性（固定大小的方框输入），人脸皱纹宏观预测还需要在局部预测的基础上进行五官分割筛除、对不规则人脸区域进行边缘处理，局部预测图的拼接及整体优化工作；因此在本文毕业设计阶段中有限工作量的第四章中，仅针对人脸局部皱纹的具体区域做局部预测算法的模型搭建、训练及预测工作进行研究。

第2章 人脸检测算法原理及实现

2.1 自然场景人脸检测

人脸检测是计算机视觉目标检测领域的一个热点研究分支，其目标为给出自然场景下货特殊场景下输入图像或视频流中感兴趣类别物体（人脸）的预测回归框（即范围和位置），输出物体的预测四点坐标形式的边界框，而自然场景下的人脸检测具有以下特点：1）自然场景下的光照强度，图像噪声多变，人脸区域在摄像头中所占比例及位置存在不确定性。2）人脸姿态变化较大，人脸的正脸及侧面，俯仰角给特征提取带来难度，且鼻子、眼睛、嘴巴等关键部位可能会被口罩、眼镜、头发等附属物遮挡。3）人脸目标区域随肤色、年龄、表情及人种变化会产生较大差异。

2.2 本文人脸检测特殊要求

本文中的人脸检测特殊要求主要包括像素（分辨率）要求、人脸拍摄位置（角度及姿态）要求以及人脸表情要求。

在网络人脸数据库如CASIA-WebFace及LFW中，经过区域分割可发现细化至皱纹区域附近时，皱纹纹理已经模糊至不易进行处理，因此应选用具有医疗分析图像背景的高分辨率人脸数据库；

在普通人脸数据库中，存在侧脸，关键部位遮挡等因素的训练数据集虽然对提高人脸识别算法的鲁棒性有帮助，但是在本课题中却会对皱纹检测造成很大干扰，因此本次数据集亦均选用正脸、无遮挡的数据集。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：