摘 要

近年来，随着生活水平的逐渐改善，人们对电的需求急剧增加，从工业生产渗透到日常生活中的方方面面。与此同时，发电厂事故也频繁发生，造成巨大损失。然而，在众多的发电厂事故中，人为误操作一类的事故占比很大。由于近年来人脸表情识别处于研究热潮，而且在公共交通系统、心理学、医学甚至商业领域都得到了广泛的关注及应用，因此为了减少发电厂人为误操作此类事故的发生，将面部表情识别系统运用到识别工作人员在上工时的表情状态是一个很有意义的选择。

本文从回顾人脸识别的历史开始，然后到表情识别的研究，再到国内外的研究状况，最后到整个人脸表情识别系统的实现过程，一步一步清晰地阐述了将此系统用于减少发电厂工作人员误操作的事故发生频率的意义和价值所在。

重点研究了图像的预处理、人脸的特征提取和表情分类三大部分。图像的预处理阶段，主要工作是用直方图均衡化对图像灰度归一化，使用来做实验的图像可观性更好，对比度更高。特征提取阶段则是用的最新算法STASM，是ASM算法的改进版，对人脸特征点的提取特别精准和快速。表情分类阶段对经典分类算法进行了简要的介绍，重点阐述了本课题选用的分类方法以及是如何用程序去实现的。实验最终成功实现对发电厂工作人员的表情识别，达到了理想的效果。

最后，提出了本课题的面部表情识别中存在的一些问题和没有考虑到的一些情况，并且对面部表情研究的未来发展趋势提出了自己的见解与展望。

关键词：发电厂事故；人为误操作；表情识别；特征提取；表情分类

Abstract

Expectation and requirement of electricity for industry and civil use have been increased rapidly along with the improvement of people’s living standard in recent years. Meanwhile, the power plant accidents have occurred more frequently as well, which results in huge lost. However, human misoperation plays a major role in them. The facial expression recognition technology becomes a hot topic in research and its widespread application in public transportation, psychology, medical science and even commercial area, which makes it reasonable to apply the technology and monitor the staff’s status to prevent the power plant accidents caused by human misoperation.

This thesis illustrated the meaning and value of reducing the accidents described above by applying the facial expression recognition system in the following order: history of facial recognition, research of facial expression recognition, domestic and international research trend, the process of the system.

The research mainly includes three parts: pre-processing of the image, feature extraction of human’s face and expression classification. During the pre-processing of the image, Histogram Equalization was used to complete Image Grayscale Normalization, which improved the observability of the image and increased Image Contrast. During the feature extraction of human’s face, the latest algorithm STASM(ASM’s improved version) was used to extract the features of human face precisely and quickly. During the expression classification, the classic classification algorithms were introduced briefly, furthermore, the expression classification selected for this object and how to program were illustrated. The experiment result shows that the power plant staff’s facial expression was recognized successfully in the end.

Last but not least, some problems and unexpected situations were identified in this thesis. My understanding and outlook of the future of the facial expression recognition were presented as well.

Key words：Power Plant Accident；Human Misoperation；Expression Recognition；Feature Extraction；Expression Classification

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1研究背景及意义 2

1.2国内外研究情况 2

1.3选题意义及主要研究内容 4

第2章 面部表情识别原理 5

2.1面部表情识别的理论与基础 5

2.2 面部表情识别系统的总体结构 5

2.3面部表情识别研究中的重难点 7

2.4 本章小结 8

第3章 人脸表情图像预处理 9

3.1图像灰度归一化 9

3.1.1灰度直方图 9

3.1.2直方图均衡化 9

3.2人脸检测 11

3.2.1 人脸表情数据库 12

3.2.2 基于Haar特征的人脸检测 13

3.2.3 基于Ada Boost的统计训练 17

3.3 本章小结 18

第4章 基于STASM的人脸表情图像的特征提取 19

4.1 ASM算法 19

4.2 改进算法STASM 21

4.2.1 STASM简介 21

4.2.2 STASM的库函数 22

4.3 人脸图像的表情分类 23

4.3.1 表情分类的方法研究 24

4.3.2 表情分类的具体实现 24

4.4 表情识别的应用效果 26

4.5 本章小结 29

第5章 总结与展望 30

参考文献 31

致 谢 33

第1章 绪论

随着社会经济的飞速发展，生活水平的不断提高，人类对电的需求已经从工业生产渗透到日常生活的方方面面。就我国目前的经济水平、社会发展需求和对能源的重视程度来看，节能环保是被高度提倡的。发电厂，作为电力系统中电脑输出的重要一环，保证其安全、稳定是重中之重。而近年来，世界各地却频繁发生各种各样的发电厂事故^[1]，造成不必要的经济损失和庞大的人员伤亡，同时给环境带来巨大伤害。因此，为使电网系统安全稳定运行的同时保持节能环保，降低发生大面积事故的风险，意义重大。在发电厂事故中，很大一类属于人为操作的失误^[2]，例如误接线、误整定和误碰等等。而导致这种人为误操作的原因有很多种，其中由疲劳引起的打瞌睡或走神恍惚等注意力不集中的情况占到了多数。疲劳是人在进行长时间工作后产生的困顿低沉的精神状态，表现在表情上多为闭眼或张嘴巴。虽然人体出现疲劳是一个正常的生理现象，但是发电厂工作人员这一特殊群体的操作时常伴随着危险因子，疲劳可能会引起严重的后果，甚至危及生命。疲劳会降低操作人员的判断能力，危及操作人员生命与发电厂生产安全。故而，如何降低工人误操作导致的事故发生频率开始成为发电厂研究热点之一。通过对工人的面部表情进行分析，将表情与疲劳等情绪状态联系在一起，并且及时给出预警提示，进而很大程度上降低由误操作引起的各种事故。综上所述，研究应用于发电厂工作人员的人脸表情识别系统可以为发电厂节约空间成本和经济成本，符合节能环保精神，具有重大的实践价值和技术经济性能^[3]。

面部表情是一种脸部皮肤的肌肉运动，这种肌肉运动可以将情绪状态传递给观察者。人脸最具情感表现力的地方就是眼睛，人的喜怒哀乐等很多情绪都是可以透过眼睛流露出来的。而嘴部表情主要体现在口型变化上，例如伤心时嘴角下撇，欢快时嘴角向上成弧度提升，这些都是很明显的变化，可以作为面部表情识别的标志。因此，在面部表情中，眼睛旁边和嘴巴旁边的肌肉群是最活跃的部分^[4]。一般来说，面部各个器官是一个相互联系彼此依存的有机整体，面部表情通过这眼部、颜面和口部这三部分肌肉的变化来传递人的情绪状态，将其应用于发电厂中识别工作人员的表情进而与情绪状态相联系起来，从而降低事故发生率，无疑是一项极具实际意义的应用。

到目前为止，人脸表情识别已经发展成为一个完整的体系，其主要步骤为图片采集、图像预处理、特征提取和表情分类。不同于人脸表情识别中广泛的图像材料来源，表情识别更专注于面部细微的表情变化，因此常采用专业的人脸表情图像库来进行研究。其次，图像预处理则主要是对图片识别率和对比度的提高，力求为后期提取特征和判断表情提供最优化的图片样本。最后，最重要的环节便是特征提取和表情分类两个步骤，同时也是表情识别的核心。

本课题拟通过对工人的面部表情进行识别与分析，将表情与其情绪状态进行合理匹配，并且通过预警提醒工人，从而达到减少此类事故发生的目的，以促进发电厂工作更良好的运转。

1.1研究背景及意义

在丰富多彩的社会生活中，人际沟通不可或缺，而人脸表情在沟通过程中起着十分重要的作用。根据心理学家的研究，当人们在面对面交流时，在所有传递的信息中，由人脸表情变化所传递的信息占到了57%^[5]。人脸上不同的部位即使发生了细微的变化，都可以呈现出丰富的表情，因此表情在某种程度上比语言更具有表现力，是信息的主要载体，同时也是鉴别人类情感真实状态的主要标志。

人脸作为图像和视频中的视觉对象之一，在应用数学、计算机视觉、图像处理、多媒体技术、模式识别和人工智能等研究领域占据着非常重要的地位。然而，由于人脸的表情自身的特殊性、复杂性和多样性，使其在众多领域中面临巨大挑战，同时也是它成为研究热潮的重要原因。人脸表情识别作为一个典型的图像处理与模式识别结合、理解与分类计算结合的综合问题，在许多领域有着潜在的应用价值。其中，最具有意义的一个突破就是促进心理学与计算机视觉、人机交互等学科的交叉融合与发展。心理学家艾克曼大半生都在钻研面部表情与内心情绪的关系，他和同事们拍摄了大量的面部表情与内心感情不一的影片，共有数千个主题，然后精确地分析每个主题中，人物面部哪些肌肉会发生挤压，挤压的激烈程度又如何，再一一与内心感情对照，结果发现许多微妙的象征，比如仅仅微笑他就可以分为50个种类。由此可见，人的表情是特别微妙复杂的，同时也使得人脸表情识别成为现阶段一个具有重要意义的研究课题。其次，在安全驾驶方面，表情识别系统也有很重要的应用^[6]。通过摄像头对驾驶人员面部表情特征的实时捕获，解析其当前的驾驶状态，一旦发现司机有的驾驶状态存在疲劳的可能性，后台技术会立即启动一系列干预手段来警示驾驶者，以此预防事故的发生^[7]。另外，人脸表情识别目前在临床医疗领域中也有着较为广泛的应用。病人在承受身体或心理上的苦痛时，脸上会表现出相应的表情，系统可依据此类表情的特征来判断患者的身体状况或治疗情况。最后，人脸表情识别还在人机交互、机器人技术以及虚拟现实技术甚至商业等诸多领域中有着越来越先进的应用。

1.2国内外研究情况

随着人工智能的发展和计算机技术的不断增强，人脸表情识别作为一个人机交互的重要接口，应用前景十分广阔，自然吸引了大量学者对其进行研究。为更好地对人脸识别研究的历史和现状进行阐述，以下将按照研究内容、技术方法等方面大体划分为三个时间阶段。第一阶段可以追溯到上世纪70年代前后，这一阶段主要集中在心理学和生物学的研究上，因为这两门学科是整个人脸表情识别体系的根基。当然，这一阶段的研究也发展到了人脸识别的问题上，只不过仅仅是停留在模式识别的范畴内，，所采用的主要技术方案是基于人脸几何结构特征(Geometric feature based)的方法。该方法集中体现在人们对剪影的发掘，和对面部剪影曲线的结构特征提取与分析方面进行的大量研究。此外，人工神经网络也一度被应用于人脸识别问题中。总体而言，这一阶段是人脸识别研究的初级阶段，虽然并没有产生非常重大的成果，但却是人们对人脸识别的认识由浅入深的打基础阶段。第二阶段为1991~1997年期间，这一阶段尽管时间短暂，但却是人脸识别研究的黄金阶段，堪称硕果累累。不仅研究出了若干代表性的人脸算法，更是出现了最为著名的Visionics(现为Identix)的Facelt系统。“特征脸”方法，由MIT媒体实验室的特克和潘特提出，毫无疑问是这期间最负盛名的人脸识别方法，后来出现的很多人脸识别技术都在一定程度上与特征脸有关系。这一时期另一重要成果是贝尔胡米尔等提出的 Fisherface 人脸识别方法，该方法首先采用主成分分析法^[8]（Principal Component Analysis，PCA，亦即特征脸）对图像表观特征进行降维。PCA算法的核心就是用较少的几个综合指标来代替原来较多的指标以达到给庞大数据降维的目的，是比较经典的处理高维图像的算法。在此基础上，又发展出了线性判别分析（Linear Discriminant Analysis, LDA）的方法，用LDA变换降维后的主成分以获得“尽量大的类间散度和尽量小的类内散度”。然后接下来的发展方向聚焦于非理想采集条件下的识别，例如动作姿态、光照条件、遮挡物、模糊等等。此外，在这一时期内，柔性模型(Flexible Models)是人脸建模方面的重要成就，此模型包括主动形状模型 (Active Shape Model,ASM) ^[9]和主动表现模型 (Active Appearance Model,AAM) ^[10]，关于这两个算法将在后面的章节进行详细的介绍。最后到第三阶段，1998年至今，由于主流的人脸识别技术在动作姿态、遮挡、光照等非理想采集条件下的鲁棒性较差，因此基奥盖蒂斯等人提出了基于光照锥(Illumination Cones) 模型的多姿态、多光照条件人脸识别方法。之后，又进一步发展出了基于3D变形(3D Morphable Model)模型的多姿态、多光照条件的人脸图像分析与识别方法，该方法的独特之处在于它的3D形状和纹理统计变形模型，同时还模拟图形学对图像建模，从而帮助对人脸图像的识别。

目前，在国内方面，清华大学、中科院、北京航天航空大学等都有人员从事人脸表情识别的研究，而且北航和中科大都创作了自己的表情数据库。此外，人脸识别中的经典算法特征脸已被顺利运用于人脸表情识别中，把静态图像集作为训练样本，将表情投影到不同空间，用距离大小判断表情。在国外方面，日本、美国、法国、德国和印度等国家都有进行研究。其中，麻省理工学院媒体实验室提出的情感计算这一全新的研究方向希望通过赋予计算机识别、理解和表达来建立和谐的人机交互环境，使计算机具有更全面的智能^[11]。而我国在情感信息处理方面也逐步展开了研究，1999年，国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目^[12]。2003年，在北京举办的第一届中国情感计算与智能交互学术会议上展示的国内近几年在情感计算领域的研究成果显示，我国这方面在一定程度上填补了一些空白。

1.3选题意义及主要研究内容

本文针对近些年频发的由于人为误操作引起的发电厂事故这类问题，提出了一种基于人脸表情识别系统的全新解决方案。在该方案下，本文分析了发电厂工作人员上工的实际情况，发现解决问题的突破口在于工人们作业时的精神状态，外在表现即反映到表情上。因此，可以通过在作业环境中安装摄像头，实时捕捉并且识别到工人们上工时的面部表情，一旦出现疲劳、打瞌睡或恍惚走神的表情，系统就会立刻发预警提醒，安装此系统后，可以在一定程度上避免人为误操作的发生。

本文针对整个人脸表情识别系统做出了分析与设计，最后得出了总体框架，然后按照流程图的顺序一步一步地进行研究。课题的重点部分为图像预处理、特征提取和表情分类三大模块，深入对相关算法进行研究，熟悉在Visual Studio 2017环境下用C 语言进行编程。本文研究的主要内容如下：

1. 对OpenCV环境的熟悉；
2. 分析了直方图均衡化的原理，并用其处理实验样本，实现图像的灰度归一化；
3. 研究了特征提取算法ASM及其中涉及的核心算法SIFT的数学原理，并进一步研究了ASM算法的改进版STASM算法；
4. 经过对ASM算法和STASM算法性能的比较，最终选用高速度高精度的STASM算法，并在Visual Studio 2017环境下实现了STASM算法对特征点的提取；
5. 针对表情分类，提出了新的分类方法，以五官自身的距离以及五官之间某些特定的距离比例为判断依据，并在程序中运用OpenCV中FacePoints、Point2f等相关的类实现判断表情的功能。

第2章 面部表情识别原理

2.1面部表情识别的理论与基础

表情，意为表达感情、情意，是表现在面部或姿态上的思想情感。人类有三种形式的表情：脸部表情、语言的声调表情和身体的动作姿态表情，而面部表情和眼神都属于体语。达尔文于1872年发表的《人类与动物的表情》一书，书中认为，表情是一种人类与动物在进化过程中都会遗留下来的适应性动作^[13]。在原始社会中，表情和动作与人类的生存紧密相关，例如急促呼吸的时候鼻孔张大，是为了吸入更多的氧气以增加体力，双眼睁大是为了看得更清晰。直至今天，这些表情和动作仍保留着与原始大部分的相似性，尽管意义可能有些改变，重要的是证明了表情和动作是可以保存并遗传给后代的，进而成为人们的潜意识中的习惯动作，进而说明人的表情和动作与人的精神状态有着紧密联系。

在介绍面部表情识别的原理之前，我们需要理解表情在脸部的表现形式。表情是一种脸部皮肤的肌肉运动，可以表达出相应的精神状态。因此人脸识别研究的最初期就提出了用来描述面部肌肉运动的方法，即人脸运动编码系统(Facial Action Coding System,FACS)。这个编码系统里面的最小基本单元叫做基本形变单元(Action Unit,AU)，是根据面部肌肉的类型和运动特征定义的。既然AU是构成面部编码的基本单元，那么人脸面部的各种表情一定能够分解对应到各个AU上来。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：