论文总字数：16029字

摘 要

传统教学方式下的师生之间缺乏足够的交流，教学质量不高，而深度学习近年来在各个领域都有着杰出的表现，因此，本文基于深度学习方法，对学生上课时的表情进行识别，实现课堂氛围分析模型，帮助教师掌握学生学习状态。本文的主要研究内容如下：

1. 使用Tensoflow平台和Keras等工具包构建了一个10层的卷积神经网络用于静态图像的人脸表情识别，包括一个输入层、3个卷积层、3个池化层、两个全连接层和一个输出层；
2. 下载了常用的公开人脸表情数据集比如FER2013、Cohn-conade等，并进行了预处理，将原数据集存储格式如csv等转换成模型可直接使用的TFRecord格式；
3. 在不同的人脸表情数据集上对模型进行了训练，并通过平均识别率和损失值曲线进行了评估；
4. 根据现有的一些热门卷积神经网络比如VGGNet和GoogLeNet，改进了自己设计的卷积神经网络，并与传统手工提取特征算法进行了对比。

评估结果显示改进后的卷积神经网络模型在CK 数据集上的识别率最高达到了98.31%，对比于传统手工提取特征方法，使用深度学习方法明显效果更好，证明了本文方法的有效性。

关键词：深度学习；卷积神经网络；表情识别；课堂氛围

Abstract

Under the traditional teaching method, teachers and students lack sufficient communication with each other, and the teaching quality is not high. In recent years, deep learning has made outstanding achievements in various fields. Therefore, based on the deep learning method, this paper identifies students' expressions in class, realizes classroom atmosphere analysis, and helps teachers master students' learning status.The main research contents of this paper are as follows:

(1) a 10-layer convolutional neural network was constructed for facial expression recognition of static images using tools such as Tensoflow platform and Keras, including an input layer, three convolutional layers, three pooling layers, two fully connected layers and one output layer.

(2) common public facial expression data sets, such as FER2013 and cohn-conade, were downloaded and preprocessed;

(3) the model was trained on different facial expression data sets and evaluated by average recognition rate and confusion matrix;

(4) based on some popular existing convolutional neural networks, such as VGGNet and GoogLeNet, I improved the convolutional neural network designed by myself.

The evaluation results show that the improved convolutional neural network model has the highest recognition rate of 98.31% on CK data set. Compared with the traditional manual feature extraction method, the deep learning method is obviously more effective, which proves the effectiveness of the method in this paper.

Key Words：Deep Learning；Convolutional Neural Network；Facial Expression Recognition; classroom atmosphere

目录

第1章 绪论 1

1.1 研究背景与意义 1

1.2 国内外研究现状 1

1.2.1 传统表情识别方法 1

1.2.2 深度学习表情识别方法 2

1.3 本文主要研究内容 3

1.3.1 下载人脸表情数据集并进行预处理 3

1.3.2 搭建深度学习模型 3

1.3.3 使用模型进行课堂氛围分析 3

1.3.4 改进深度学习模型 4

1.3.4 小结 4

1.4 本文组织结构 4

第2章 人脸表情数据集 6

2.1 数据集信息介绍 6

2.1.1 FER2013数据集 6

2.1.2 The Extended Cohn-Kanade数据集 7

2.1.3 JAFFE数据集 7

2.1.4 小结 7

2.2 数据集预处理 8

2.2.1 将csv文件转换为TFRecord文件 8

2.2.2 将png图片转换为csv文件 9

2.2.3 将tiff文件转换为csv文件 10

第3章 课堂氛围分析模型设计 11

3.1 深度学习模型的构建 11

3.1.1 设计卷积神经网络 11

3.1.2 使用Tensorflow与Keras构建模型 12

3.2 模型训练与保存 14

3.3 模型的使用测试 16

第4章 课堂氛围分析模型的评估 18

4.1 各类表情数据集 18

4.1.1 不同数据集的测试结果 18

4.1.2 测试总结 21

4.2 不同卷积神经网络 22

4.3 与传统特征提取方法对比 22

第5章 总结与展望 24

5.1 总结 24

5.1.1 问题与解决 24

5.1.2 改进 24

5.2 展望 25

参考文献 27

第1章 绪论

1.1 研究背景与意义

在传统教学方式下，一名教师在讲台上授课，十几个学生在台下听课，很明显教师无法同时了解到所有学生上课时的学习状态。要么抛出一个问题，希望学生踊跃回答；要么就重点关注某几个学生。如此一来，教师往往无法确知自己的授课方式效果如何，难以因材施教。

我们一般是如何获取学生上课时的学习状态呢？基本是通过观察学生的面部表情来判断。如果大部分学生上课时一直都露出开心的笑容，说明这节课的课堂氛围很好，教师的授课方式非常优秀；而一旦大量学生上课时露出厌恶或者生气的表情，说明他们对于教师的授课很不满，课堂氛围非常糟糕。人工获取所有学生的表情自然不太可能，而随着深度学习技术在各领域都取得了不小的成功，将其应用于人脸表情识别领域也是大势所趋。

本文利用深度学习技术，通过判断学生们上课时的表情来分析课堂氛围，帮助教师捕获学生们的学习状态，使得教师能根据每一个学生的状态给出适合的建议与帮助，如此促进课堂教学质量的提高。同时，也有利于教务人员对教师授课质量的考核与评估。

1.2 国内外研究现状

1971年，心理学家Ekman与Friesen的研究最早提出人类有六种基本情感，分别是愤怒（anger）、开心(happiness)、悲伤 (sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)[^[1]]。1978年，Ekman与Friesen等人又提出了一个面部动作编码系统（FACS），该系统将人脸分为44个动作单元，这些单元通过不同的组合构成不同的人脸表情。现如今，表情识别一般的处理流程如下：

图1.1 表情识别一般处理流程

根据识别图片的不同，表情识别一般分为静态图像表情识别和视频序列表情识别，本文主要研究静态图像的表情识别。

1.2.1 传统表情识别方法

传统的静态图像表情识别研究主要集中在手工提取特征，特征提取方法分为几何特征和纹理特征提取。几何特征重点关注不同面部特征点之间的几何关系，常见的几何特征提取方法包括主动形状模型和活动外观模型。1995年，Cootes等人提出了主动形状模型方法[^[2]]，随后的1999年，Cootes等人改进了主动形状模型并提出活动外观模型方法[^[3]]。而纹理特征提取方法则使用了全部的人脸图像信息，常见的算法一般有Gabor小波变换和局部二值模式（LBP）等。

传统表情识别中最常见的特征降维方法应该就是主成成分分析法（PCA）了，主成成分分析法可以将高维特征映射到低维，从而实现降维，减少计算量。最后传统特征分类算法一般是使用支持向量机法（SVM）。2009年，王黎艳基于Gabor小波变换和PCA提取表情特征，最后使用SVM分类器进行分类，在JAFFE数据集中最高取得97.6%的识别率[^[4]]。2015年，孙波等人基于对局部保留投影（LPP）等张量分解方法完成表情识别，并且已将其方法应用于一个师生情感交互子系统上[^[5]]。

请支付后下载全文，论文总字数：16029字