摘 要

情绪是我们每个人在日常生活中无可避免都会产生的，它时时刻刻影响着我们的学习、生活的状态。因此人们对情绪的研究一直都在进行着。近些年来，基于机器学习和深度学习算法的各类应用正飞速地发展，正在一点一滴地改变着我们的生活。

由于人们情绪的变化会引起一系列生理上的活动，因此本文提出一种基于穿戴式设备的情绪分类方法，通过提取心电信号的时频特征，再结合不同的特征选择方法，选出最佳的特征子集，然后使用机器学习的方法进行训练，并在验证集中进行验证，得出其对验证集中的生理信号特征进行情绪预测的准确率。使用支持向量机（SVM）和随机森林（RF）两种不同的分类器对提取的心电信号信号特征进行训练，其中使用支持向量机进行情绪分类的平均准确率达到77.3%，而使用随机森林算法进行情绪分类的平均准确率能达到80.6%，为实现人工智能随时随地识别人类情绪提供一种探索方向。

关键词：穿戴式设备；心电信号；机器学习；分类

Abstract

Emotion is inevitable in our daily life. It affects our study and life all the time. So people have been doing research on emotion. In recent years, all kinds of applications based on machine learning and deep learning algorithm are developing rapidly and changing our life bit by bit.

Since changes in people's emotions will cause a series of physiological activities, this article proposes a wearable device-based emotion classification method, by extracting the time-frequency characteristics of the ECG signal, and then combining different feature selection methods to select the best Feature subsets, and then use machine learning methods for training and verification in the verification set to obtain the accuracy of its emotional prediction of physiological signal features in the verification set. Two different classifiers, support vector machine (SVM) and random forest (RF), are used to train the extracted ECG signal features. The average accuracy of emotion classification using support vector machine is 77.3%, while the use of random forest The average accuracy rate of emotion classification by the algorithm can reach 80.6%, which provides an exploration direction for realizing artificial intelligence to recognize human emotions anytime and anywhere.

Keywords: wearable device; ECG; machine learning; classification

目 录

第1章 绪论 1

1.1 研究背景与意义 1

1.2 研究现状 1

1.3 论文的研究内容 2

第2章 基于心电信号的情绪分类研究 3

2.1 心电信号 3

2.2 情绪定义和分类 4

2.3 BioVid Emo DB 数据库 5

2.4 相关算法介绍 6

第3章 信号处理及特征提取 9

3.1 信号预处理 9

3.1.1 预处理 9

3.1.2 信号去噪 10

3.2 特征提取 11

3.2.1 小波变换 11

3.2.2 时域特征 11

3.2.3 频域特征 13

3.3 特征选择 14

第4章 实验结果及分析 15

4.1 十折交叉验证 15

4.2 基于支持向量机算法的分类效果 16

4.2.1 分类器参数的设定 16

4.2.2 分类效果 16

4.3 基于随机森林算法的分类效果 19

4.3.1 分类器参数的设定 19

4.3.2 分类效果 19

第5章 总结与展望 22

参考文献 24

致 谢 26

第1章 绪论

1.1 研究背景与意义

情绪是人们在生活中遇到客观事物时表现出来的态度以及行为反应。情绪的产生过程中会伴随着生理特征、面部表情、肢体动作以及内在感受的变化。随着科技的发展，人们对自身的了解不断深入，情绪识别是当今社会较为热门的一项研究。正面的情绪能够提高人们学习和工作的效率，增强对生活信心，保持乐观的态度，同时积极的情绪能够促进人体的活动，提高人体的机能。而负面的情绪会对人的精神产生负面的刺激，负面刺激的积累有可能会引起精神疾病，例如抑郁症。在这个飞速发展的时代，人们的生活节奏越来越快，人们在不知不觉间会产生很多不良的情绪。因此对人体情绪的分类研究有着很重大的意义。

情绪识别在未来将得到广泛的应用。例如，情绪识别可以应用在未来的人工智能汽车上，通过智能汽车上的情绪识别系统推测驾驶员当前的情绪状态，从而给处于不良情绪中的驾驶员发出警告。情绪识别也可以应用在医疗领域中，可以利用穿戴式设备，实时分析患者的情绪，及时舒缓患者的负面情绪，在一定程度上提高各种疾病的治愈率。此外，情绪识别还可以应用在各种手机应用上，根据当前用户的情绪状态，进行精准地推送，从而提高用户的体验。

1.2 研究现状

目前对情绪进行分类的主要方法有三类。第一类是基于图像对情绪进行识别分类，普遍是通过采集人面部的一些表情动作特征来进行分类处理。第二类是基于语音、语调信号或者基于文本处理对情绪进行识别分类研究。第三类是基于生理信号对情绪进行识别分类研究。第一类和第二类都是通过人体外在的物理信号对情绪进行分类研究，但是这些外在的物理信号存在一定的欺骗性，因为通过后天的学习可以在一定程度上对自己的面部表情或者说话的语音、语调进行伪装掩饰。而第三类情绪分类方法是通过人体的心电信号（ECG）、肌电信号（EMG）、脑电信号（EEG）、皮肤电信号（SCL）等生理信号进行研究分析，由于人体的情绪产生波动时，必然会导致生理信号产生相应的变化，而生理信号是人体自发产生的，人体不能主动对其进行调控，因此，基于生理信号对情绪进行分类更准确，在这方面开展的研究更具有实用价值。

近年来，世界各国的研究人员对于情绪的分类研究不断地突破创新，对情绪分类的准确率也在不断地提高。韩国祥明大学的一个研究团队提出利用卷积神经网络对多种生理信号进行六种基本情绪的分类，通过使用呼吸和心率变异性的各种参数，对情绪的平均识别准确率达到93%以上^[1]。此外，在一些研究中，脑电信号也常常被使用来进行情绪分类的研究^[2、3]，在这一类的研究中对人们生理信号的采集往往需要佩戴较为繁琐的传感器仪器，例如呼吸信号的采集需要人们将呼吸带佩戴于人体的腹部，脑电信号的采集需要在人体脑部安放多个电极，人们佩戴这些仪器并不是特别方便，因此希望能够使用一些更加容易获取的生理信号，例如心电信号来进行分类研究，因为此类信号能够更容易从一些穿戴式设备中获取。此外，相较于深度学习的方法，使用传统的机器学习方法(随机森林、支持向量机等) 能够避免深度神经网络中的如何确定网络结构、过学习与欠学习问题、局部极值问题等，同时在小样本上具有独特的优势。J. A. Dominguez-Jimenez等国外的研究人员提出使用脉搏波信号和皮肤电信号通过传统的机器学习方法对情绪进行分类，使用不同的特征提取技术和不同的分类器进行组合达到对悲伤、幸福和中立三种情绪的最优分类效果，其经过训练的模型对验证集的情绪分类准确率达到100%^[4]。在国内使用生理信号进行情绪分类的研究中，刘月华使用二叉树方法对采集到的20位学生的生理信号进行情绪分类，她也表示传统机器学习的方法比深度学习在一定程度上具有其自身的优势^[5]。因此，本设计是希望能够用使用传统的机器学习方法利用心电信号进行情绪分类。

1.3 论文的研究内容

本设计通过使用机器学习的方法对心电信号的特征进行训练，以达到区分愉悦和悲伤两种不同情绪的目的。首先对BioVid Emo DB数据库中的原始心电信号进行预处理，然后再对预处理过后的心电信号进行离散小波变换提取细节信号和近似信号，并对细节信号和近似信号进行特征提取，然后使用序列前向选择（SFS）和基于树模型两种不同的特征选择方法对特征进行选择，剔除与情绪分类相关性较小的一些特征，再结合支持向量机和随机森林两种不同的分类器对特征进行训练，对愉悦和悲伤两种情绪进行分类。通过不同特征选择方法结合不同分类器对心电信号特征进行训练，找到使得情绪分类的平均准确度达到最高的分类组合。

第2章 基于心电信号的情绪分类研究

本章首先对心电信号的产生及组成成分进行阐释，同时解释了情绪的定义并对二维情绪模型进行简要说明，然后再探索心电信号和情绪之间的关系，从而引出本文中使用的BioVid Emo DB多生理信号情绪数据库，最后对在基于心电信号的情绪分类研究中使用到的两种分类算法的理论知识进行说明。

2.1 心电信号

心脏是大量的心肌细胞组成的一块心肌。除极是心脏收缩时的电活动，复极是心脏舒张时的电活动^[6]。人体的心房、心室能够有节律地进行舒张和收缩，是因为人体在正常情况下，心脏的肌肉细胞会产生一系列的电刺激脉冲。由于这些电刺激脉冲的产生不可避免地会在人体表面的不同部位上形成不同的电位差，因此我们能够在人体的体表中测得这些电位差信号，我们把这些电位差信号称之为心电信号。心电信号在客观上可以体现人类的情绪状况。当人们在遇到如失恋、失去亲人等等的令人悲伤的事情时，会常常用“心如刀绞”、“伤心欲绝”等词语来形容当前的情绪状态。从科学的角度上解释，人们在经历一些情绪上的波动时会影响体内的儿茶酚胺、心肌肾上腺素等生理激素的分泌，而这些激素又会对心肌的正常活动产生影响，因此情绪的变化与心电信号有着密切的联系。