摘 要

本文就智能设备内置传感器与麦克风对语音信号产生的响应信号进行了相似性度量的研究，针对传感器与麦克风采样频率不同而难以进行相似性度量的问题，进行了多种方案设计，并在Matlab上进行仿真研究。初步研究后发现，加速度传感器响应与麦克风响应的信号确实有相似处，可以进行相似性度量。

在进行仿真后发现，信号重采样法优于For循环重采样法优于MFCC特征提取法，得到的传感器与麦克风二者的相似度值更加显著，而DTW法与曲线拟合法均不适用于本文。除此之外，采用曼哈顿距离与余弦距离进行相似度刻画较欧式距离效果更好。

因此就仿真结果而言，智能设备内置传感器与麦克风对于同一段语音产生的响应是有一定相似度的。则在一定程度上，智能设备内置传感器可以辅助麦克风进行语音识别，从而增强语音识别可靠性，同时降低语音用户身份认证安全风险。

关键词：相似性度量；传感器；Matlab仿真；重采样；MFCC特征提取；DTW；

ABSTRACT

In this paper, the similarity measurement of the response signals generated by the built-in sensors and microphones of smart devices is studied. Aiming at the problem that it is difficult to carry out the similarity measurement due to the different sampling frequencies of the sensors and microphones, a variety of schemes are designed and simulated on Matlab. After preliminary study, it is found that the acceleration sensor response and the microphone response signal do have similarities, which can be used for similarity measurement.

After the simulation, it is found that the signal resampling method is superior to the For loop resampling method and the MFCC feature extraction method, and the obtained similarity value of the sensor and microphone is more significant, while the DTW method and curve fitting method are not applicable to this paper. In addition, the similarity of Manhattan distance and cosine distance is better than that of Euclidean distance.

So in terms of simulation results, for the same period of speech production, there is some similarity among intelligent device built-in sensors response and the response of the microphone. Thus, intelligent device built-in sensors can assist the microphone for voice recognition, thereby enhancing speech recognition reliability, and reducing voice user authentication security risks.

Keywords: Similarity measurement; Sensor; Matlab simulation; Resampling; MFCC feature extraction; DTW (dynamic time warping);

目 录

摘 要 I

ABSTRACT II

第一章 绪论 1

1.1 课题研究的背景、目的及意义 1

1.2 国内外课题的研究现状 1

1.3 本文研究的主要内容 2

第二章 麦克风与传感器信号相似性度量的框架 3

2.1 研究过程框架与说明 3

第三章 导入与处理数据算法原理 4

3.1 导入数据 4

3.2 数据处理算法 4

3.3 加速度传感器数据与麦克风信号的波形比较 5

第四章 方案设计 7

4.1 信号重采样法 7

4.1.1 信号重采样法思路 7

4.1.2 For循环重采样法 7

4.1.3 Resample重采样法 9

4.2 MFCC特征提取法 10

4.2.1 MFCC特征提取法思路 10

4.2.2 MFCC特征提取流程 10

4.2.3 MFCC原理 11

4.3 基于MFCC特征提取的DTW法 15

4.4 曲线拟合法 18

第五章 相似性度量 20

5.1 相似性度量基本原理 20

5.2 距离函数原理 21

5.2.1 欧式距离原理 21

5.2.2 曼哈顿距离原理 21

5.2.3 余弦距离原理 22

第六章 方案实验结果分析 23

6.1 总实验结果 23

6.2 实验结果分析 24

第七章 总结与展望 26

7.1 论文总结 26

7.2 未来展望 27

参考文献 28

致 谢 30

第一章 绪论

1.1 课题研究的背景、目的及意义

语言作为人类区别其它动物种的关键特征之一，其本质语音信号是人与人之间相互交流信息的重要媒介。自迈入21世纪信息时代以来，语音信号处理技术正在稳步发展，并且已与多种学科紧密联系起来。语音信号处理的主要应用有：语音识别、说话者识别、语音信号合成、语音信号增强等。而如今，语音识别系统也正在智能设备上广泛使用，且成为研究的一大热门。

对于语音控制系统而言，智能设备的语音控制系统在收到语音信号并需要根据语音信号完成相关功能之前，需要对发出语音的用户身份（ID）进行安全认证，这是为了保障用户数据的安全。传统上，语音控制系统都是从麦克风直接采集到的语音信号当中提取特征信息用于比较认证，但是这种方式容易受到环境噪声或是一些虚假的、错误的用户语音的影响，因此这并不能作为唯一的认证方式来确保用户身份的安全。所以在实际应用场合中，语音特征往往只是被当作一种辅助的方法与指纹、密码等其它安全认证方式协同使用。

考虑到大多数智能设备中都内置有传感器用于响应外部激励来实现某些特定功能，使用加速度传感器采集用户语音信号激励下的响应数据，通过适当处理，并将其与传统麦克风采集到的语音信号进行比较。倘若比较结果得到信号数据相似度很高，则可以考虑在安全认证用户身份的时候增加一种新的认证方式——加速度传感器识别语音信号，从而提高实际使用环境下的可靠性与高效性。

1.2 国内外课题的研究现状

国内外对于智能设备中的传感器应用的研究已有多年，但普遍利用智能设备中的加速度传感器来进行识别人体动作行为，例如手势识别^[1]、运动识别^[2][3]等。具体应用例如手势交互^[4]、人体能耗监测^[5][6][7]、人体运动状态检测^[8][9][10]、驾驶行为检测^[11]等。

在语音交互方面，语音识别系统的一个重要的发展方向是小型化、便携式语音产品的应用，例如无线手机上的拨号、汽车设备上的语音控制、智能小玩具、家电遥控等方面的应用，这些应用目前正在被广泛研究^[12]。目前语音识别系统的语音信号采集方式普遍为麦克风采集，利用其它方式进行采集语音信号的研究尚无明显进展。在语音识别算法上，利用基因算法训练连续隐马尔柯夫模型的语音识别方法现已成为语音识别的主流技术，该方法在语音识别时识别速度较快，也有较高的识别率^[13]。另外，在此之后人们发现人工神经网络具有区分复杂的分类边界的能力，十分有助于模式划分，同时基于反向传播算法（BP算法）的多层感知神经网络的研究也逐渐成熟。而21世纪下，国外行业巨头开始着手开发语音识别技术，语音助手开始应用在移动设备上，如Siri和GoogleVoice，移动设备用户可以使用这些系统在移动设备上轻松地执行几个命令。但据国外相关文献资料，这一便利或将导致一些漏洞，使得黑客可以很容易地访问移动设备数据和功能^[14]。因此就用户数据安全方面，人们对如何安全地使用语音控制系统仍有待研究。

1.3 本文研究的主要内容

本文的研究拟尝试设计多种方案，使用不同的算法来测算智能设备内置传感器和麦克风这两种器件采集到的语音激励下的响应信号之间的相似度，通过比较不同算法下得到的相似度大小值来衡量算法优劣、算法可行性与最佳的相似性度量法。

由于智能设备的内置传感器众多，且采集到的数据以txt文本形式杂乱的保存，则首先需要设计相应的算法将传感器采集到的数据从txt导入Matlab中，再从中提取我们需要的加速度传感器数据，并对所得数据进行相应处理^[15]。

由于智能设备内置传感器的采样频率远远低于麦克风的采样频率，这就导致对于同一个语音信号激励，在相同时间长度下，内置的加速度传感器采样点数会远远少于麦克风采样点数。而倘若要比较两个信号之间的相似度，通常来讲两个信号的采样点数必须相同，否则采样点无法一一对应，相似度计算也无法进行；但对于不同采样点数的两个信号进行相似度距离计算也是有其它办法的，例如本文将提到的动态时间规划（DTW）算法。本文设计了算法解决因采样频率不同导致传感器响应信号与麦克风响应信号难以匹配并计算相似度的问题，再计算了这些算法下这两种信号的相似度并进行比较分析。

第二章 麦克风与传感器信号相似性度量的框架

2.1 研究过程框架与说明

整体研究框架可分为以下几步：

1. 采集并存储数据。指将因语音激励产生的传感器与麦克风响应信号数据，分别保存为.txt格式文件与.wav格式文件；
2. 导入并处理数据。指将传感器的txt数据文件和麦克风的wav数据文件导入Matlab，其中传感器的txt数据文件需通过算法筛选出加速度传感器的那部分数据并保留；
3. 方案设计。具体可分为四种方案：方案1为信号重采样法，方案2为梅尔频率倒谱系数（MFCC）特征提取法，方案3为基于MFCC特征提取的DTW法，方案4为曲线拟合法；
4. 相似性度量。相似性度量由距离函数确定，本文采用了三种距离函数：欧式距离(Euclidean Distance)、曼哈顿距离(Manhattan Distance)与余弦距离(Cosine Distance)；

整体框架图如下图2.1。

图2.1 框架图

第三章 导入与处理数据算法原理

3.1 导入数据

由于本文基于的是Matlab算法，因此需要将数据导入Matlab才能进行后续研究。而传感器采集到的数据是以txt格式保存的文本文件，打开后可以发现文本当中数据十分杂乱，无法直接找到我们所需要的加速度传感器数据。因此可以考虑先将传感器数据导入到Excel当中，利用Excel表格的排版功能先将数据整齐排版，接着再进行后续操作。与传感器采集到的数据不同，麦克风采集到的数据就十分容易操作了，麦克风采集到的语音信号响应为wav格式保存的波形文件，直接利用Matlab自带的audioread函数进行读取即可，读取格式为：[x Fs]=audioread(‘文件路径’)；其中响应信号被保存在矩阵x当中，Fs为采样频率。

3.2 数据处理算法

将传感器数据导入到Excel中后，可以发现纵列B为各个传感器名称，纵列C~H为传感器测得的数据，如图3.1。

图3.1 传感器Excel数据图

再将Excel数据利用Matlab自带的xlsread函数导入到Matlab当中，导入格式为[data,textdata,A]=xlsread(‘文件路径’)；其中矩阵data保存着整个数据，但是第二列由于是文本，因此显示NaN（Not a number），数组textdata仅保存第二列的文本，数组A保存着整个数据与文本。

ACC为accelerator的缩写，即为加速度传感器。由于是三轴加速度传感器，则测得的数据有三组，分别对应x轴、y轴与z轴，所以只需要提取出所有行的第3~5列，满足判断条件：第二列为ACC，即可。再将数组转置成矩阵则得到了x、y、z轴的加速度传感器数据，其中z轴由于有重力加速度的干扰，数值上必须减去9.8才为激励产生的实际响应数据。

3.3 加速度传感器数据与麦克风信号的波形比较

将三轴的加速度传感器数据进行幅值归一化后，画在同一张图上，见下图3.2。

图3.2 xyz三轴加速度传感器数据波形图

将麦克风采集到的语音信号进行幅值归一化后，绘出下图3.3。

图3.3 麦克风采集到的语音信号波形图

从图3.2与图3.3中，可以发现xy轴加速度传感器数据波形近似与噪声波形，与麦克风波形显然无明显相似之处，z轴加速度传感器数据波形与麦克风波形似乎有相似之处，而且波峰均有10处。

则可以舍去xy轴加速度传感器采集到的数据，仅采用z轴加速度传感器数据与麦克风采集到的语音信号进行相似性度量研究。

第四章 方案设计

4.1 信号重采样法

4.1.1 信号重采样法思路

在将麦克风响应信号与z轴加速度传感器响应信号数据导入Matlab后，可以发现麦克风响应信号的采样点数Lx约有50万，而z轴加速度传感器响应信号的采样点数LA仅仅只有1万多，将信号采样点数相除，即为两者的采样频率之比Lrate。又已经知道麦克风响应信号采样频率Fs为8000Hz，则利用公式F0=Fs/Lrate，则可以得出加速度传感器的采样频率约为220Hz，这与实际的采样频率相符。

想要将两组信号数据长度保持一致进行相似度衡量，则可以考虑将采样数据较多的麦克风响应信号进行适当筛选抽取处理，也可以考虑将采样数据较少的加速度传感器响应信号进行适当的内插值处理，这两种方法都能使得处理后的麦克风响应信号数据长度与z轴加速度传感器响应信号的数据长度相同。经过变换后的响应信号采样点数改变，而采样时间不变，则可以把这个称为是信号重采样。

由于加速度传感器的采样点数较少，麦克风采样点数较多，这意味着加速度传感器的响应信号所带有的信息量少于麦克风响应信号。在这个条件下，抽取法意味着保留加速度传感器响应信号的全部信息，而将麦克风响应信号的众多信息进行筛选抽取，取出部分信息；内插法则意味着保留麦克风响应信号的全部信息，而向加速度传感器响应信号中加入信息。

一般来说，内插法有两种基本方法，即平均插值与补零插值。平均插值是在相邻两点中插入它们的平均值，考虑到响应信号幅值有正有负，相邻两点之间的动态趋势因采样频率较低而无法估计，则单单连续插入相邻两点的平均值并不合适。补零插值就更加简单了，在相邻两点之间插入若干幅值为零的采样点，这种方法实际上只是单纯的起到了变频的作用，虽然频谱结构不变，但是时域上的波形变化会很大，因此也并不合适。

综上，要想经过适当变换，使得两个响应信号数据长度相同，则应当使用抽取法。

4.1.2 For循环重采样法

由于麦克风与加速度传感器都是对同一段语音信号在同一段时间内作出了响应，因此，在同一个时间点上，麦克风的响应与加速度传感器的响应应当是有相似之处的。而由于抽取法保留的是全部加速度传感器的响应信号信息，则需要找到所有加速度传感器响应信号点所对应的时间点序列Ta。时间点序列Ta中的时间点应当满足

(4.1)

接着我们只需要找到时间点序列Ta对应下的麦克风传感器响应信号采样点就行了。而麦克风传感器响应信号采样点所对应的时间点序列Tx，当中的时间点满足

(4.2)

显然时间点序列Ta的长度是Tx的Lrate倍，也就是采样频率比。

我们可以知道，与都是第一个采样点，则它们是相对应的；之后需要找到与相对应的，可以找到，而n必须是一个整数，则对n取最相邻的整数；以此类推，找出所有与相对应的。在这之后，将找到的所有拿出来得到一个新的序列，那么新序列的长度就应当与加速度传感器响应信号数据长度相同了。

为了找到，我们需要一个For循环。

作出频谱图观察麦克风响应进行抽取后与z轴加速度传感器响应信号的频谱图，如下图4.1。将频率归一化之后，可以发现二者在频谱上的总体趋势有明显相似之处。因此，初步判断麦克风响应与z轴加速度传感器响应有一定的相似性。

图4.1 麦克风响应抽取后与z轴加速度传感器响应信号频谱图

4.1.3 Resample重采样法

与For循环法的基本原理类似，Resample重采样法则是利用了Matlab内置的Resample重采样函数来进行重采样。

Matlab中resample函数定义为：y=resample(x,p,q,n)，其中y是输出，x是输入，重采样后的频率为之前的p/q倍，n为Kaiser窗参数。Resample重采样是将FIR滤波器应用于输入序列x，并采用Kaiser窗口设计的滤波器，其具体原理在本文不赘述。通过改变参数n的值，可以获得不同效果的Kaiser窗。经过多次尝试后，可以发现n越大，重采样效果越好，但之后变化效果逐渐不明显。

由于Matlab当中对Resample函数的输入序列的长度有限制，因此在重采样前，需要对输入序列进行裁剪即可。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：