基于机器视觉的人体摔倒行为识别研究文献综述
2020-04-15 20:39:47
1.1目的及意义
随着经济的发展和时代的进步,自动扶梯已经普遍应用于各大商场、超市、企业以及一些公共场所,逐步成为市民群众日常出行的重要组成部分,是城市运行安全不可或缺的一环。自动扶梯在公共场所应用广泛,其安全隐患不容忽视。因为自动扶梯的应用偏向于人流量集中、面向群体复杂的场合,所以便利人们的同时,总会发生一些意外事故,特别是对老人和孩子等一些弱势群体。近几年,全国各地发生的自动扶梯伤害事件多以乘用人员摔倒为主。据统计,某城市现有自动扶梯数量约为28000台,每年发生的人员摔倒事件达到400多起,致使上百名乘用人员受到肢体上的伤害。
自动扶梯上意外摔倒引起的人体伤害主要有两方面。其一是摔倒时由于碰撞引起的一次伤害;其二是摔倒后由于自动扶梯继续运行造成的摔倒者身体和心理上的二次伤害。
现阶段人体防摔倒检测的研究有很多,但大多数都是基于个体或小流量人群进行的。由于自动扶梯的应用场合、面向人群以及事故状况较复杂,所以在自动扶梯上防摔的研究还比较少。目前针对意外摔倒事故的发生,较普遍的措施是在自动扶梯出入口处加设急停开关,配合服务人员进行人为操作。该方法的缺陷很大,不仅占用人力资源而且通过人工操作很难及时应对事故的发生,变故较大。因此有必要进行自动扶梯智能化的防摔检测的研究。
1.2国内外的研究现状分析
国内外针对摔倒识别及预测的研究较为多样化,主要基于人体行为识别的相关技术条件。在所有无接触行为识别方法中,最常用的方法主要是视觉技术、电磁场技术和声纳技术这三种。视觉技术通常通过摄影系统实现,是目前主流的行为识别技术。该方法要求对人类对象的先验知识进行严格校准,有较大的数据量,通过数据集比较能产生较好的效果。视觉系统能够很方便直接的应用于各种场所,但一定程度上受距离和环境的限制。电磁场人类行为识别技术向环境发射EM波,经过中距离折叠后会在很大的程度上受限于距离。声纳技术主要用于视觉状况不好且噪声干扰较小的场所。考虑到自动扶梯的小范围、多状况的环境,采用机器视觉进行摔倒行为检测较为合理。
基于机器视觉的人体行为识别方法传统意义上主要分为两类,分别是全局特征法和局部特征法。这些传统的行为识别方法大多是针对人工设计的特征进行特征提取,通过人工选择的特征有时较难选择出动作的本质特征,对识别结果影响较大。而深度学习是一门近几年成为国内外研究热点的新兴学科。深度学习是一种模拟人脑认知过程的多层次模型结构,通过建立特征的层次结构来获得更有效的特征表示。典型的深度学习结构有:卷积神经网络(Convolutional Neural Network,简称CNN)、自动编码器(AutoEncoder)、受限玻尔兹曼机 (RestrictedBoltzmannMachine,简称RBM)等。
卷积神经网络作为深度学习技术的一个分支,由于其避免了对图像进行复杂的前期预处理,可以直接输入原始图像,从而成为近几年的研究热点。此外卷积神经网络还有着良好的容错能力,自适应能力强,对于特定的姿态、光照、遮挡、位移、缩放及其他形式扭曲都具有良好的鲁棒性,这些都促使了各国研究人员逐年加大对卷积神经网络的研究力度。
基于深度学习的人体姿态估计系统模型国内外目前有很多种,如Facebook研究所的DensePose框架和卡内基梅隆大学提出的OpenPose框架,此外还有AlphaPose、DeepPose等系统。以AlphaPose为例,AlphaPose是一款精准的多人姿态评估工具,既可以在图片、视频或多图中进行姿态估计,也能在画面中对动作进行追踪。它的输出形式非常广泛,包括PNG、JPG和AVI等具有关键点的图片形式,也有JSON格式的输出,这一特点使其成为众多应用受欢迎的工具。目前,这一工具支持TensorFlow和PyTorch两种实现。AlphaPose利用一种区域性多人姿态估计方法(RMPE)将不精准的人类边界框该进程精确的动作估计。这里有三种元素:对称空间转换网络(SSTN)、参数化姿态非极大抑制(PNMS)以及姿态导向的生成器(PGPG)。
{title}2. 研究的基本内容与方案
{title}2.1研究内容