摘 要

工业界电气设备的正常运行是保证生产及安全的关键，设备故障的检测就成为了重要的一环。在实际检测中，由于设备类型多、故障类别繁杂、人力资源有限等因素，迫使设备故障检测需要自动化、实时化。本文设计了一种故障实时检测方法，并实现了一个简易的系统。

一般地，使用机器学习的方法对设备实时状态数据进行异常分析，都是批处理方式。在实际的监控环境中，监控数据是以数据流的形式实时到达的，需要即刻做出响应。所以本文针对流数据的特点，设计在线的机器学习检测故障的方法，对设备的故障进行实时检测。实现离线阶段和在线阶段建模过程，完成在线实时模型更新，对设备异常及时做出响应。

最终，本文实现了一个在线设备故障诊断的系统。用户可以通过浏览器查看设备实时状态，也可以根据条件查询历史数据；查看设备故障报警信息；导出异常数据。

关键字：流数据；故障检测；异常检测；机器学习

Abstract

The normal working of electrical equipment in industry is the key to ensure productivity and safety, therefore the detection of equipment anomaly becomes an important part. In the practice detection, many factors such as the type of equipment, fault categories are complex, limited human resources and etc., forcing equipment failure detection needs of automation and real-time. This thesis designs a method of fault detection and implements a simple system.

In general, machine learning method of equipment status data for abnormal analysis, are batch processing. In the actual monitoring environment, the monitoring data is in the form of data flow is potential unbounded, you need to be able to respond in time. Therefore, this thesis aims at the characteristics of data stream, the design of online machine learning algorithm to detect novelty patterns, real-time detection of equipment abnormal. To achieve offline phase and online phase modeling process, to complete online real-time update device model, the device exception to respond in a timely manner.

Finally, this thesis implements a system for fault diagnosis of working devices. Users can view the real-time status of the device through the browser, or query the historical data according to the conditions; view the device fault alarm information; export the abnormal data.

Keywords: Data Stream; Anomaly Detection; Novelty Detection; Machine Learning

目录

摘要 I

Abstract II

1 绪论 1

1.1 研究背景 1

1.2 国内外研究现状 1

1.3 本文结构安排 3

2 关键概念 4

3 算法设计 7

3.1 算法概述 7

3.2 离线训练 8

3.2.1 K-Means聚类 10

3.2.2 K-Means和CluStream聚类 10

3.3 在线检测 11

3.3.1 扩展和异常特征检测 13

3.3.2 扩展微簇阈值选择 14

3.4 其他机制 15

3.4.1 遗忘机制与上下文复现检测 15

3.4.2 噪声与离群值处理 15

4 系统设计与实现 17

4.1 概述 17

4.1.1 目标 17

4.1.2 开发环境 17

4.1.3 系统处理流程 17

4.2 数据收集与存储 18

4.2.1 算法验证数据集 18

4.2.2 实际模型训练数据集 18

4.2.3 实时线上数据 19

4.3 离线模块 20

4.4 在线模块 23

4.4.1 前提条件 23

4.4.2 异常检测 23

4.4.3 模型更新 25

4.5 数据可视化 27

4.5.1 前端处理简介 27

4.5.2 设备状态查看 27

4.5.3 导出异常数据 28

4.5.4 故障报警 29

5 总结与展望 30

参考文献 31

致谢 33

绪论

研究背景

在工业及信息行业，各种电气设备的安全运行会直接影响电气系统安全、稳定、经济收入等方面。如果设备发生故障，不但会损坏设备，更可能造成生产停滞，从而造成更严重的经济损失。如果发生了人员的伤亡，则会引发不可估计的严重后果。尤其在车站、机场、商场等大型公共场馆，或者电信、交通等公共设施系统，如果不能及时发现故障将会危及社会公共安全。

监测设备的状态有高通量、设备类别多、故障不确定性大等特点，需要实时针对海量的流式数据进行分析。实时诊断系统分为3个部分：数据处理层、数据分析层和业务支撑层。

数据处理层主要是针对海量的实时流数据进行预处理。规范化为系统的统一输入格式。随着物联网的发展，为各类设备的状态监控提供了技术保障，工业界针对各类设备，设计出对应的检测传感器，通过多种网络传输方式，将设备的状态数据实时传输到监控系统，对这些产品进行监控、诊断和控制。面对的主要问题在于监控时间长，需要持续待机；设备种类复杂多样，监控手段实际效果难控制；系统通用性和扩展性等。

国内外研究现状

异常检测（Novelty Detection）是指识别未标记数据中显著区别于已知特征的数据。由于异常检测是学习系统的重要组成部分，该领域受到机器学习（Machine Learning）和数据挖掘（Data Mining）研究人员极大的关注。目前，对异常检测有很多不同的定义：

• 识别当前输入的数据，在某些方面与之前输入数据的不同^[1]。
• 异常检测涉及识别系统异常行为和规则的突变^[2]。
• 异常检测可以识别新产生的异常特征，这个特征可能是一个新的合理的特征，也可能是已知特征的一种变体，或者是噪声^[3]。

许多异常检测的研究都是针对批处理场景的，这要求提前获得所有的检测数据^[4-6]。但是，当今的异常检测面临挑战的场景是流式数据。

一个数据流（Data Stream）是连续的持续到达的样本数据。他们具有持续性、无界限性和高速流动性，以及随时间不断变化的值^[7]。在数据流的场景下，不断有新的特征出现，也有已知特征消失或迁移演进。

由于特征不总是不改变的，所以基于数据流的异常检测技术的应用有诸多挑战，包括：

• 特征漂移，很难区分新特征与已知特征的改变；
• 噪声与离群值，很难与新特征进行区分；
• 特征复现，很难与新特征进行区分；
• 特征演进，当同类问题的数量随着时间的推移而增加，这些新的看似异常的类，可能是一个新的特征，所以需要被纳入决策模型。

近几年，一些研究者发表了几种基于流数据的异常检测的方法。这些研究的主要成就可能为新技术的发展带来有价值的灵感。

Mohammad M. Masud提出一种数据流分类技术，将异常类检测机制整合到传统的分类器中，使得能够在异常类实例的真实标签到达之前自动检测新的特征^[8]。

OLINDDA是一种在线异常特征和漂移检测算法，解决连续学习场景中识别新特征的问题，作为单级分类问题的扩展，它使用高效的标准聚类算法，对不能被当前决策模型解释的样本数据，连续生成候选聚类^[9]。

Morteza Zi Hayat提出了一种新的方法来检测异常并针对存储空间受限情况下的异常检测和概念漂移。该方法基于聚类算法。它使用离散余弦变换构建紧凑的生成模型，然后进行有效地新类和概念漂移检测^[10]。

MINAS针对特征的数量在学习之前可能是未知的，新类可以随时出现。新颖性概念由不同的类组成。这项工作提出了一种新的算法来解决数据流多类问题的新颖性检测，即MINAS算法^[11]。

许多异常检测技术在流数据应用中是很重要的，比如：干扰检测、错误检测、医疗诊断、图像特殊部位的检测、欺诈检测、森林覆盖类型检测、垃圾邮件过滤、信息检索和文本分类等。对于设备的故障检测，也有不少工作。

张经伟等人认为，故障检测主要是模式识别与分类问题，神经网络擅长对数据进行识别分类，能很好地实现非线性曲面的逼近。因此神经网络在设备故障诊断中有比较好的效果，介绍了BP神经网络在电子设备故障诊断技术中的作用，讨论了BP神经网络的算法和改进方法及其诊断过程^[12]。

根据故障数据的特点，根据Apriori传统关联规则算法的思想，建立了时间序列故障数据模型。利用故障数据生成的时序项集的矩阵，提出了一种改进的Apriori算法和频繁定时关联规则搜索算法。通过这两种算法，对设备故障数据挖掘频繁规则，预测设备的故障趋势^[13]。

本文结构安排

第1章，绪论，主要介绍本文需要展开的工作，以及国内外研究完成的情况。第2章，关键概念，主要为了方便进行后文的具体阐述，对本文用到的关键概念进行解释。第3章，算法设计，主要介绍本文实现设备故障诊断用到的核心方法，主要针对算法设计思想进行介绍。第4章，系统实现，介绍了根据第3章的算法，设计并实现了一个可供用户使用的设备监控和故障诊断系统。第5章，总结与展望，主要对全文工作进行总结的同时，思考未来工作的方向。

关键概念

一段数据流可以被描述为：无限且连续的数据段，通常具有海量高速的特点，数据值也会随着时间不断变化。

定义1 数据流：数据流S是一个具有无限的多维数据的集合，数据分别在时间到达，每一个样本数据都是一个具有n维属性的向量，表示为^[14].

异常检测通常可以被描述为一个决策问题，决策的结果存在于集合 。训练集包含大量带标签的样本数据，这些标签都属于集合Y。例如，训练集对Y中的某些类进行感知识别，从带标签的训练集中寻找数据与标签的关系，用表示。从而识别测试集数据可以用Y中哪一个标签来表示。