摘 要

危险化工品在当今的时代建设社会发展中一方面起到了十分重要的作用，但同时也存在着一定的安全隐患；所以对于港口危险货物的堆存安全管理一直是相关部门所需要研究考虑的重点内容，努力追求实现有效实时监测港口危险货物堆场的异常情况，切实保障港口的安全生产。在新一代的信息技术中，大数据是很重要的一部分内容，把大数据运用在港口危险货物安全管理领域应用也是潜力巨大。本文采用大数据挖掘方法，通过分析港口危险货物堆存管理中积累的海量数据，主要针对堆场的监控视频数据信息进行挖掘，找出其异常情况。论文进行的主要工作有：

（1）介绍港口危险货物安全管理的大数据来源和分类，简要介绍了大数据基本理论，对港口危险货物堆场中产生的视频监控数据进行分析讨论；探讨了堆场监控视频数据图像的预处理技术方法，实现异常识别的初步数据预处理过程，为后续关联规则挖掘工作夯实基础做好铺垫。

（2）对监控视频中的运动目标检测的方法展开讨论分析，通过对几种运动目标检测的方法进行比较讨论，结合我们港口危险货物堆场监控视频数据的特点，选择采用背景减除法完成运动目标检测的处理过程。

（3）针对图像信息中出现的特征信息进行提取，以特征来对图像信息描述，再结合分类器的应用特点，完成对待检测视频图像的异常识别的目的。

本文研究成果主要为将大数据技术应用到港口危险货物管理中提供了一种新鲜思路，为确保港口的安全生产贡献一种自己的想法。

关键词：大数据；视频挖掘；预处理；特征提取；分类器算法；关联规则挖掘

Abstract

Dangerous chemicals play an important role in building social development in today's era, however, there are certain security risks to social security. Therefore, the safety management of the storage of dangerous goods in ports has always been the focus of relevant research. Effectively monitor the abnormal situation of the port dangerous goods yard and provide feedback to ensure the safe production of the port. Big data is an important part of the new generation of information technology industry, and it has great potential in the application of port dangerous goods security management. This paper uses the big data mining method to analyze the massive data accumulated in the port dangerous goods management, and mainly mines the monitoring video data information of the yard to find out its abnormal situation. The main work of the thesis is as follows:

(1) This paper introduces the source and classification of big data security for port dangerous goods management, briefly introduces the basic theory of big data, mainly analyzes the video surveillance data, discusses the preprocessing technology method of video data of yard monitoring video, and realizes the safety management of yard. The preliminary data preprocessing of the anomaly identification paves the way for subsequent association rule mining.

(2) The method of detecting moving targets in surveillance video is discussed and analyzed. By comparing and discussing several methods of detecting moving targets, combined with the characteristics of monitoring video data of dangerous goods yards in our port, we choose to use background subtraction to complete moving target detection. Processing.

(3) The feature information appearing in the image information is extracted, and the image information is described by features, and combined with the application characteristics of the classifier, the purpose of abnormal recognition of the video image to be detected is completed.

The research results of this paper mainly provide a fresh idea for applying big data technology to port dangerous goods management, and Contribute to my own ideas to ensure safe production at the port.

Key words：Big data;Video mining;Data preprocessing; Feature extraction；Classifier algorithm；Association rule mining

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1 课题研究背景 1

1.2研究目的与意义 2

1.3 国内外研究现状 3

1.3.1 大数据应用研究现状 3

1.3.2港口危险货物管理现状 4

1.3.3图像视频数据预处理研究现状 6

1.3.4视频挖掘研究现状 6

1.4 当前研究存在的主要问题 7

1.5 全文研究内容与结构安排 8

第2章 大数据基本理论与数据预处理 9

2.1 港口危险货物管理安全评价大数据 9

2.1.1 数据的来源与分类 9

2.1.2大数据基本理论的特点 11

2.2视频图像数据预处理 12

2.2.1均值滤波与中值滤波算法进行图像去噪 12

2.2.2双边滤波算法进行图像去噪 16

2.2.3基于小波变换的图像去噪算法 18

2.2.4 对监控视频图像去噪算法的选择 19

2.3 本章小结 20

第3章 运动目标检测 21

3.1目标检测方法综述 21

3.1.1光流法 21

3.1.2帧间差分法 23

3.1.3背景剪除法 26

3.2 背景建模 29

3.2.1 混合高斯模型建模法 30

3.3实验验证部分 32

3.4 本章小结 33

第4章 特征提取与分类识别算法 34

4.1特征提取 34

4.1.1梯度特征 35

4.1.2纹理特征 36

4.2 图像分类算法 38

4.2.1 K-最近邻分类算法 39

4.2.2决策树分类算法 40

4.2.3基于关联规则的分类算法 40

4.3基于关联规则分类算法的异常信息挖掘 41

4.3.1 CBA-RG基本概念 41

4.3.2分类器的构建（CBA-CB） 42

4.3.3异常检测的步骤 43

4.4本章小结 44

第5章 总结与展望 45

5.1全文总结 45

5.2未来工作展望 45

参考文献 47

致谢 50

第1章 绪论

1.1 课题研究背景

近些年来，为持续推进我国进行高质量发展，化工相关技术产业能力不断得到发展，化工品对国家建设的作用也逐步得到彰显，同时，也提高了我国在化工品方面的需求，推动了我国危险品运输总量的增加及危险品堆场场所的增加。石油和化工产业或将逐步发展成为保障我国经济继续向好趋势的一大支柱产业，在长江沿线和珠江沿线、以及中部大中城市及西北基地目前已经顺利开展规划，很多化工工业园区逐步开始投产建设和经营，并且引入了很多世界知名品牌企业和产品。石油与化工行业这些年来，发展状况良好，这是危险品输送行业的发展机遇。据前瞻产业研究院《2018-2023年中国特种运输行业市场前瞻与投资战略规划分析报告》统计，目前我们已经建成了大型化工生产基地达二百余处，涵盖危险化学品的生产环节、储存环节或运输使用环节以及废弃处置环节的工厂企业已经有三十多万家了，在此之中，常用的化工原料种类达到有五千余种。绝多数化工原料都并非即产即用，而是要依赖异地运输。2016年我国危险货物运输量约为20.0亿吨，前瞻估算2017年我国危险货物运输量达到22.8亿吨，年运输量保持稳步上升。

当前国内危险品的运输方式主要通过铁路运输、公路运输以及水路运输三种运输方式。铁路运输由于自身运输条件因而存在不小的局限性；公路运输优势在于灵巧，因为当前公路建设最为完善覆盖最广，所以当前使用最多的运输方式，大约占危险货物运输量的50%，但与此同时公路运输也存在极高的风险性，满载危险品的货车也成了公路上一个一个危险源；水路运输凭借着运输量大、成本低、能耗小的优势逐步发展为当今重要的危险品运输方式。港口是水路运输得以顺利完成的基础保障，它担负着危险货物集装箱的存储、运输等所有相关操作的重要使命。