摘 要

随着信息时代的到来，数据的来源和规模快速增长，大数据技术广泛应用于国内外各行各业中，成为推动和保障国家发展的关键要素之一。在此背景下，海事监管信息化的建设也面临着前所未有的机遇与挑战，海事大数据中隐藏着巨大的价值信息，不仅能提高海事监管工作效率，而且能为降低海上风险提供决策参考，促进航运市场快速健康发展，是发展智慧海事监管的核心要素。

然而，目前信息技术在海事监管的应用中存在数据分散、数据价值未充分挖掘等问题，阻碍海事监管智能化水平的提高，而大数据技术在解决这些问题中具有较好的性能，能够提供足够的技术支持。

在此背景下，本文首先对大数据技术相关概念，及其在国内外社会和海事监管领域的研究和应用现状进行分析；接着从船舶监督管理、船员管理、通航管理和危险品与防污染管理这四个海事监管方面分析海事大数据的应用需求。以需求分析为导向，针对海事监管中的通航管理方面，提出基于海事大数据的到港船舶风险预测与评价模型，通过完成模型的构建对水上风险等级进行预测。其关键在于对海事大数据的充分利用和深层次挖掘，包括数据的采集和预处理、数据的存储和分析、基础架构和应用场景分析四个部分。首先完成对各类海事大数据的预处理，即包括数据清洗和航迹融合，接着进行大数据分析，其中关联分析是模型构建的核心，采用Apriori算法得到海上交通安全各要素间的关联关系，从而实现风险预测。最后，根据应用方案完成模型的构建和应用场景设计。

本文通过对上述模型的研究和设计，打破了海事信息分散而独立的局面，实现了具有多源异构特点的海事大数据的关联分析和价值挖掘，为智慧海事监管提供一种新的思路和应用方案。

关键词：大数据技术；海事监管；风险预测

Abstract

With the coming of the information era, the source and scale of data are growing rapidly, and big data technology is widely used in various industries domestic and overseas, becoming one of the key elements to promote and guarantee national development. In this context, the construction of maritime supervision informatization is also faced with unprecedented opportunities and challenges. The huge valuable information hidden in maritime big data can not only improve the work efficiency of maritime supervision, but also provide decision-making reference for reducing maritime risks and promote the fast and healthy development of the shipping market, which is the core element of developing intelligent maritime supervision.

However, in the current application of information technology in maritime supervision, there are problems such as data dispersion and insufficient data value mining, which hinder the improvement of the intelligence level of maritime supervision. However, big data technology has good performance in solving these problems and can provide sufficient technical support.

In this context, this paper firstly analyzes the concepts related to big data technology and its research and application in the field of social and maritime supervision at home and abroad. Then it analyzes the application requirements of maritime big data from four aspects: ship supervision and management, crew management, navigation management, and dangerous goods and anti-pollution management. Guided by demand analysis, this paper proposes a risk prediction and evaluation model for ships arriving at port based on big maritime data for navigation management in maritime supervision, and predicts the risk level of ships by completing the construction of the model. The key of the model lies in the full use and deep mining of maritime big data, including data acquisition and preprocessing, data storage and analysis, infrastructure and application scenario analysis. First, this paper completes the preprocessing of all kinds of maritime big data, including data cleaning and track fusion, and then carries out big data analysis, in which correlation analysis is the core of the model construction. Apriori algorithm is used to obtain the correlation between various elements of maritime traffic safety, so as to realize risk prediction. Finally, the model construction and application scenario design are completed according to the application scheme.

Through the research and design of the above model, this paper broke the situation of maritime information island, realized the correlation analysis and value mining of multi-source heterogeneous maritime big data, and provided a new way of thinking and application scheme for intelligent maritime supervision.

Key Words：big data technology; maritime supervision; risk prediction

目 录

第1章 绪论 1

1.1 研究背景与意义 1

1.1.1 研究背景 1

1.1.2 研究意义 2

1.2 研究的思路与技术路线 2

1.3 研究的内容 3

第2章 国内外研究现状 5

2.1 国外对大数据技术研究现状 5

2.2 国内对大数据技术研究现状 5

第3章 大数据技术发展现状研究 7

3.1 大数据的概述 7

3.1.1大数据的概念 7

3.1.2大数据的类型 7

3.1.3大数据的特征 7

3.1.4大数据的作用 8

3.2 大数据技术发展分析 9

3.2.1大数据采集和预处理 9

3.2.2大数据存储 10

3.2.3大数据分析 10

3.2.4大数据可视化 13

3.3 大数据技术在社会领域的应用分析 13

3.4 大数据技术在海事领域的应用现状分析 15

第4章 海事大数据应用需求分析 17

4.1 船舶监督管理 17

4.2 船员管理 19

4.3 通航管理 20

4.4 危险品与防污染管理 20

第5章 海事大数据技术应用场景设计 22

5.1 海事大数据技术应用方案总体架构 22

5.2 海事大数据技术应用模型开发流程 23

5.2.1 海事大数据技术应用模型技术路线 23

5.2.2 大数据的采集和预处理 23

5.2.3 大数据分析和模型构建 25

5.3 海事大数据技术应用场景设计 26

第6章 结论与展望 29

参考文献 30

致 谢 33

第1章 绪论

1.1 研究背景与意义

1.1.1 研究背景

在信息技术高速发展的社会大环境下，其在物联网、学术研究、互联网、国家治理、经济运行、应急防范等领域的应用逐渐成为大势所趋，其应用影响着社会生活中的各个方面，不论是人们的举止、所处地点甚至实时的心理、生理特征，还是地质、温度、气流的变化，都被以数据信息的形式记录下来，都与数据的创造、积累、分析处理、交流共享等密切相关^[1]。数据的来源与规模正以前所未有的态势快速增长，大数据成为继物质和能源之后的又一重要的战略资源，实现了从数据资源向数据资产的转化。

全球知名公司麦肯锡最早提出大数据时代到来的概念：“数据已经渗透到当今每个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费盈余浪潮的到来^[2]。”习近平总书记在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段，推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全^[3]。”