船舶AIS数据实时解析方法与规范化处理研究毕业论文
2020-02-28 00:30:39
摘 要
船舶自动识别系统AIS ( Automatic Identification System)是一种新型的集网络技术、现代通讯技术、计算机技术和电子信息显示技术为一体的数字助航系统。其由基站和船载设备共同组成，AIS数据数据分为动态数据、静态数据、航次数据、安全数据，可提供船舶船位、航向、航速、目的港等信息。
随着航运业的高速发展以及各种性能的船载AIS设备的广泛应用，导致船舶AIS数据的数据量的急剧增加，并且，对AIS的应用方面的需求也在快速增大。然而，当前的AIS数据的处理能力并不足以及时对船舶AIS数据的实时在线解析和处理，不能满足基于AIS数据的在线船舶位置服务、海事监管等实时应用的需求，制约了智慧航运的发展。
因此，如何对AIS数据进行高效的在线处理和对处理后的AIS数据进行有效管理将是本文的重点研究内容。本文通过AIS数据接收和AIS报文的处理方式，并基于大数据技术构建spark平台对AIS数据进行预处理，通过该平台对AIS轨迹信息进行挖掘，再通过与SQL平台的AIS数据预处理实验效率对比，探讨spark集群处理的高效性和实时性。最后，通过构建oracle数据库对处理后的AIS数据进行存储管理。
关键词：船舶AIS数据；报文解码；预处理；spark技术；Oracle数据库
Abstract
AIS (Automatic Identification system) is a new type of digital navigation aid system which integrates network technology, modern communication technology, computer technology and electronic information display technology. The AIS data is composed of base station and shipboard equipment, which can be divided into dynamic data, static data, voyage data and safety data, which can provide ship position, course, speed, destination port and other information.
With the rapid development of shipping industry and the wide application of shipborne AIS equipment with various performances, the data volume of ship AIS data increases rapidly, and the demand for AIS applications increases rapidly. However, the current AIS data processing ability is not sufficient to timely real-time analysis and processing of ship AIS data, and can not meet the needs of real-time applications such as online ship location services based on AIS data, maritime supervision and other real-time applications. Restricted the development of intelligent shipping.
Therefore, how to efficiently process AIS data online and manage the processed AIS data effectively will be the focus of this paper. In this paper, we use AIS data receiving and AIS message processing, and build spark platform based on big data technology to preprocess AIS data, and mine AIS track information through this platform. Compared with the experimental efficiency of AIS data preprocessing on SQL platform, the efficiency and real time of spark cluster processing are discussed. Finally, the oracle database is constructed to store and manage the processed AIS data.
Key words: ship AIS data； message Decoding； Pretreatment ；AIS Technology ； Oracle Database
目录
第一章 绪论 1
1.1 研究背景 1
1.2 研究现状 1
1.2.1 船舶AIS数据采集研究 1
1.2.2 船舶AIS存储研究 2
1.2.3 研究现状分析 3
第二章 船舶AIS报文数据 4
2.1 船舶AIS报文标准 4
2.2 船舶AIS内容 6
2.3 AIS报文格式 6
2.3.1 VDM信息格式描述 6
2.3.2 VDM消息类型 6
2.4 AIS数据发送 7
2.5 报文解析 7
第三章AIS数据在线处理 9
3.1 船舶AIS数据接收 9
3.1.1 AIS数据接收 9
3.1.2 AIS数据接收实验 10
3.2 AIS数据处理方法 10
3.2.1语句合并处理 10
3.2.2 数据解压缩处理 11
3.2.3 数据解压缩 12
3.2.4 信息提取 12
3.3 AIS数据预处理 12
3.3.1 AIS数据纠错 12
3.3.2 AIS数据筛选 13
3.3.3 AIS数据处理实验 13
3.4 基于大数据的AIS数据处理流程 15
3.4.1 大数据的发展历程 15
3.4.2 spark处理技术 15
3.4.2 基于Spark技术的AIS数据处理流程 17
3.4.3 基于Spark平台的数据预处理效率对比实验 18
第四章 船舶AIS数据存储与管理 20
4.1 Oracle数据库 20
4.1.1 Oracle实例结构 20
4.1.2 Oracle数据库存储结构 21
4.2 Oracle数据库设计 21
4.2.1 Oracle数据库逻辑设计 21
4.2.2 Oracle数据库物理设计 23
第五章 结论与展望 25
5.1 结论 25
5.2 展望 25
参考文献 27
致谢 29
攻读学位期间的研究成果及参与的项目 30
1 攻读学位期间申请的软著 30
第一章 绪论
1.1 研究背景
从AIS发展历程，即从1992年开始，在国际海事组织IMO(International Maritime Organization)、国际电信联盟ITU(International Telecommunication Union)、国际航标协会IALA(International Association of Lighthouse Authorities)等国际组织的共同努力下，已经发布了AIS的相关标准[1]。这些标准包括AIS的数据标准、性能标准、技术特性、测试标准和操作指南。其中AIS的数据标准规定AIS电文数据类型主要为船舶静态电文、船舶动态电文、航行航线电文和安全电文。船舶静态电文包括IMO号、船名、呼号和船舶类型等。船舶动态电文主要包括对地航向、航速、经纬度、旋回速率和真舶向等。航行航线电文包括船舶的吃水深度、所载危险货物种类、目的港和预计到达时间ETA等。安全电文包括安全相关信息等。
而从AIS的当前和未来的发展来看，21世纪海上丝绸之路为国探索实现新的可持续发展道路和促进世界上其他国家经济发展规划了美好蓝图。在海上丝绸之路发展的过程中，航运业凭借其得天独厚的优势，必将成为海上丝绸之路重要的参与者，是推动海上丝绸之路经济发展、商品流通和民间文化交流的引擎。同时，海上丝绸之路对我国航运业的发展也是重要的机会。近些年来，国家一直重视中小企业的发展，而我国航运物流企业中又以中小企业为主，通过将企业发展积极融入到国家的海上丝绸之路计划，将为企业的未来发展方向确定目标，以及为融资等问题提供帮助。
伴随着高性能AIS系统的发展，AIS数据量也急剧增加。如果能对AIS数据的有效成分进行再加工和提炼，挖掘和发现其中隐藏的知识，它将在航运相关的多个领域有着重要的应用。比如将高性能AIS存取系统合理地运用在海上智能交通系统中，它将在船舶碰撞分析、海上交通流量分析、船舶航道和轨迹研究、海上碳排放和码头经济发展等多个方向均有重要的现实意义。与此同时，对AIS数据的存取利用也不再局限于海上交通，也可以将其用于经济预测、市场预测、商业分析和物流管理等诸多新的领域。
随着国家海事部门对AIS(Automatic Identification System，船舶自动识别系统)系统的推广和强制安装，海事部门积累了大量的船舶AIS数据。这些AIS数据如果仅仅是给海事部门提供船舶自动识别远程监控将会造成数据资源的浪费。单纯的数据积累并不能带来效益，如何通过研究AIS数据的在线解析与管理挖掘出AIS信息中有用的内容，并将其运用于解决水上交通安全问题是目前研究的热点。同时，通过应用新技术来解决AIS数据的挖掘工作，也将是未来重点的研究方向。通过这些研究将为海事主管部门在保障船舶航行安全、防治船舶污染海域、提供船舶助航服务等方面具有重要意义。
1.2 研究现状
1.2.1 船舶AIS数据采集研究
贺超峰、胡勤友等人参与研究的《应用北斗卫星导航系统的船舶AIS数据采集》中提出运用北斗卫星导航系统来克服AIS在船舶动态监控中的盲区，通过研究以实现应用北斗卫星导航系统转发AIS数据和监控转载有北斗卫星导航系统的船舶周围指定的船舶[2]。其通过将本船AIS接受的周边船舶的AIS信息根据优先级存入相应的数据库中，并采用数据选择、过滤、除去数据冗余、排序、数据重组、压缩等技术处理数据，在通过北斗卫星导航系统将处理过的数据发送到陆地基站。
Sriram Jayasimha等人在研究面向沿海密集区域的基于卫星的AIS接收机时发卫星自动识别系统（S-AIS）接收机有很高的信息碰撞概率[3]，从而导致信号在传输的过程中发生错误和丢失等问题。研究发现在LEOS收到多个重叠的AIS消息是由最初的一定时间和频率选择AIS非相干解调。同时，CRC（循环荣誉检验）依有助于AIS信息的恢复。当考虑到船舶轨道时，船舶检测的结果相比报告之前，将有一定的概率得到改善。而更简单的，固有的并行接收器可利用FPRA的数字信号列阵的架构描述更适用于船舶的S-AIS载荷的处理器。并在基于船舶的集成电路的辅助来恢复参数和启用CD。
针对船舶AIS传输过程中发生错误，邵澎启展开了船舶AIS信息自动纠错的研究[4]。通过对发生的错误的研究，可将错误归类为：信息传播过程中出错；动态数据错误；静态数据错误。而造成错误的主要原因：（1）信息传播过程中很容易受到各种影响，致使波形变窄，能量减少，造成船舶数据丢失；（2）动态信息时部分传感器故障未及时修复或未连接，将导致AIS信息缺少相应的数据，同时船员忽视对船舶航行状态信息的手动更新，也会是该信息缺失；（3）静态数据的错误主要出现在输入错误或输入不完整。
为了研究船舶AIS数据远程传播的接收问题，由ShiYou Li和LiHu Chen提出基于天拓3号卫星接收受统研究接受AIS信息中27型信息[5]，最终实现对远程AIS信号的应用和提出对基于空间卫星的AIS接收机的改进方案。天拓3号卫星作为新一代天基的AIS接收器，天拓3号AIS卫星被设计成使用四个频率通道同步接收AIS信息，同时实现四频检测。在接收远程AIS信息的过程中，天拓3号AIS卫星已经迈出了一大步，并将在随后的天基AIS系统的船舶监测中发挥示范作用。截至2016年4月30日，天拓3号AIS卫星在轨道上运行7个多月，获得了大量数据，在国家经济、海上安全、甚至军事应用领域都发挥着重要作用。这篇论文的结果将有助于应用远程AIS信息，既用于数据应用，也有助于改进下一个天基AIS接收机的设计。此外，AIS星座可能会大大提高27型AIS信息的应用能力。
1.2.2 船舶AIS存储研究
随着现代航运业的快速发展和强制性安装船舶自动识别系统（AIS），从而产生异常庞大的未经压缩处理的AIS数据，这对存储硬件、压缩算法、存储方式等提出了极高的要求。毕月琨提出一种高性能的实时动态矢量数据压缩算法[1]，研究中列举出道格拉斯一普克法(Douglas-Peucker)、光栏法和垂距法三种压缩算法，并在动态三维DP压缩算法的基础上，研究改进传统的动态三维DP压缩算法，提供一种对数据进行动态实时压缩的有效处理方法，从而去除冗余的数据并且能够对信息进行精简，达到减少内存空间的使用，提高数据的压缩率。除了在压缩算法方面进行改进，在如今大数据的环境下，丁振国提出利用云储存系统存储船舶AIS数据，其主要功能是将AIS基站接收到的AIS数据经过解析处理，再分别进行历史AIS数据存储和区域AIS数据存储。
在AIS数据量越来越大的背景下，如何高效的处理挖掘海量的AIS数据是我们所需要面临的一个重要问题。尚斯年提出基于云计算分布式技术挖掘海量的AIS数据[6]，其通过商用云计算平台和分布式技术品台Hadoop研究设计海量AIS数据的挖掘系统，并建立HBase数据库来实现海量AIS数据的存储和查询。再通过研究舟山海域的历史AIS数据和老铁山水域的实时AIS数据来验证系统设计的可靠性。
同样在AIS数据挖掘方面，刘敦伟基于AIS数据的船舶航迹数据挖掘研究[7]，其主要的工作内容是：AIS数据的解码和处理；利用DP压缩法，提出基于速度和航速约束的船舶航迹数据的压缩方法；根据海上船舶航行特征，研究船舶航速和航向的变化规律，以此设计在线识别船舶的搁置行为的算法；采用地理网格技术，对AIS数据进行了划分，挖掘出了热点航迹段和典型的航线。
在船舶航迹分析问题上，有许多运动目标轨迹模型和聚类方法。Gaffney等人提出了一种基于原始数据的连续轨迹聚类方法[8]。该方法采用混合回归模型对弹道进行建模，并利用极大似然原理实现无监督学习，特别是我们采用了EM期望极大值(EM)算法，确定聚类的簇个数。该算法将轨迹作为一个整体进行聚类。李一凡等人在Birch算法中使用层次聚类方法对运动目标进行聚类，这是一种聚类方法[9]。运动微聚类MMC表示n个相似的运动对象，而MMC的特征CF用聚类特征CF描述，当簇中成员发生变化时，CF将是动态的更新。
黄显鑫认为大量的船舶AIS信息包含着大量的船舶通航特征[10]，从中可以反映出船舶的行为规律的，是有效的、潜在的。形成，有利于海上交通调查获取数据信息。根据交通工程的理论知识和相关的数据挖掘技术，提出了相应的AIS 数据库，建立了基于AIS信息的航迹聚类模型，并结合实例对基于AIS信息的航迹聚类算法进行了研究。
杜磊建立了基于AIS数据的船舶航迹分割模型，并给出了具体的聚类算法[11]。为了更准确、更实际地反映船舶的原始航迹，使用了最小描述长度。将航向和速度变化率结合起来进行轨迹划分，然后采用经典的基于密度的聚类算法dbscan来实现船舶轨迹聚类。Hoye等人提出了基于空间的AIS全球监测系统[12]。船舶航迹是根据AIS中的经纬度和时间间隔生成的。将接收AIS数据结合起来，对世界上的船舶进行监测。
1.2.3 研究现状分析
总结国内外的相关文献，国内外学者对AIS数据和船舶安全航行水深进行了大量研究。在AIS数据研究方面研究了AIS数据库的建立和管理、AIS轨迹的聚类和挖掘、船舶避碰、特定水域内的船舶异常检测等内容。在船舶安全航行水深方面研究了航道水深系统的设计、测深设备和AIS系统的结合、船舶安全量化模型、船舶航行风险评估等方面。当前国内外研究存在的问题有：
- 在AIS数据处理方面，主要集中在船舶AIS数据库设计、船舶航行轨迹聚类、船舶异常航行检测、船舶航迹可视化等方面，较少用到船舶AIS信息中的静态信息，对船舶最大吃水深度等信息的利用不多。
- 在AIS数据存储方面当前集中在对传统数据库的挖掘，包括Oracle、MySQL等数据库。而采用的算法则以道格拉斯-普克法(Douglas-Peucker)、光栏法和垂距法三种压缩算法为常见算法。但是，随着技术的不断发展，特别是是以大数据为核心的新一代数据处理技术，为处理海量的AIS数据提供了更加快速的方法。而在存储技术方面以HBase、云存储等新型存储方式，也为存储利用海量的AIS数据提供了更加丰富的空间。在计算方法上以大数据为平台构建了大数据查询分析计算、批处理计算、流式计算、迭代计算、图计算、内存计算等计算方式，具体的算法有Hadoop，MapReduce，Spark，本文将以Spark算法构建基于大数据的AIS数据处理流程。
第二章 船舶AIS报文数据
本章主要内容是介绍AIS报文的报文标准、AIS信息的内容、AIS报文的格式和对AIS报文进行解析。通过研究以上内容可以更加深刻的了解AIS发展历程中所制定的标准等，为之后的AIS报文在线解析做知识点的预先学习。
2.1 船舶AIS报文标准
目前，正式公布的所有AIS国际标准包括[1]:
- 国际航标协会发布的对于AIS技术的指南，有关AIS操作的指南。
- 国际电信联盟发布的基于VHF的通用船载识别系统的技术特性。
- 国际海事组织发布的有关船载自识别系统性能标准。
- 国际电工委员会发布的关于A类船载自识别系统的性能要求。
AIS系统中船站间、船站与基站间进行通信时，船与船之间、船舶与岸台之间传输的信息，都将AIS信息封装成一条条标准格式报文，报文信息以预定的时间间隔发送，且根据ITU-R. M. 1371-1标准一共有二十二种数据信息，这些信息包括动态信息、静态信息等普通类型信息，也包括AIS所支持的数据链路信息。下表(表2.1)汇集所有AIS标准电文的信息。其中最常用的主要是1，3， 5， 18，19几种。
表2.1 AIS标准电文信息表
信息ID | 名称 | 描述 | 优先级 | M/B |
1 | 位置报告 | 预设好的位置报告(A类船载移动设各) | 1 | M |
2 | 位置报告 | 分配的位置报告(A类船载移动设备) | 1 | M |
3 | 位置报告 | 询问做出的特殊的位置报告(A类船载移 以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。 相关图片展示：
您需要先支付 50元 才能查看全部内容！立即支付
最新文档
|
