英语原文共 18 页

基于AIS大数据的新加坡港口水域船舶交通时空分析

摘要

本研究利用AIS大数据开发了一种切实可行的分析方法，可以用来分析船舶交通需求和港口水域船舶交通时空动态。通过将开发的方法应用于新加坡港口水域，我们发现新加坡港口水域内从起点到终点及航行路线随着时间的推移保持稳定。此外，新加坡海峡有几个热点区域，在这些区域内，船舶的航行速度相对地较高，并且在少数水域中船舶的航行速度差异很大。更有趣的是，我们发现这些热点区域与船舶事故的空间分布很吻合。

1简介

新加坡港依据航运吨位来算是世界上第二大繁忙的港口，因为全世界五分之一的集装箱和世界上一半的原油都需要通过新加坡港来转运（新加坡，2014）。它位于连接印度洋和太平洋的最短航线的阻塞点（如图1所示），用来运输世界上三分之一的贸易货物，它连接了包括120个国家在内的200多个港口（Qu和Meng，2012）。新加坡港口大约有1000艘船舶，每两到三分钟就会有船舶随时进出港（新加坡，2014；张等人，2015）。新加坡港是全球物流网络中最重要的节点之一，在世界海运业中发挥着至关重要的作用。一旦这个繁忙的航运区域被任何事故或船舶交通拥堵所阻塞，将会给全球物流业造成巨大损失。根据Qu和Meng（2012）的研究，因为海上物流而封锁海峡从而造成的每日损失约为1000万美元。

图1.新加坡港口和新加坡海峡

为了维持这样一个港口的运作效率和安全，深入了解港口水域的船舶交通至关重要。例如，在新加坡港，船舶的监管和调控由港口运营控制中心(POCC)进行。整个港口水域按照船舶交通特性被划分成一个个的小网格。每一个网格都由POCC操作员进行监测，可以发现潜在的船舶碰撞事故，有助于及时地发出警告。对于热点区域，这些网格区域需要更多的人力资源。此外，海上交通管制，就像限速和交通分离方案也是基于交通特性分析的。因此，船舶交通分析可以为海事机构有在效地管理船舶上提供有价值的发现（S. Wang等人，2013; Y. Wang 等人，2013; Zhang 等人，2015;Coello等人，2015; Goldsworthy和Goldsworthy，2015）。然而，现存的研究主要致力于船舶航线优化上（S. Wang 等人，2013; Y. Wang 等人，2013）。或者是提高港口运营效率上（（例如，Nishimura等人，2005; Petering，2009）。换句话说，对港口水域船舶交通的时空动态分析的研究很少。

传统的船舶交通分析通常用船舶交通调查的方法进行，包括视觉观测，雷达观测以还有航空摄影。例如，第一次船舶交通调查于1963年在日本进行（Fujii和Tanaka，1971）。然而，这种调查及其耗费人力而且自然而然地很昂贵（Yamaguchi和Sakaki，1971）。如今，我们有先进的船舶交通数据收集方法，如船舶交通服务系统（VTS）和自动识别系统（AIS）（Meng等，2014）。由于AIS数据可以保证港口水域船舶交通信息的高度可靠性，因此基于AIS数据的船舶交通分析将会使精确捕获船舶导航活动并了解港口水域的船舶交通变的极其有希望。（Tsou，2010; Shelmerdine，2015）。

一些实证研究已经用AIS数据分析了船舶交通。威廉姆斯等人（2009）提出了AIS数据的地理可视化，以支持决策的制定和船舶交通管控。这个信息可视化是基于照明高度贴图上显示的船舶密度场数据。Tsou（2010）仅仅展示了在ArcGIS中船舶轨迹和密度图的可视化，而没有任何进一步定量的船舶交通分析。一些研究者已经使用AIS数据来探索船舶交通的空间和时间规划布局。Aarsaether和Moan（2009）使用AIS数据来得到基本的船舶交通统计资料并估算受限水域的航行模式。Silveira等人（2013年）使用AIS数据以图表的形式显示了葡萄牙海岸的船舶交通模式。Meng等人（2014）调查了新加坡海峡的船舶交通特性。这些现存的研究大部分是只致力于分析船舶交通流的静态特性，例如船舶交通量和在一些特定水域的航行速度。然而，对于港口运营管理和规划，深入研究很重要：（i）船舶交通的起点和终点（ii）船舶交通的时空动态状况，例如航行速度和密度（如图2所示）。因此，仍有研究的不足需要进一步完善。

图2.新加坡港口水域船舶航行速度的空间分布（2013年10月2日04：00-00：15）

首先，在运用AIS大数据进行船舶交通时空动态定量分析的研究很少。在道路交通中，起点-终点（OD）交通研究是交通管理的基础并且已经有了一个系统的调查（Cascetta等，1993）。随着移动传感器的发展，研究人员已经开发了几种基于大数据技术的OD估算方法（Shi和Abdel-Aty，2015）。然而，至于船舶交通，基于AIS数据的相应的OD估算方法却很少。

第二，对船舶交通时空模型的研究很少。在道路交通中，研究人员已经开发了时空模型来捕捉交通状况动态。例如，一个时空自相关分析就是使用在伦敦公路网络上收集到的交通时间数据来实现的（Cheng等，2012）。Yue和Yeh（2008）使用互相关分析调查了交通流的时空依赖性。基于字典的压缩理论被用于识别时空模式的特性，它是通过分析多维的与交通相关的数据来实现的(Zhang 等人, 2016)。一些研究人员在宏观安全分析的背景下开发了贝叶斯时空交互方法，并将这一方法应用于热点识别（Dong 等人，2016）。对于船舶交通，很少有研究人员（Pallotta等，2013; Shelmerdine，2015）用显示在地图上的船舶轨迹而不是使用定量模型来检查空间和时间变化。

第三，对于新加坡港口水域的船舶交通，它比在以往的研究中所研究的公海或海峡（例如葡萄牙海岸或新加坡海西）要复杂的多。在新加坡港口水域，群岛的布局使得这个导航路线呈现出一种模式，这个模式类似于有很多交叉点的城市道路交通网。目前，有研究报告显示新加坡海峡的交通特征（Meng等，2014）；尽管如此，却没有研究涉及这个大港口的船舶交通时空动态。从AIS中提取的大量船舶交通数据能够使我们在研究多维船舶交通流分析中更加深入。因此，有必要开发一种可行的船舶交通时空动态定量分析方法。

为了处理上述研究的困难，我们利用大型AIS数据开发了一种具体的分析方法，用于对港口水域船舶交通进行时空分析。该方法包括两个主要模块：交通需求分析和交通状态时空分析。交通需求分析模块包括三个子模块：船舶交通产生和吸引（GA）分析，起点和终点（OD）分析以及船舶路线选择分析。交通状态时空分析致力于空间自相关模型的发展，以描绘港口水域船舶交通状态的时空变化。这种分析方法不仅给船舶交通空间分布描绘了一幅完整的图像，还提供了时间动态船舶交通信息。在新加坡港口水域有1.82亿条记录AIS的大数据，用于评估拟议的方法。我们将利用国际海事组织的真实事故信息，进一步研究船舶交通状况空间分布对船舶事故的影响。

这项研究的贡献是双重的。首先，我们提出了一种使用Hadoop和MapReduce的大数据技术分析方法，来定量分析船舶交通需求和港口水域船舶交通的时空动态。其次，所提出的方法已成功应用于世界上最繁忙的港口水域之一：新加坡港口水域。海事击鼓和海运业可以从本研究的结果中受益。例如，这个的方法已经通过船舶航行速度识别出了新加坡海峡的几个热点区域，在这些热点区域内有发生事故的倾向。

2研究方法

在本节中，我们将介绍我们方法的逻辑框架，然后详细描述该方法的关键组成部分。

2.1逻辑框架

基于AIS大数据的船舶交通时空分析的逻辑框架如图3所示。它由三部分组成：AIS数据采集和预处理，船舶需求分析和船舶交通流时空分析。

图3.船舶交通时空分析的逻辑框架

2.1.1数据的收集和预处理

我们使用两个与船舶相关的数据源：AIS数据和船舶特征数据库。该步骤的主要任务是使用于船舶交通分析AIS数据可靠。更具体地说，应该在时域中AIS数据应被清理和插入。这是因为AIS数据在收集、传输和接收过程中难免发生错误。因此，AIS数据必须经过处理来消除可能存在的噪音。此外，AIS数据应在不同时间随机地发送出去。

数据预处理包括AIS数据的降噪处理和AIS数据数值插入。基于基本的船舶运动物理规律，Qu等人（2011）提出了可用于清除AIS数据噪声的程序。为了获得船舶的瞬时状态，AIS数据可能会按照预先设定好的时间间隔插入。在这项研究中，张等人（2015）在论文中提出了一种线性插值方法，该方法将数据插入的时间间隔预先设定成30s。AIS数据预处理算法的细节详见附录A。

由于AIS数据非常大，因此应使用大数据技术进行预处理。在新加坡高性能计算研究所（IHPC0中就维护了一个大的AIS数据源，其中就包括新加坡港口和新加坡海峡的AIS数据，这些数据存储在180 MB（百万字节）的文本文件中。每个月AIS数据约为35 GB（千兆字节）。 2016年AIS数据的数据量甚至更大。 总AIS数据超过2 TB，而且仍在继续增加。

数据的处理是在7-节点Hadoop集群上，包括1个名字节点和6个数据节点，用MapRuduce进行处理。每个节点都有32 GB RAM，1 TB存储和24个核心，核心频率为2.3 GHz。AIS数据放置在Hadoop分布式文件系统（HDFS）中（Radtka和Miner，2015）。AIS处理是使用Python和Mrjob的MapReduce框架实现的（Radtka和Miner，2015）。使用MapReduce框架实现AIS的处理过程如图4所示。

2.1.2船舶交通需求分析

船舶交通需求分析包括三个子模块：船舶交通产生和吸引（GA）分析，船舶交通起始点（OD）估计和导航路线选择分析。首先，被观察的港口水域根据其在港口系统中的功能被划分为多个交通区域（TZ），这些区域将被视为船舶交通的出发点和目的地。然后，利用TZ的功能信息，提取船舶特性，船舶的运动状态和各船舶的导航链。船舶的交通量，船舶的组成和OD矩阵将会被估算出来，这将在以下章节中详细说明。第三个子模块的目的是分析各个OD选项之间的船舶航线选择，选择结果将受到许多因素的影响，包括港口运营政策，船舶运输和引航员的经验。

2.1.3船舶交通时空分析

船舶交通时空分析旨在研究空间空间中船舶交通状态随时间的变化。例如，找到高船速航行的热点或船舶航行速度变化很大的区域，并探索它们随时间的变化。具体而言，两

图4

种类型的空间自相关模型被开发出来：全局空间自相关模型和局部空间自相关模型。前者分析了船舶交通状态的空间格局，后者可以找到高速/高密度的热点区域，或者交通状态变化很大的水域。

2.2船舶活动链分析和船舶OD估算算法

船队的航迹可以用一个集合来表示：J={J_i|,i=1,2,hellip;,m},其中Ji是船舶i的轨迹，m是船的数量。则船舶i的轨迹定义为：

J_i= {p_i^k |p_i^k= (t_k , x_i^k, y_i^k, u_i^k )^T, k=1,2,hellip;,n},

其中k是时间间隔指数，n是在分析期间的总的时间间隔数（例如，如果1小时被等分成12段，那么一段间隔就是5分钟，那么n=12，k=1,2,hellip;,12）,p_i^k是船舶i在t_k时间的状态向量。至于状态向量，x_i^k和y_i^k是船舶i在t_k时间的坐标分量，u_i^k是船舶i在t_k时间的速度。

船舶的活动链通常包括两种行为活动，即航行服务和接待服务。船舶的航行过程是从一个海上交通区（MTAZ）到另一个交通区域的一个过程。接待服务行为包括装货，卸货，等待停泊，补充食物，水和能源等。因此，船舶i的活动链可以由集合A_i={T_i , S_i}表示，其中T_i表示船舶i的行程，S_i表示船舶i接待的服务行为。集合T_i由集合T_i={J_i(t₁^j,t₂^j)|j=1,2hellip;n_Tⁱ}来定义，其中n_Tⁱ是船舶i的行程次数，j是行程指数; J_i(t₁^j,t₂^j)代表了船舶i在t₁~t₂时间段内的第j次航行，定义为J_i(t₁^j,t₂^j)={p_i^k|t₁^jle;kle;t₂^j}，其中t₁^j和t₂^j分别是航程的开始时间和结束时间，因此航程起始位置和终止位置分别是（x_i^t₁^j,y_ilt;

资料编号：[4411]