英语原文共 13 页

海洋领域中的背景建模

摘要：

由于观测场景的复杂性，自动视频监控在海洋环境中具有挑战性：水面上的波浪，船只尾迹和天气问题都有助于生成高度动态的背景。而且，一个适当的背景模型必须能处理渐变和突然的光照变化，相机抖动，阴影以及可能引发错误检测的反射。由于对非规则模式进行建模的需要，使用预定义的分布（例如，高斯）来生成背景模型可能导致无效。在本文中，一种基于未知分布的创造“离散化”的方法可以模拟高度动态的背景，例如对水的描述。有两个公开且可利用图像视频数据集，包含了不同的海洋场景和光线、天气状况变化的数据记录，在对它们的定量评估中，证明了该方法的有效性。

关键词：

背景减除·动态背景·海上监控·海洋数据集

1.介绍

背景减除（BS）是一种检测由固定相机捕捉到的视频序列中移动物体的常见方法。它的目标是操作原始视频中的数据，通过比较当前帧与场景背景（BG）的模型识别移动区域（前景，FG）。实现实时表现的可能性使得BS成为许多更高级别任务的初始步骤，例如视觉追踪，物体识别和检测异常行为。

通常，BS包括两个阶段：

1.背景初始化，生成背景的初始模型;

2.模型更新，根据观察场景的变化更新背景模型的信息。

由于BS高度依赖于BG模型创建的有效性，建立一个准确的模型成为了关键问题。一系列可变方面，也取决于所考虑环境的类型，如光照的变化（渐变和突然），阴影，相机抖动（由于风），背景元素的运动（例如，在微风中摇曳的树木），以及背景几何形状的修改（例如，停放的汽车），使它成为一个难以解决的问题。

由于监控场景的复杂性，海洋领域是最具挑战性的BS场景之一：海面上的波浪，船舶尾迹和天气问题（如明亮的阳光，雾，大雨）会导致生成高度动态的背景（见图1）。

图1：海上场景中的挑战。太阳反射，水面上的波浪和船舶尾迹会生成高度动态的背景。在这个图像中，从三个不同的角度观察相同的场景。

在本文中，我们描述了一种名为独立多模式背景减除（IMBS）的BS方法，专为处理水的背景而设计，但可以成功地应用到每个场景中，该算法目前正用于真正的24/7视频监控系统中，用于控制威尼斯的海上交通。

这个被提议方法的主要贡献是：

—无需维护前一帧缓冲区的捕获多模式背景实质即时聚类算法。

—可以检测背景几何变化的模型更新机制。

—噪音消除模块，用于帮助过滤掉由于反射和船舶尾迹导致的错误检测。

在不同的光线和天气条件下，IMBS已经过实时系统大量视频数据集的定量评估，包含在不同场景中记录的数据。此外，第二个包含水背景序列公开可用的数据集已被用于进一步验证方法。通过使用广泛的OpenCV库实现的几种最先进的算法产生的比较结果证明了这一方法的有效性和实时表现。

IMBS作为开源代码和所有用于评估的数据，以及额外的对照，可以从公开可用的海上活动识别数据集（MAR）下载。

本文的其余部分安排如下，相关工作将在第2节进行分析，我们的方法在第3节中介绍，第4节描述噪音抑制模块，用于帮助过滤掉由于反射和船舶尾迹导致的错误检测。定性和定量评估结果见第5节，第6节提供结论。

2.相关工作

文献中已提出BS方法的不同分类，Cristani等人将BS算法划分为四个类别：

(i)逐像素：逐像素的方法将每个像素信号视为独立的过程，这类方法需要最少的计算量并且可以实现实时处理的性能。

(ii)逐区域：基于区域的算法通常将帧分成块并计算特定块的特征以获取前景。通过这种方式，可以更加健全的描述观察场景的视觉外观。实际上，来自一组像素的信息可以用于模拟背景场景的一部分，它们局部摆动或略微移动，如叶子或旗子。而且，通过考虑一个区域的图像而不是单个像素允许了计算直方图和提取可以用于过滤误报的边缘。

(iii)逐帧：场景中的全局变化只能通过帧级推理检测到。包含全部帧的特定情形，比如在室内打开和关闭灯这样的场景，不考虑图像中的所有像素就无法处理。

(iv)多阶段：多阶段方法在一系列过程中结合了上述的方法，在不同的级别中执行多个步骤，从而改进最终的结果。

Cheung和Kamat确定了两种BS方法，即递归和非递归。

(i)递归算法利用单个的BG模型，在每个模型上递归更新的全新输入框架。

(ii)非递归方法维持一个先前帧的缓冲区并预估基于缓冲区中对帧进行统计分析的BG模型。

Mittal和Paragios提出了第三种分类方法，将BS分为预测和非预测的方法。

(i)预测算法将场景建模为一个时间序列，并开发一个动态模型来恢复基于之前观察的当前输入。

(ii) 非预测性技术忽视了输入观测的顺序，并在特定像素上建立了观测概率。

Rankin等人提出了两种与检测反射表面有关的方法，两种方法都是基于对图像的HSV色彩空间分析。实际上，单一成分H（色调），S（饱和度），V（值或亮度）具有能够检测图像的哪一部分是反射面的特性。

虽然有许多在动态环境中进行背景建模的普通方法，但只有少数在水的背景中进行了测试，因此实时，完整，有效的海上场景解决方案尚不存在。特别是水的背景比其他种类的动态场景更加困难，因为水面上的波浪不属于前景，即使它涉及了运动。此外，阳光反射与反射面有着不一样的特性。

正如Ablavsky所建议的，处理水的背景最基本的是将逐像素统计模型与全局场景运动模型整合在一起。实际上，BG模型必须在检测运动物体上足够灵敏，并且能适应长期照明和结构的变化（例如，进入场景并静止的物体）。

Zhang等人已研究过一个像素与其相邻像素在动态背景中的空间依赖关系，局部依赖描述符称为LDH（局部依赖关系直方图），可以从连续的帧捕中获像素之间的空间依赖关系。将像素标记为前景或背景是通过在当前帧中比较新的LDH计算和模型的LDH。因此，对于图像中的每个像素，一个先前帧观察到的像素组成的自适应样本可以被保留。如果其中一个估计概率大于固定概率阈值，那么这个像素被视为背景点。

逐像素方法通常会失败，因为水固有丰富和动态的纹理背景导致单个像素发生较大变化。非参数方法无法学习所有的变化，因为水面上的变化没有任何规律的模式。更复杂的方法可以以增加计算量为代价获得更好的结果。

在下一节中，我们将介绍名为IMBS的方法。它是一个多阶段（逐像素，逐帧），非递归，非预测性和实时BS算法。

图2：Jug序列7120至7170帧像素点（白点）的RGB和HSV值。X轴表示颜色组成值，而Y轴上表示出现次数，HSV值缩放为 [0，255]。

图3：MAR数据集中序列1的50至150帧像素点（白点）的RGB和HSV值。X轴表示颜色组成值，而Y轴上表示出现次数，HSV值缩放为 [0，255]。

3.独立多模式背景减除方法

海水背景中像素颜色值的分析强调非规则模式的存在。例如，图2显示了Jug序列50帧之后RGB和HSV颜色直方图，RGB值（参见图2顶部的三个直方图）分散在很大一部分的光谱上，例如，红色值的范围是105至155。还有HSV值（图2底部的三个直方图）也覆盖在很大一部分的光谱上，特别是色调值在几个区间内有了巨大分差。

通过分析受反射影响的背景区域内的像素可以观察到整个光谱图上更为显著的值分布，在这种情况下，红色值的范围为85到245。

这两个例子支持这一假设：建模中使用预定义的固定分布对于海水背景变化多端的特性是不合适的。为了进一步验证这一假设，Anderson-Darling测试方法已被用于图2和图3中的颜色值，发现在所有情况下，常态假设都是错误的。

为了应对海水背景，有一个可行的解决方案是通过在线聚类机制创建一个离散化的未知分布。将背景中的每个像素建模为一组可变大小的集合，不包含任何对观测分布的先验假设。

算法1中报告了所以方法的细节，I（t）是时间t的当前图像，B是BG模型，t_s是最后一个已处理场景样本的时间戳，输入参数是采样周期P，需要分析的场景样本数量是N，规定尺寸范围的关联阈值A和维度阈值D。而且，可以用这些参数用于滤除阴影像素和管理反射。图4 中的图表阐述了IMBS算法。

3.1 背景创建

程序BG-初始化程序（见算法2）负责创建BG模型的同时，FG计算程序（见算法3）生成二进制FG图像。

BG模型的计算是通过逐像素的，N帧的在线统计分析，以实现高计算速度。每P个毫秒内，当前帧I被视为一个场景样本S_k，其中1le;kle;N。

设I(t)是时刻t的输入帧W times; H，fgmask(t)是对应的二进制前景图像。BG模型是H行和W列的矩阵。矩阵中的每个元素B(i，j)是一组映射lang;c; f(c)rang;，其中c是所选颜色空间的值（例如，RGB或HSV），f(c)是返回场景样本中像素数量的函数，场景样本中的颜色组成值用表示。值得注意的是，通过将所有颜色通道绑定在单个元素上对每个像素建模的优点是，能够捕获颜色通道之间的数据依赖性，而不是独立地考虑每个通道。

来自场景样本S_k的每个像素都与符合阈值A的元素B相关联（见算法2）。一旦处理完最后一个样本S_N，如果一对T具有不小于阈值D的f（c）个相关样本，即T := lt;c; f(c) ge; Dgt;，那么它的颜色值c成为一个重要的背景参数。

IMBS方法在处理序列的开始就不需要场景是不含前景元素的，而这是其他方法需要的。即使在场景中存在移动物体，不同时间的多个样本也能获得准确的BG模型。实际上，样本中的运动物体将出现在不同的位置上，并影响到BG模型的不同元素。因此，与BG值相关的那些物体会由于阈值D而被舍弃。

假设同一时间内B中的每个元素有【N=D】对以上，使得能够近似多模态概率分布，可以解决波浪的问题，逐渐的光照变化，传感器数据中的噪声和背景中微小的运动物体。此外，每个像素自适应数量的组合，可以模拟不能与预定义分布（例如，高斯分布）相关联的非规则模式。对于流行的高斯混合方法，这是一种不同的近似，因为未知背景分布的“离散化”是通过将每个BG点视为由多组不强制BG值符合预定义分布的lang;c; f(c)rang;组成。

3.2 背景计算

根据算法3中所示的阈值机制计算二进制FG图像fgmask，其中B(I,j)表示B(i; j)中

满足|B(i; j) = ⊘| = 0的组合数，如果dist(c;B(i; j)) gt; A)，则将位置（i,j）处的像素p视为前景点，其中c是p的颜色值，B（i,j）是位置（i,j）的背景值。

使用一组耦合而不是单个BG值可以使得IMBS方法在参数A的选择上是健全的，因为颜色值变化大于A的像素可以由一组邻近的耦合模拟。

IMBS方法需要R = NP的时间来创建第一个背景模型; 然后根据相同的刷新时间R连续构建一个独立于前一个模型的新BG模型。算法的一个关键方面是每个BG模型的独立性，因为：1.允许适应快速变化的环境，避免错误传播 2.不影响缓慢变化的准确性。由于在线的模型创建机制，不需要在内存中存储N个场景样本，这是非递归BS方法的主要缺点。

光照控制器能管理突然的光照变化：如果fgmask中的前景像素的百分比高于特定阈值（例如，50％），则N和P值减小，以便加速新BG模型的创建。为了进一步提高算法的速度，可以并行处理前景提取，将图像分成多个水平切片。

从几个序列的分析中，我们通过实验发现了IMBS参数的恰当值是：A = 5, N = 30, D = 2, and P = 500 ms。使用这些参数，可以每15秒生成新的BG模型，其中仅观察到至少两次的颜色值被认为是BG值，其中观察到至少两次的颜色值被认为是BG值。

3.3 背景更新

Elgammal等人提出了两种替代策略来更新背景。在选择性更新中，仅去更新被分类为属于背景的像素，而在盲更新中，则更新背景模型中的每个像素。选择性（或条件性）更新改善了目标的检测，因为前景信息没有被添加到BG模型中，因此解决了重影观察的问题。但是，当使用选择性更新时，任何不正确的像素分类都会产生持久性错误，因为BG模型永远不会适用于这一方法。

盲更新不会遇到此问题，因为不采取任何更新决策，但它的缺点是不属于背景的值会添加到模型中。

图5：模型更新：（a）汽艇进入监测场景并在几帧内保持相同的位置。（b）通过使用在OpenCV中实现的算法获得的盲更新。 该模型错误地将汽艇作为场景背景的一部分。（c）IMBS模型更新。交通汽艇被识别为潜在的前景区域（灰色像素）。

我们提出了一个不同的解决方案，旨在解决选择性和盲更新的问题。如算法4所示，给定一个场景样本Sk和当前前景掩码fgmask，如果fgmask（i,j）= 1且Sk（i,j）与正在生成的BG模型中的一对T相关联，那么T被标记为“前景耦合”。在计算前景时，如果I（i, j）与前景耦合相关联，则将其分类为潜在的前景点。在计算前景时，如果I（i，j）与前景耦合相关联，则将其分类为潜在的前景点。

这种解决方案可以识别代表静止前景物体的场景区域，如图5所示，其中在几帧上保持在相同位置的目标被检测为潜在前景。关于潜在前景点是否包含在背景之中的决策是基于持久性映射得出的。如果像素在比预定值（例如，R = 2）长的时间段内一直被分类为潜在的前景，那么它会成为BG模型的一部分。

此外，标记

资料编号：[5269]