摘 要

随着计算科学的持续发展，以机器学习，深度学习为代表的算法逐步走进了工业和商业领域。以深度学习为背景的图像识别，目标检测和语义分割等研究正逐步替代人工设计的特征提取方案。图像语义分割作为计算机视觉的基本任务之一，是实现图像理解的重要基石性技术。在自动驾驶，无人船，智能机器人等领域，都需要先达成语义分割任务，才能进一步地把握整体场景，从而使识别系统作出最优的决策与判断。

本文的设计目标是构建一个端到端的用于对航道环境进行语义分割任务的神经网络模型。在网络模型的构建中，首先以ResNet残差神经网络为特征提取的主体框架。然后在该特征提取网络中结合多尺度池化模块，融合图像上下文信息，赋予模型整合场景语义信息的能力。在模型的后端加上全卷积网络FCN的预测分割层，输出最终实现的航道环境分割图像。

对于训练神经网络所用的数据集，将通过自行采集与整理航道航行环境的图片数据集，并使用语义分割标注工具对航道场景中的具体事物类别进行像素级的语义标注。在模型的训练过程中，探讨了训练使用的参数对于语义分割模型损失值与准确率等指标的影响。最后以训练所得的语义分割模型为基础，并结合基于视频处理方式的模块，使得整体系统能够对航道场景视频数据进行分割与解析。

关键词：深度学习，神经网络，语义分割，场景解析

Abstract

With the continuous development of computational science, algorithms represented by machine learning and deep learning have gradually entered the industrial and commercial fields. Image recognition, target detection and semantic segmentation based on deep learning are gradually replacing artificially designed feature extraction schemes. As one of the basic tasks of computer vision, image semantic segmentation is an important cornerstone technology for image understanding. In the fields of automatic driving, unmanned ships, intelligent robots, etc., in order to gain further understanding of the overall scene, it is necessary to reach the semantic segmentation task first, so that the recognition system could make the optimal decision.

The aim of this paper is to implement an end-to-end neural network model for semantic segmentation of the channel environment. In the construction of the network, the ResNet residual neural network is used as the part of feature extraction of the semantic segmentation model. Then, the multi-scale pooling module is combined in the feature extraction network to put the image context information together, so that the model is given the ability to integrate the scene semantic information. At the back end of the model, a predictive segmentation layer of the full convolutional network FCN is added, and the finally implemented channel environment segmentation image is output.

For the data set used to train the neural network, the image data set of the navigation environment of the navigation channel is collected and collated by myself, and the semantic classification annotation tool is used to perform pixel-level semantic annotation on the specific object categories in the navigation channel scene. In the training process of the model, the influence of the parameters used in training on the loss value and accuracy of the semantic segmentation model is discussed. Finally, based on the semantic segmentation model obtained by training, combined with the module based on video processing, the whole system can segment and analyze the video data of the channel scene.

Keywords: deep learning, neural network, semantic segmentation, scene parsing

目 录

第1章 绪论 1

1.1 课题背景及意义 1

1.2 国内外研究现状 1

1.3 论文主要研究内容 2

1.4 论文的结构安排 2

第2章 语义分割系统设计 4

2.1 语义分割任务需求分析 4

2.2 语义分割模型系统结构设计 4

2.3 语义分割数据集构建 5

2.4 神经网络模型构建关键技术 5

2.4.1 Tensorflow计算模式 5

2.4.2 卷积计算 6

2.4.3 池化操作 6

2.4.4 激活函数 7

2.4.5 损失函数 8

2.4.6 损失优化 9

2.5 本章小结 10

第3章 语意分割模型结构 11

3.1 特征提取网络 11

3.1.1 AlexNet 11

3.1.2 VGGNet 11

3.1.3 ResNet 12

3.2 语义信息聚合模块 13

3.2.1 FCN跳跃式上采样模块 13

3.2.2 SegNet编解码模块 14

3.2.3 多尺度池化模块 15

3.3 预测分割层 16

3.4 本章小结 17

第4章 航道环境语义分割模型工程实现 18

4.1模型工程设计与核心代码实现 18

4.2 软硬件环境配置 23

4.3 训练数据集 23

4.5 模型训练参数设置实验 25

4.6 本章小结 27

第5章 总结与展望 28

5.1 全文总结 28

5.2 后续研究展望 28

参考文献 29

致谢 31

第1章 绪论

1.1课题研究背景与意义

计算机视觉研究的根本问题与根本目的是获取并利用视觉特征开展事物认知和场景解析等研究，最终使得计算机达到视觉认知与理解。在工业领域中，无论是智能驾驶技术还是智能机器人领域，计算机视觉技术都不可或缺。

以深度学习和神经网络为基础的计算机视觉技术已为部分行业难题提供了较为完善解决方案，像人脸识别、目标追踪刷脸支付等技术也已经走进了我们的日常生活。不过在场景理解任务中，虽然目标检测方法可以帮助我们标定出图像场景中被追踪目标的边框，而图像识别方法可以让我们进行准确的物体分类，但是人类可以对场景的具体事物进行精细的边界标记界定，能够达到对事物像素级的识别。

语义分割的具体实现是需要将视觉输入中的每一个像素分割为在真实世界中是有意义的语义可解释类别，即是将每一个图片像素与其所属具体事物的类别对应起来。所以进一步理解图像场景的关键在于将一个整体场景分解成几个单独的实体，从而推理场景中物体目标的不同行为。像自动驾驶汽车，智能机器人和无人船等领域的发展都需要构建的系统深入理解周围环境，从而作出最佳判断与决策。因此寻找一种高效与精确的图像语义分割方法具有极为重要的现实意义和应用价值。

1.2国内外研究现状