摘 要

本文主要采用了卷积神经网络分割多模态脑肿瘤，首先用CNN实现了此次任务，然后针对CNN分割边缘模糊的问题提出了基于canny算子的卷积神经网络，最后针对图像三维信息不能充分利用的问题，本文采用了一种卷积神经网络级联方法，将多模态脑肿瘤的磁共振(MR)图像分割为三个层次区域:全肿瘤、肿瘤核和增强核。该级联算法将多类分割问题按照子区域层次结构分解为三个二值分割问题序列。第一步对整个肿瘤进行分割，第二步用结果的包围框对肿瘤核心进行分割。然后根据肿瘤核分割结果的边界框对增强肿瘤核进行分割。我们的网络由多个分层的各向异性和膨胀卷积滤波器组成，并结合多视点融合来减少误报。这些网络采用剩余连接和多尺度预测来提高分割性能。BraTS 2017验证集实验表明，该方法的增强核、全肿瘤、肿瘤核平均Dice系数分别为0.7512、0.9070、 0.8984。BraTS 2017测试集的对应的相应值分别为0.7831、0.8739和0.7748。

关键词：卷积神经网络；CNN；多模态脑肿瘤；图像分割

Abstract

This paper mainly uses convolution neural network to segment multimodal brain tumors. First, CNN is used to achieve this task. Then, aiming at the problem of edge ambiguity in CNN segmentation, a convolution neural network based on Canny operator is proposed to realize this experimental task. Finally, aiming at the problem that the three-dimensional information of images can not be fully utilized, a cascade method of convolution neural network is implemented in this paper. The magnetic resonance (MR) images of tumors are divided into three levels: whole tumors, nuclei of tumors and nuclei of enhancement. The cascade algorithm decomposes the multi-class segmentation problem into three binary segmentation problem sequences according to the hierarchical structure of sub-regions. The first step is to segment the whole tumor, and the second step is to segment the core of the tumor with the result bounding frame. Then enhanc ing tumor nucleus is segmented according to the boundary box of the segmentation result. Our network is composed of multiple layered anisotropic and expansive convolution filters, and combines multi-view fusion to reduce false positives. These networks use residual connections and multi-scale prediction to improve segmentation performance. The BraTS 2017 verification set experiment shows that the average number of dice points of this method is 0.7512、0.9070、 0.8984 was used to enhance the core of tumors, the whole tumors and the core of tumors, respectively. The corresponding values of BraTS 2017 test set were 0.7831, 0.8739 and 0.7748 respectively.

Key words: convolutional neural network；CNN；multimodal brain tumors graph

目 录

第1章 绪论 1

1.1 引言 1

1.2 研究工作背景及意义 1

1.2.1 研究背景 1

1.2.2 研究工作的意义 2

1.3 国内外研究现状 2

1.4 论文主要安排和内容 4

第2章 基于卷积神经网络的脑肿瘤图像分割 5

2.1 数据集介绍 5

2.2 卷积神经网络模型介绍 6

2.3 基于卷积神经网络的图像分割 6

2.3.1 数据预处理 6

2.3.2 切片提取与数据增强 8

2.3.3 构建网络 9

2.3.4 模型训练及测试 12

2.4 结果分析 13

2.5本章小结 13

第3章 基于canny算子的边缘检测算法的卷积神经网络 15

3.1数据预处理 15

3.2模型构建 15

3.2.1 canny边缘检测算法介绍 15

3.2.2 基于canny边缘检测的卷积神经网络介绍 16

3.3 模型训练及结果分析 17

3.3.1 模型训练过程 17

3.3.2 结果分析 18

3.4 本章小结 19

第4章 基于级联各向异性卷积神经网络脑肿瘤分割方法 20

4.1 级联的各向异性卷积神经网络模型介绍 20

4.2 基于级联各向异性卷积神经网络的模型构建 20

4.2.1 级联的卷积神经网络框架 20

4.2.2 各向异性的卷积神经网络 21

4.3 实验所用工具 23

4.3.1 深度学习框架 23

4.3.2 实验环境配置 26

4.4 模型训练与结果评估分析 26

4.4.1 训练过程 26

4.4.2 结果分析 32

4.5 本章小结 35

第5章 总结与展望 36

参考文献 37

致 谢 39

第1章 绪论

1.1 引言

胶质瘤一般是成年人才比较容易得的脑肿瘤，神经胶质瘤可以分为低级别胶质瘤（LGG）和高级别胶质瘤（HGG），是由于胶质层细胞把周边的组织浸润并感染，所以这种病更具侵袭性。对于这两种变体，使用MRI的成像方式对疾病进展和所选治疗策略的效果进行评估。大多数的方法是为了在多模态脑肿瘤医学影像数据集中分割出来脑肿瘤的所在区域。肿瘤区域的确定是指不同于周围正常组织强度的部分。MRI成像方式中的强度没有组织特异性值，这意着相同的组织具有广泛的强度范围。MRI数据集来自不同的扫描仪，具有不同的配置，这使得分割更具挑战性。

1.2 研究工作背景及意义

1.2.1 研究背景

X射线、CT、核磁共振等是医学影像中最常见的几种成像方式^[1]。MRI做为先进的影响检测技术之一，在许多方面有着独到的优势。核磁共振成像主要有以下几个特点。

1. 无损伤检查。无论是X射线还是CT等检查，接受治疗者免不了会接触到电离辐射，但是不得不说的是，经二十多年来的大量的临床试验证明，MRI对接收治疗的对象没有危害。对于孕妇来说，大家都了解的是，她们只能进行MRI这种无辐射的检查。
2. 图像种类多。X射线和CT都只有X线吸收率这一种成像方式。而MRI却与此大不相同，其经常使用的图像多达几十种，而理论上是可以达到无穷多种图像的种类的。最重要的是，伴随着新技术的发展，其成像的序列也在不断更新。并且为了能够让疾病的诊断证据更加充分更加可信，医生可利用不一样的组织特性，通过各种各样的技术从而来制造对比，制造影像。这样使得医学成像细节丰富，依据众多，有利于医生做出更加明确的判断。
3. 图像对比度高。经过人们的大量研究发现，从对比度方面来讲，CT图像远远要低于MRI。这主要得益于MRI图像的成像原理，即信号的来源。任何的医学图像想要成像，必须要有信号的来源，而核磁共振图像的信号来源是氢原子核。而正是利用了人体内含有大量的氢原子这一点，所以才能够以此来作为核磁共振图像的信号来源。而不得不说的是，人体内部的氢原子核主要来自于水脂肪蛋白质，这三种物质均含有大量的氢原子核，并且这三种成分的MRI信号强度大为不同，这就使得MRI图像的差异化比较明显，从而使得正常和异常组织比较容易分辨。

（4）任意方位断层。依靠核磁共振现象来产生MRI信号的来源。人体组织的核磁共振信号表现在核磁共振图像上时，亮度值与信号值是成正比的。人体组织的生理、病理MRI信号表现在MRI图像上，亮度与信号值成正比。组织的信号值越高，亮度就越高（即越白）。而图像组织对比度的来源是人体各个组织相应的T1、T2值之间的差异。图像空间信息的来源通过扫描同一个病人的头颅不同深度处的切片来获得^[2]。

1.2.2 研究意义

据不完全统计，美国每年的原发性脑肿瘤发病率较高，高达19万/年，其中胶质瘤患者约为10万人^[3]。然而对肿瘤进行分类是一项挑战，因为它代表了一些异常组织类型的集合，这些异常组织类型导致没有足够的标记训练数据集来了解未知肿瘤的不同特征。因此准确高效的脑肿瘤图像的分割是非常重要的。由于每个患者脑肿瘤的大小结构位置形状差别很大，所以想要设计出一种鲁棒的全自动方法比较困难。另外，需要干预自动结果的评估和验证。所以找到能够准确分割出多模态脑肿瘤的方法显得格外重要。

1.3 国内外研究现状

对于医学图像处理，人们研究出了许多的方法进行处理。各种各样的算法层出不穷，然而并没有一个特定的算法能够解决所有需要处理的问题，但是脑肿瘤分割又是一项急需解决的任务，因为这关系到人们的身体健康状况，所以对于脑肿瘤的分割一直有新的算法出现。近年来机器学习广泛应用于各个领域，而图像处理很适合用机器学习来进行研究，图像处理一般数据量大，这就为模型的训练提供了充足的数据源。而用于医学图像分割的深度学习框架，主要是CNN和U-net^[4]。

(1)基于CNN 的框架：

CNN的出现使得图像处理有了很大的进步，因为CNN的输入是二维的向量，而灰度图像是二维的，也可以多通道输入，CNN网络可以处理大量的数据进行训练，CNN会对图像的像素分类，取出像素块最为网络的输入，其原理如图1.1所示。

(2)基于FCN的框架

基于FCN的结构即U-net网络，用来处理医学图像的分割，也是很常用的一种方法。其结构图1.2所示。

由图1.2可以看出，相比于CNN，U-net没有全连接层。U-net是通过将卷积神网络的全连接层改成了卷积层，这使得输出不同于CNN，CNN的输出是（1，m）的一维向量，其中m表示类别。而U-net又采用了上采样，使得输出不再是一维向量^[5]。

图1.1 CNN框架结构

图1.2 U-net框架结构

1.4 论文主要安排和内容

本文结构安排如下：

第一章绪论。介绍了多模态脑肿瘤分割背景以及研究意义，分析了医学图像分割常用的机器学习框架。

第二章为基于CNN的脑肿瘤图像分割方法。首先介绍了该试验所用到的数据集，以及CNN卷积神经网络的构建，然后详细展示了该模型是如何用于分割多模态脑肿瘤的，其中包括如何对数据进行预处理，并且着重介绍了卷积神经网络的算法步骤以及如何进行相应的实验以及实验结果的分析，最后分析了该算法的优缺点。

第三章为基于卷积神经网络的canny算子进行脑肿瘤分割的原理介绍，边缘检测法用于CNN模型中来分割脑肿瘤图像，其中边缘检测算法能够分割出脑肿瘤的轮廓^[6]，但目前该算法只是对检测脑肿瘤做了两类分割，并未在多模态的脑肿瘤上继续实验。实验证明该方法也能够很好的检测出肿瘤的边缘轮廓，虽然只是两类分割，但为进一步分割多模态肿瘤奠定了基础。

第四章主要介绍了级联各向异性卷积神经网络的脑肿瘤分割方法^[7]。首先介绍了级联的各向异性的卷积神经网络的算法流程，然后详细介绍了级联的各向异性卷积神经网络紧接着介绍了实验所用的环境及深度学习框架。并详细介绍了模型训练过程及结果分析。

第五章为总结，总结了卷积神经网络算法，以及基于canny算子的卷积神经网络算法和级联的各向异性卷积神经网络算法，对比了各个算法优缺点，并对下一步的工作进行了展望。

第2章 基于卷积神经网络的脑肿瘤图像分割

2.1 数据集介绍

实验用到的数据在Multimodal Brain Tumor Segmentation Challenge 2018比赛里下载，所有的BraTS多模式扫描均可作为NIfTI文件（.nii.gz）获得，并且分为T1、T1Gd、T2和FLAIR，并使用不同的临床协议和来自多个机构的各种扫描仪器获得。所有的城乡数据集都将按照相同的注释协议，由一到四个评估者手动分段，并且他们的注释得到了有经验的神经放射科医师的批准。注释包括GD增强肿瘤（ET-标签4）,肿瘤周围水肿区域（ED-标签2），以及坏死和增强肿瘤核心（NCR、NET-标签1）^[7]。通过使用提供的临床获得的训练数据产生不同神经胶质瘤亚区域的分段标签。与T1相比，ET显示T1Gd高强度的区域，但与T1Gd中的“健康”白质相比其强度也较高。TC描述了肿瘤的大部分，这是通常切除的肿瘤。TC包括ET，以及肿瘤的坏死（充满液体）和非增强（固体）部分。与T1相比，坏死（NCR）和非增强（NET）肿瘤核心的外观在T1-Gd中通常是低强度的。WT描述了疾病的完整程度，因为它需要TC和肿瘤周围水肿（ED），其通常由FLAIR中的高强度信号描绘^[8]。提供的数据中的标签是: 1表示NCR和NET，  2表示ED，  4表示ET，0表示其他所有内容^[9]。提供的数据在它们的预处理，即共同登记到相同的解剖模板，内插到相同的分辨率（）并且颅骨剥离。

与2016年前的BraTS数据相比较,2018年的数据有着显著的不同。以前使用过并且将再次使用的唯一数据（在BraTS'17-'18期间）是BraTS'12-'13的图像和注释，其已经由过去的临床专家手动注释^[10]。在BraTS'14-'16（来自TCIA）期间使用的数据已被丢弃，因为他们描述了手术前和手术后扫描的混合物，他们的地面真实标签已经通过融合高度排名的算法的分割结果进行注释在BraTS'12和'13期间。今年，专家神经放射学家已经放射学评估了完整的原始TCIA神经胶质瘤集合（TCGA-GBM，n = 262和TCGA-LGG，n = 199），并将每次扫描分类为手术前或手术后。

生存者数据，以天为单位定义的总生存（OS）数据包括在.csv文件中，其与成像数据的伪标识符相对应。.csv文件还将包括患者的年龄以及切除状态。请注意，只有具有GTR切除状态的受试者（即总切除总数）才会被评估。

图2.1显示出了具有以不同模态（左上）注释的肿瘤子区域和整个数据集的最终标签（右）的图像块。图像斑块从左到右显示：T2-FLAIR中可见的整个肿瘤（黄色）（图A），T2中可见肿瘤核心（红色）（图B），增强的肿瘤结构（浅蓝色）可见在T1Gd中，围绕核心的囊性/坏死组分（绿色）（图C）。将分割组合以产生肿瘤亚区的最终标记（图D）：水肿（黄色），非增强的实心核（红色），坏死/囊性核（绿色），增强核（蓝色）^[11]。

图2.1 神经胶质瘤亚区域

2.2 卷积神经网络模型介绍

卷积神经网络（CNN）自2012年以来，在图像分类和图像检测等方面取得了巨大的成就和广泛的应用。CNN的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高^[12]。为了对一个像素分类，使用该像素周围的一个图像块作为CNN的输入用于训练和预测。这种方法有几个缺点：一是存储开销很大。例如对每个像素使用的图像块的大小为15x15，则所需的存储空间为原来图像的225倍。二是计算效率低下。相邻的像素块基本上是重复的，针对每个像素块逐个计算卷积，这种计算也有很大程度上的重复。三是像素块大小的限制了感知区域的大小。通常像素块的大小比整幅图像的大小小很多，只能提取一些局部的特征，从而导致分类的性能受到限制^[13]。

2.3 基于卷积神经网络的图像分割

2.3.1 数据预处理

1.数据格式转换

首先对数据格式进行转换，原数据格式为nii格式如图2.2。

图2.2 nii格式图像组织方式

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：