1．目的及意义

1.1 研究目的及意义

在当前的医疗诊断中，医学图像具有越来越重要的临床应用价值。常用的医学图像有磁共振(Magnetic Resonance Imaging，MRI)、超声、计算机断层扫描(X-RayComputer Tomography，CT)、正电子发射计算机断层扫描以及病理切片图像等。医学图像处理是分析医学图像的首要步骤，有助于使图像更加直观、清晰，提高诊断效率，因此国内外都十分重视医学影像处理。其中，图像分割是图像处理的重要环节，也是难点，是制约三维重建等技术应用的瓶颈性问题。医学图像分割的目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。

从医学图像中自动分割出目标是个艰巨的任务，因为医学图像具有较高的复杂性且缺少简单的线性特征。此外，分割结果的准确率还受到部分容积效应、灰度不均匀性、伪影、不同软组织间灰度的接近性等因素的影响。因此，图像处理领域尽管在已存在很多算法处理上述问题，但是医学图像分割仍然是个复杂和具有挑战性的问题。现有的医学图像分割算法可以分为以下几类：1.基于区域的分割方法，这类方法通过识别图像中对应于不同对象的不同同质区域(Homogeneous Region)来分割图像，但此方法对噪声非常敏感，容易产生分割偏差和过分割的结果。2.基于边缘的分割方法，这类方法根据图像中对象边缘梯度特征来对图像进行分割，虽然方法相对简单，但其性能会受图像弱边缘、伪边缘和噪声的影响。3.基于分类的分割方法，这类方法根据某一特定标准，对图像中每个像素进行分类和标记。该方法主要包括基于阈值的分割算法、基于统计的分割算法和基于聚类的分割算法。在基于阈值的分割方法中，合适阈值的选取是非常困难的。基于统计的分割方法虽可以有效抑制图像噪声对分割结果的影响，但是分割结果的精确性较大程度上依赖于初始参数的选择。基于聚类的分割方法在核磁共振图像上取得了较大成功，但该方法的计算复杂度相对较高。4.基于深度学习的算法， 深度学习已经在图像分类、检测、分割、高分辨率图像生成等诸多领域取得了突破性的成绩。但是它也存在一些问题：首先，它与传统的机器学习方法一样，通常假设训练数据与测试数据服从同样的分布，而实际上这两者存在一定的偏差，比如在测试数据上的预测准确率就通常比在训练数据上的要低，这就是过度拟合的问题；另一个问题是深度学习的模型有时候并不能很好地学到训练数据中的一些特征。比如，在图像分割中，现有的模型通常对每个像素的类别进行预测，像素级别的准确率可能会很高，但是像素与像素之间的相互关系就容易被忽略，使得分割结果不够连续或者明显地使某一个物体在分割结果中的尺寸和形状与在金标准中的尺寸和形状差别较大。

对抗学习（adversarial learning）就是为了解决上述问题而被提出的一种方法。本课题基于对抗学习算法进行研究，学习的过程可以看做是要得到一个模型（例如CNN），使得它在一个输入数据X上得到的输出结果尽可能与真实的结果Y(金标准)一致。在这个过程中，使用一个判别器（discriminator），它可以识别出一个结果y到底是来自模型的预测值还是来自真实的结果。如果这个判别器的水平很高，而它又把y和Y混淆了，无法分清它们之间的区别，那么就说明模型具有很好的表达或预测能力。我们通过研究分析GAN在医学图像分割中的应用，来提高医学图像的分割精度，为患者疾病的诊断和治疗提供可靠依据，从而达到节省医生的人力，缩短诊断时间，精确治疗的目的。

1.2 国内外研究现状

目前为了提高医学图像分割的准确度，许多国内外研究者进行了各种方法的探讨与研究。就国内而言，有舒添慧等人提出的基于区域生长的分割方法，李俊等人提出的基于水平集的分割方法，戴青云等人提出的小波变换与数学形态学结合的算法, 洪文松等人提出的一种基于广义模糊集合的邻域加权预处理算法。虽然传统的医学分割的方法取得了一定的成果，但由于不同模态图像成像原理不同和医学图像本身的复杂性，传统方法方法通常只能处理某一种特定的图像，没有一种方法能对所有模态的图像进行自动、有效的分割。此外，现有方法在处理实验数据时能够得到较好的效果，但当处理复杂的实际医学临床数据时，仍然面临着一些困难。

就国外而言，通常，研究人员使用像素或体素损失（例如交叉熵）进行分割。尽管U-net用于结合低级和高级特征，但不能保证最终分割图中的空间一致性。传统上，通常通过结合空间相关性来采用条件随机场（CRF）和图切割方法来进行分割细化，但缺点是他们仅考虑成对电位，因此可能在低对比度区域中引起严重的边界泄露。另一方面，判别器引入的对抗性损失可以考虑高阶电位，在这种情况下，判别器可以被视为形状调节器，该调节效果也可以作为分割器的内部特征以实现域不变性。Luc等人提出将对抗网络应用到语义分割中，其主要思想是将传统的分割过程看做一个生成过程，用分割器替换原始GAN中的生成器。判别器的任务是判定输入的标签图像是由分割器生成的，还是真实的图像。Luc等人提出的判别器相较于原始GAN中的判别器的显著区别在于：双输入结构，分别是raw image和label map(或者GT)，当成对输入的是raw image和GT时，判别器输出1，当输入的是raw image和生成的label map时，输出0。在零和博弈的框架下，分割器希望生成判别器难以区分的label map，判别器希望尽可能判别出由生成器生成的label map。Zhu等人从另一个角度来使用对抗网络，用对抗网络来提高小规模数据下模型的健壮性，防止过拟合。Xue等人提出了一个SegAN网络，他们采用对抗性损失进行MR图像上的脑肿瘤分割。他们在判别器中使用多尺度L1损耗，比较来自不同深度的特征，这在实施分割图的多尺度空间约束方面是有效的，并且该系统在BRATS 13和15挑战中实现了最先进的性能。Rezaei等人和Li等人也做了类似的脑肿瘤分割工作，他们的生成器采用BRATS 17挑战提供的各种对比度的异质MR扫描。Moeskops等人还评估了MRBrainS13脑部MRI分割任务中对抗性损失的有效性。Kohl等人在MR图像上使用前列腺癌分割的对抗性损失，并且其灵敏度有所提高。Son等人在视网膜图像分割中加入了对抗性损失，他们通过实验比较了判别器的深度对分割性能的影响，结果发现用于鉴别整个图像的深层结构表现最佳，并且对于精细血管具有较少的错误。Yang等人从3D CT体积评估肝脏分割任务中对抗性损失的影响，他们的生成器基本上是一个深度监督的U-net。Zhang等人建议在分割流水线中使用带注释和未注释的图像。带注释的图像应用了元素损失和对抗性损失。未注释的图像仅用于计算分割图以混淆判别器，并在腺体和真菌分割上评估未注释图像的使用效果。Dai等人将对抗性损失应用到胸部X光中，来进行肺部和心脏的分割。通过对JSRT和Montgomery数据库的评估，他们证明了对抗性损失能够纠正其他方法中所面临的形状不一致性而无需进行对抗性训练。Wang等人在组织病理学图像中进行基底膜分割的对抗训练。Rezaei等人在MR图像中使用一系列cGANs来分割心肌和血池。Izadi等人在皮肤病变分割中应用对抗性损失。DermoFit上实验证明，对抗训练有助于提高边界精度。Shankaranarayana等人使用cGAN联合分割视盘和杯子来进行青光眼筛查。Huo等人使用全局卷积网络（GCN）作为pix2pix框架中的生成器。他们发现了GCN引入的大感受野的益处以及在MR图像上异常增大的脾脏分割中的对抗性损失。在所提出的模型中，生成器是一种受全局卷积网络启发的新型深度网络体系结构，它使用较大的卷积核来对具有较大变化的对象进行更好的分割。Li等人将pix2pix和ACGAN结合，用于分割不同细胞类型的荧光显微镜图像,他们发现辅助分类器分支的引入为判别器和分割器提供了调节。

与上述分割工作不同，其中对抗训练是用于确保最终分割图上的更高阶结构的一致性，Zhu等人的对抗训练方案是对训练样本的小扰动实施网络不变性，以减小在小尺寸数据集上的过度拟合。他们对乳房的X光图像进行了大规模分割，并实现了最先进的性能。Kamnitsas等人提出了无监督的域适应脑病变分割，在此方法中，生成器从不同域中提取输入的不变特征，然后生成分割掩码，使目标域的数据对应于输入域之一可以引导从其他输入（来自不同域）到其对应目标的映射过程。同样，Dou等人还在特征域中进行了域适应来用于心脏分割，对抗性损失是为了确保来自两个域（MR和CT）的图像的特征分布是无法区分的。Zhao等人表明合成图像信息如何增强分割的性能，为了分割脑MRI图像中的骨结构，他们提出了Deep-supGAN架构，其中分割器研究MRI真实图像及其相应的合成CT图像（作为输入）生成骨骼部分的分割掩模。除了对抗性损失之外，由VGG网络提取的特征引起的体素损失和3个感知损失被认为是训练模型。Lahiri等人修改DC-GAN以从背景中分割RoI补丁，虽然类似的CNN需要大量的训练数据才能表现良好，但Lahiri等人使用9倍的训练数据，可以获得一样的性能。Kim等人采用cycleGAN进行肝脏和肿瘤分割，在该架构中，一个生成器从输入图像生成分割掩模，另一个生成器从分割掩模生成CT图像。为了提高模型在分割微小肿瘤中的性能，使用多U-Net架构作为生成器。Sadanandan等人建议使用具有不同训练损失函数的GAN，其考虑权重以指定前景/背景中哪些像素更重要，建议的架构是U-net与长/短跳过连接，ResNet和多尺度CNN的组合。此外，他们还提出了一种后处理程序来校正分割区域。Arbelle等人在判别器中使用带有特殊块的GAN（卷积后进行批量归一化）来解决同一问题。低对比度、高水平的噪音和心脏运动是左心室（LV）分割的难点。Dong等人提出VoxelAtlasGAN，它结合了基于图谱的分割方法和cGAN架构，在低对比度心电图图像中分割LV。首先，在该方法中，通过CNN估计图谱的形状和强度，然后变形网络输出分割的图像。所提到的两个网络都放置在生成器中，它结合了三种用于训练的损失函数：（1）对抗性损失，（2）强度损失，以及（3）标签损失，其分别将分割的实际图像的强度和形状与所生成图像进行比较。由于在分割中，除RoI特征之外的残差（非RoI）信息可以使分割结果更加真实，Chartsias等人和Joyce等人建议通过定义基于它的损失来使残余信息获益。在这两篇论文中，输入图像是从RoI中重建的，并且除了对抗性损失之外，还考虑了残差提取的特征和重建损失。Chartsias等人提出使用cycleGAN架构进行半监督分割，而Joyce等人提出LSGAN架构来用于非监督分割。 此外，还提出了另外两个损失以避免分割区域中的过度分割和大幅度的强度变化。为了对精确的心肌梗死进行定量分割, Xu等人引入了基于GAN的架构（MuTGAN），它可以受益于所有时间序列帧信息，以分割感染区域。椎骨分割和定位是诊断椎骨疾病和手术计划的第一步，虽然基于机器学习的方法在该领域上取得了一些成功，但是他们没有学习感兴趣区域的解剖学。为了克服这个问题，Sekuboyina等人提出了一种蝴蝶形状模型，有利于对抗训练，以分割和定位椎骨CT图像中的椎间盘。生成器使用CT图像的两个视图来捕获脊柱曲线和肋骨-椎骨关节。首先，在预处理步骤中，SSD（单次物体检测）检测脊柱区域。然后，所提出的模型在椎骨的两个视图中分割盘，最后，在后处理步骤中，将这些结果组合用于盘定位。迄今为止，大多数基于GAN的分割技术都集中在具有组合损耗功能的GAN架构上（绝大多数使用U-net作为生成器）。本课题针对GAN用于医学图像分割算法的研究，与先前依赖端到端的GANs应用不同，GAN用于医学图像分割通常需要预处理和后处理步骤，以达到准确地从不同的医学图像中分割出感兴趣的区域的目的。

{title}

2. 研究的基本内容与方案

{title}

本文以卷积神经网络（CNN）为背景，利用最近的生成对抗网络（GAN）的概念，其中生成器映射潜在噪声空间到真实的图像，而鉴别器区分从数据库和生成器中抽取的样本。我们将这个概念扩展到多任务学习中，其中鉴别器-分类器网络（DC-net）区分假/真的实例，并指定正确的类标签，设计并制作一种自动检测和定位肿瘤的算法。GAN的原始版本可以实现鉴别器网络的两路softmax输出，通过[REAL，FAKE]查找分布。对于在K类数据库上进行半监督学习的任务，可以很容易地扩展概念，在鉴别器的输出处加入K 1路softmax层；现在，预测标签将是[Class 1，Class 2，..，Class K，FAKE]。改进后的判别器可以称为分辨器-分类器网络（DC网络）。设p_DC（c = k | x）表示通过DC网络定义给定一个实例x属于第k类的概率。k = 1,2，... K表示来自数据库的标签（在我们的例子中K = 2：肿瘤补丁和背景补丁），k = K 1表示FAKE类。现在，DC网络最大限度地减少了两种类型的损失，即a）分类损失和b）对抗性损失。