U-Net模型在医学图像分割中的应用

V-高淑珍，王昭苏，张雨菡，李辉，李昊，肖延丽

摘要：深度学习已广泛应用于医学成像的分割中。2015年提出的U-Net模型显示了精确分割小目标及其网络架构可扩展的优势，使其成为医学成像分割任务的主要工具。近年来，随着对医学图像分割性能要求的不断提高，研究人员通过采用新方法或将引入其他方法等手段，从结构、创新性、效率等方面对U-Net架构进行了许多进步。U-Net的成功之处在于它在MRI、CT、眼底成像、超声图像和X射线等几乎所有主要图像模式中被广泛应用，并有巨大的发展潜力。

关键字：医学图像分割，U-Net模型，神经网络

1.引言

近几年，深度学习在计算机视觉领域得到了突飞猛进的发展，尤其在医学图像分析中得到了越来越多的应用。已经有许多突破性的技术来克服医学成像领域面临的各种挑战，新的研究不断导致创新的发展。U-Net网络是Ronneberger等人[1]提出的一种神经网络架构，最早用作生物图像的分割。自2015年以来，U-Net在医学成像领域的应用呈现爆炸式增长。U-Net架构有了许多改进[2,3]，研究人员实现了新方法或将其他成像方法并入U-Net。

2.U-Net框架

2.1 基本U-Net

U-Net神经网络可分为两部分：第一部分是使用典型卷积神经网络架构的收缩路径，也称为编码器或分析路径，类似于常规卷积网络提供分类信息。收缩路径中的每个块由两个连续的3*3卷积组成，随后是ReLU激活单元和最大池化层。这种布置重复数次。U-Net的新颖之处在于第二部分扩展路径，也称为解码器或合成路径，由上卷积，以及级联来自收缩路径的特征组成。其中每个块使用2*2上卷积对特征图进行上采样。然后将收缩路径中相应层的特征图裁剪并连接到上采样特征图上。随后是两次连续的3*3卷积和ReLU激活函数。在最后阶段，将特征映射减少到所需的通道数，并生成分割图像。因为边缘中的像素特征具有最少的上下文信息，因此需要丢弃。这形成了一个类似于“U”形的网络，它沿着网络传播上下文信息，从而能够从更大的重叠区域对目标进行分割。

2.2 U-Net++

U-Net++使用密集的跳跃连接网络作为收缩路径和扩展路径之间的中间网格。在传统的U-Net网络中，收缩路径的特征映射直接连接到扩展路径中的相应层上。然而，U-Net++在每个对应层之间都有许多跳跃连接节点。每个跳跃连接单元接收来自同一级单元上先前的所有特征映射，以及来自较低单元的上采样特征映射。因此，每一级都相当于一个密集块。这能够最大限度地减少两条路径之间语义信息的损失。U-Net++通过在两条路径之间传播更多的语义信息来帮助网络能够更准确地分割图像。

2.3 3D U-Net

3D U-Net是基本U-Net框架的扩展，支持三维体积分割。核心结构仍然包含一条收缩和扩张的路径。而所有的2D操作都被相应的3D操作所替换，即3D卷积、3D最大池化和3D上卷积，从而生成三维分割图像。该网络能够使用最小标记样本分割图像。这是由于3D图像具有许多重复的结构和形状，因此即使在几乎没有标记数据的情况下也能实现更快的训练过程。

2.4 残差U-Net

这种U-Net是基于残差网络体系结构，引入了残差模块，克服神经网络中深度过大引起的困难。在残差U-Net网络中，每个模块使用跳跃连接将第一卷积层的输入连接到第二卷积层的输出。在U-Net相应路径的下采样或上采样之前使用了跳跃连接。跳跃连接的使用有助于缓解梯度消失问题，从而允许设计具有更深层次的U-Net模型。残差U-Net是复杂图像分析的理想选择。

3. U-Net模型在医学中的应用

图像分割是U-Net模型的主要任务。图像分割任务的目标是勾勒和分离图像中的不同对象，即对不同对象进行分类，而不是对整个图像进行分类。这在医学成像界尤其重要，因为医疗条件的诊断需要仔细分析图像中的局部区域。U-Net体系结构广泛用于各种医学成像分析[2,3]。

3.1 磁共振成像

磁共振成像（MRI）是一种用于拍摄体内软组织的成像技术，是使用U-Net进行分割的最流行的图像模式。MRI特别适用于对大脑的诊断分析。因此U-Net被广泛用于脑结构的分割，许多不同的U-Net模型已被广泛应用于脑肿瘤诊断、神经系统状况、白质组织分析、胎儿大脑发育和中风损伤等方面。另外，U-Net也可应用于心脏结构的分割，以及股骨、血管、脊髓和脊柱分割等方面。

3.2 计算机断层扫描

计算机断层扫描（CT）是分析内部器官和组织的主要的非侵入性医学分析工具。与MRI一样，CT是为数不多的能够生成3D图像的成像技术之一。CT成像的多功能性使其成为医学诊断中的首选模式。基于CT成像的U-Net分割主要应用在癌症诊断方面；包括肝癌、肺癌、骨癌和宫颈癌等。另外，还应可用于腹部多器官分割，以及骨骼等硬组织分割。

3.3 视网膜眼底成像

彩色眼底成像是一种眼科技术，用于检测和诊断青光眼、糖尿病视网膜病变和年龄相关性黄斑变性等眼部疾病。准确的筛查至关重要，因为这类疾病往往需要早期诊断和治疗。U-Net在视网膜眼底成像中的应用仅次于大脑和心血管系统。正确的预测取决于关键结构的精确分割，如视网膜血管分割。

3.4 超声成像

医学超声（Ultrasound，US）是另一种分析内部结构的无创成像技术。超声主要用于早期和实时诊断。与许多其他图像模式不同，超声设备更具可操作性，可以从多个角度捕捉图像。超声波也很安全，它是妊娠相关诊断的主要成像方式。U-Net在医学超声成像的应用还包括对神经束等软组织的分析，以及实时图像跟踪对象等方面。

3.5 X射线

X射线是一种主要用于硬组织成像的射线照相方法。它是骨骼分析中使用最广泛的技术。U-Net模型已应用于骨骼X射线诊断类风湿关节炎和骨质疏松，以及其他骨骼相关疾病。U-Net还普遍应用于胸部X射线，检测肺结核等各种肺部疾病。除此之外，还可应用于检测冠状动脉狭窄、乳腺肿瘤和外科导管等方面。

4.结束语

近年来，U-Net等深度学习技术在医学图像分析中的应用越来越多。图像处理中的深度学习允许执行各种不同的任务，如分类、检测和定位。然而，分割任务是至关重要的一个方面。其中U-Net框架是图像分割的一种性能良好的分割模型。U-Net的高模块化和可变性，使其具有广泛的应用场景，以及巨大的发展潜力。

参考文献：

[1]Ronneberger O, Fischer P, and Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]// Medical Image Computing and Computer-Assisted Intervention, 2015: 234-241.

[2]殷晓航,王永才,李德英.基于U-Net结构改进的医学影像分割技术综述[J].软件学报,2021,32(02):519-550.

[3]周涛,董雅丽,霍兵强,刘珊,马宗军.U-Net网络医学图像分割应用综述[J].中国图象图形学报,2021,26(09):2058-2077.

基金项目：国家级大学生创新创业训练计划项目（S202110439014）