Multi-organ auto-delineation in head-and-neck MRI for radiation therapy using regional convolutional neural network 使用区域卷积神经网络的头颈部 MRI 放射治疗中的多器官自动描绘 期刊:Physics in Medicine and Biology 时间:2021年11月14日接收,2022年1月21日发表
Abstract
image segmentation, magnetic resonance imaging, radiation therapy, deep learning
Introduction
放射治疗是头颈部(HN)癌症的常见治疗方法,发生在口腔、咽、喉、唾液腺、鼻旁窦和鼻腔等区域,在美国所有癌症中的发病率约为4%国家(Ratko 等人 2014,Siegel 等人 2020)。一般来说,HN 肿瘤非常接近危及器官 (OAR);因此,预计现代放射治疗方式会出现陡峭的剂量梯度(Lomax et al 2001, Otto 2008, Webb 2015)。在放射治疗计划中,利用靶区的空间信息和OAR描绘来优化和评估剂量分布;因此,目标和 OAR 勾画的准确性会直接影响治疗计划的质量(Aliotta et al 2019, Dai et al )。当前的放射治疗使用 CT 图像进行治疗计划。由于其出色的软组织对比度,MRI 在放射治疗中变得越来越普遍,作为一种额外的成像方式,有助于目标和 OAR 的勾画(Khoo 和 Joon 2006,Chandarana 等 2018)。例如,HN 解剖结构的复杂性给仅使用 CT 图像准确勾画目标和 OAR 带来了困难,而 MRI 的实用性可以提高肿瘤和 OAR 描绘的准确性(Chang et al 2005, Prestwich et al 2012, Metcalfe et al 2013)。
手动轮廓是放射治疗计划工作流程中的当前临床实践(Jonsson et al 2019)。然而,它相当耗时,尤其是对于解剖结构复杂且必须对许多周围 OAR 进行轮廓绘制的 HN 病例(Vorwerk et al 2014)。同时,人工勾画高度依赖医师的知识和专长;因此,经常会有观察者内部和观察者之间的高变异性(Brouwer et al 2012, Vinod et al 2016)。非常需要自动描绘 OAR 的方法,但现有的自动描绘方法仍然有限(van Dijk et al 2020)。目前,已经研究了两种主要类型的方法用于 MRI 中的器官分割。第一种称为基于图谱的方法,其中器官分割是通过将输入图像配准到已由专家注释和验证的图谱图像获得的(Bondiau 等人 2005、Bevilacqua 等人 2010、Wardman 等人 2016)。基于图谱的方法通常是可重复且可靠的,但必须谨慎权衡稳健性和准确性,以实现临床适用的结果(Bondiau 等 2005)。地图集缺乏个案可变性,这不仅源于自然解剖差异,也源于病理因素,这可能会恶化基于atlas的方法的性能(Mlynarski等人,2019年)。在数据库中添加更多图集可以提高性能,但由于无法构建包含所有变体的数据库,它仍然受到限制(Peressutti et al 2016,Van de Velde et al 2016)。 此外,基于图谱的方法对于体积较小的器官通常表现不佳(Teguh et al 2011)。 最后,基于图谱的方法依赖于不同解剖结构之间的配准,其中变形的准确性会极大地影响勾画的准确性(Zhong et al 2010)。 第二种基于机器学习,尤其是深度学习算法的自动分割方法最近得到了研究,并取得了令人鼓舞的初步结果(Sharp etal 2014, Yang etal 2014, Chen etal 2018, Mlynarski etal 2019, Sahiner etal 2019, Tong etal 2019) .传统的机器学习方法,例如随机森林(Damopoulos 等 2019,Dong 等 2019)和支持向量机(Yang 等 2014),以及现代卷积神经网络及其变体(Chen 等 2018,Mlynarski 等 2019,Tong 等 2019, Dai et al 2020)通过从图像中提取抽象和复杂的特征来获得分割,这比基于图集的方法更能适应对象的自然多样性(Meyer et al 2018)。与依赖手工特征的传统机器学习方法相比,基于深度学习的方法可以学习可直接用于表示学习目标的深度特征,成为提高自动器官轮廓性能的一种有前途的方法(Meyer et al 2018, Sahiner 等人 2019,van Dijk 等人 2020)。虽然目前令人鼓舞,但据我们所知,很少有研究在头颈部病例等 MRI 图像上同时分割复杂结构中的多个器官(Mlynarski et al 2019)。
掩码区域卷积神经网络 (Mask R-CNN) 最近被提出作为计算机视觉领域(He etal 2017a) 的新一代图像分割方法。与使用U-net及其变体 (Ronneberger等2015) 的传统图像分割方法相比,Mask R-CNN已被开发用于实例分割 (Chiao等2019),其中单个对象的分类,定位和标记同时完成。U-net的输出是多通道等大小的二进制文件,其中每个通道代表一个分割。虽然R-CNN不直接执行分割,但R-CNN用于通过边界框预测每个器官的位置。**R-CNN的输出是两个方面: 一个是表示器官边界框索引的向量,另一个是表示边界框内器官类别的向量。**由于其卓越的性能,Mask R-CNN已被研究用于医学图像分割,并在肿瘤 (Chiao等2019,Zhang等2019,Lei等2020c) 和器官 (Liu等2018,Lei等2020e) 分割CT和MRI图像,等等。Mask R-CNN引入了一种简单而灵活的方法来提高感兴趣区域 (ROI) 定位的准确性,并降低对定位精度的依赖性 (He etal 2017b)。在Mask R-CNN 中,实例掩码的分数是由应用于提议特征的分类器预测的,其中掩码的质量是使用分类置信度来衡量的。 分类置信度和掩码质量并不总是相关的。 例如,可能存在较高的掩码分数但较差的掩码质量。 因此,当同时对多个器官进行分类时,mask R-CNN 容易出现伪影,因为掩模质量并不总是与标签准确度很好地相关(Lei et al 2020a, 2020b, 2020d, Harms et al 2021)。
在这项研究中,我们实现了一个R-CNN体系结构,即Mask scoring R-CNN,这是在计算机视觉领域引入的Mask R-CNN
的一种变体,用于MRI中的多器官自动描绘。在mask scoring r-cnn中,通过独立的可训练mask评分网络建立了mask质量与区域等级之间的相关性。与原始的mask scoring r-cnn架构相比,在此,深度关注特征金字塔网络被用作从输入MRI中提取粗略特征的主干, 然后使用R-CNN对粗略的特征图进行细化。最终的分割是通过mask和mask scoring networks获得的,这些网络将这些细化的特征图作为输入。通过将掩码评分机制结合到传统掩码监督中,可以将传统掩码 R-CNN 架构中的分类错误降至最低。来自 MRI 的手动轮廓被用作ground truth轮廓来评估所提出方法的性能。所提出的方法旨在为 HN 放射治疗中快速和准确的 OAR 轮廓提供解决方案。
Materials and methods
其中,IoU是并集的交集,Iroi表示一个器官的ground truth ROI,ˆIroi是预测的ROI,(x_{Ci}, y_{Ci}, z_{Ci})和( ˆx_{Ci}, yˆ_{Ci} , zˆ_{Ci})分别是ground truth的中心坐标和预测的 ROI, wi, hi 和 di 是ground truth ROI 沿 x、y 和 z 方向的维度,并且 ^ wi, ^ hi , ^ di 是预测 ROI 的维度。
第三种损失函数是 ROI loss 2,其定义与 ROI loss 1 相同(方程(1)-(4))。 不同之处在于,ROI loss 2 应用于每个器官,而不是 ROI loss 1 中的虚拟类别(虚拟类别是什么意思)。
第四种损失函数称为分割损失。分割损失被定义为二元交叉熵: