【医疗人工智能】胃肠内窥镜计算机视觉和机器学习调查

温脑

Article

• 作者：Anant S. Vemuri
  
• 文献题目：Survey of Computer Vision and Machine Learning in Gastrointestinal Endoscopy
  
• 文献时间：2019
  

摘要

• 本文试图为读者提供一个开始研究计算机视觉和机器学习在胃肠 (GI) 内窥镜检查中的应用的地方。 它们被分为18类。 读者需要注意的是，这是对前深度学习时代的回顾。 许多基于深度学习的应用程序在本论文中没有涉及。
  

内窥镜应用

• 临床应用分为以下 18 大类：
  
  
  
  • 1）息肉检测和分类 (PD)：
    
    
    
    • 所有结直肠癌 (CRC) 均由发育不良的前体病变发展而来。在存在易感因素如炎症性肠病 (IBD) 或缺乏易感因素的情况下，这都是正确的，零星发生病变。从宏观上看，结肠中观察到的病变形状已按照 [1]、[2] 中的描述进行分类。此类应用涉及首先检测结肠镜检查期间可见的息肉，然后根据其类型进行分类。在 [3] 中，使用图像中颜色和像素位置的特征描述符用于使用 SVM 进行息肉检测，在 [4] 中，将该特征与彩色小波协方差和 LBP 进行比较。在 [5]、[6] 中，使用 GLCM 的纹理特征与使用 SVM 进行分类的 LBP 进行了比较。 [7] 提出使用边缘，然后在使用 GLCM 进行纹理特征检测之前对图像进行霍夫变换。他们使用了 adaboost 分类器。在[8]中，首先定义了一个由强度谷包围的息肉外观模型，包括镜面高光和血管，使模型具有鲁棒性。使用此生成息肉定位能量图，然后将其用作息肉分割的输入。另请参阅 [9]–[11] 了解更多详细信息。 [12] 提出了一种称为区域特征分类 (CoRF) 的算法，它是稀疏矩阵和矢量量化的扩展，用于特征检测和分割。 CoRF 通过包含关于区域特征形状的训练码本解决了矢量量化的固有块选择问题。他们证明，与 k-means 或 LGB 聚类相比，这种方法更适用于息肉检测和分割。
      
    • 在 [13] 中，作者评估了从 Gabor 和双树复小波变换的子带中提取的图像特征的判别能力，用于对变焦内窥镜图像进行分类。此外，他们还结合了颜色通道信息并表明，与仅基于亮度的处理相比，这会带来更好的分类结果。后来，在[14]中，提出了一种彩色小波交叉共生矩阵，并用它来获得分类的统计特征。这种新的基于小波域的颜色纹理特征扩展了经典共生矩阵的概念，以捕获不同颜色通道的细节子带对之间的信息。然后使用具有欧几里德距离度量的 KNN 分类器将该描述符用于多边形检测。作者的进一步工作可以参考[13]-[15]。在 [16] 中，提出了一种使用血管分割来提取描述复杂血管拓扑的 22 个特征的多分类方法。三种特征选择策略与模拟退火进行了比较，给出了息肉分类的最佳性能。 [17]，通过分析连接组件（斑点）的形状提出了一个新的描述符。 使用 Pentax iScan chromoendoscopy 对息肉的 mu cosal 纹理分类使用凸包、骨架化、基于周长的特征和对比度特征直方图来描述形状。 读者可参考以下著名作品进一步煽动； [18]–[46]
      
    
    
  • 2）溃疡检测 (UD)：
    
    
    
    • 食管和胃溃疡是由 GORD 引起的。 在结肠溃疡性结肠炎（IBD 的一种）中，当大肠（结肠）和直肠的内壁发炎时就会发生。 这种炎症会在结肠内壁产生称为溃疡的微小溃疡。 它通常从直肠开始并向上蔓延。
      
    • [47] 中提出的方法涉及使用二维集成经验模式分解将图像分解为称为固有模式函数的分量。 通过分解，得到了两种基于缺损的颜色纹理特征； 内在纹理基元和像素强度分布之间的二阶和更高阶相关性。 SVM 分类器用于 UD 的这些特征。
      
    • 在 [48] 中，提供了三种图像分解方法的概述： a) 经验模式分解或 EMD； b) 集成 EMD 和； c) 提供固有模式函数 (IMF) 的二维 EEMD。在每个 IMF 处计算差分腔隙 (DLac) 度量，并且响应与溃疡图像的特征相匹配。那些与疾病密切相关的 IMF 被选择用于分解图像的重建。之前计算的 DLac 响应向量用作特征向量。使用该描述符，执行 LDA、二次判别分析、使用马氏距离的神经网络和 SVM 之间的分类器性能比较。另一方面，在[49]中，作者使用基于缺损的颜色纹理特征来研究健康和异常组织的结构信息如何在 RGB、HSV 和 CIE Lab 颜色空间上分布。在 [50] 中，HSV 颜色空间特征直方图与使用 Contourlet 变换和 Log Gabor 滤波器提取的纹理特征一起使用，用于训练 UD 的 SVM 分类器。在[51]中，提出了一种基于曲波的局部二元模式用于纹理特征提取，通过训练多层感知器神经网络分类器来区分溃疡和正常区域。读者可参考以下参考资料； [28]、[52]、[52]-[61]
      
    
    
  • 3）乳糜泻检测 (CED)：
    
    
    
    • 乳糜泻是一种自身免疫性疾病，可发生在遗传易感人群中，其中摄入麸质会导致小肠受损。 在乳糜泻病程中，粘膜失去其吸收绒毛，导致吸收营养的能力大大减弱。 检测的金标准是从可疑区域中提取活检，在十二指肠镜检查期间使用不同的成像方式识别这些活检。 在内窥镜检查过程中自动标记可疑区域的计算机辅助检测方法已在文献中得到广泛探讨，以降低漏检率。
      
    • [62]，通过使用线性 SVM 分类器提供 LBP、LTP、多分形谱、双树复小波变换、形状曲率直方图、Fisher 向量和局部聚合描述符向量之间的分类比较，提出了一种 CED 方法.它们还提供了在 NBI、高清变焦内窥镜和标准白光内窥镜下的比较。在 [63] 中，使用 Marsh 分类探索了 DT-CWT 的变体，用于内窥镜图像的自动分类。特征向量由来自 DT-CWT 变体的子带的平均值和标准偏差或子带的威布尔参数组成。通过在特征向量的尺度维度上应用 DFT 或 DCT 来获得增强的尺度不变性。 k-NN 分类器与留一法交叉验证一起使用。在[64]、[65]中，从图像中提取空间域（直方图）和变换域（小波或傅立叶）特征。介绍了 k-NN、SVM 和贝叶斯分类器之间的比较。以下参考资料提供了更多详细信息； [66]-[79]。
      
    
    
  • 4） 克罗恩病检测 (CRD)：
    
    
    
    • 这是另一种 IBD，有时归因于对无害细菌的侵袭性免疫反应，通过引起炎症（正常的免疫系统反应），导致慢性炎症、溃疡、肠壁增厚，最终引起患者症状。 CRD 可以发生在从口腔到肛门的任何地方，但最常见的是在回肠和结肠开始处。 [80]，通过使用单个决策函数组合多个匹配器的输出，在存在复杂场景的情况下引入了通用图像匹配方法。 他们提供了在该框架下改进 SVM 分类器性能的研究。 [81] 提供了应用于克罗恩病的病灶分割框架。
      
    
    
  • 5）痔疮和出血检测（HD 和 BD）：
    
    
    
    • 痔疮是位于肛门和直肠的肿胀组织和静脉的瘙痒、疼痛或出血块。另一方面，出血可归因于多种原因，例如血管发育不良（肠道附近的血管异常）、息肉、溃疡、克罗恩病、结肠癌，包括痔疮。因此，出血的检测非常重要，因为它通常表明管腔中的严重状况。 [82]，使用由来自颜色共发生矩阵的 HSV 直方图、主色和纹理特征组成的描述符。主色特征向量包括8种代表色、它们的方差及其在图像中的百分比。他们提出了一种基于无监督聚类和来自每个聚类的概率驱动采样的下采样策略，以保留几何结构，同时使用更少的实例来训练 SVM 分类器的集合。 [53] 对所有 MPEG-7 描述符进行了研究，以确定最适合 BD、UD 和 PD 的描述符。实验表明，使用可缩放颜色和均匀纹理描述符时获得了最佳结果，尤其是当使用 PCA 仅使用相关系数时。在 [83]、[84] 中，训练了一个 ANN 分类器，在 RGB 和 HSV 空间中提取纹理特征。使用具有图像协方差加权的 CIE-LAB 颜色空间提出了一种替代方法。 [85] 引入了裁剪照明不变颜色空间，通过比较局部直方图之间的相似性而不是检查指定模式的存在，来计算替代的二元特征向量，而不是传统的颜色直方图。使用此二元特征向量训练 SVM 分类器。在 [86] 中，像素通过超像素分割进行分组，对于每个超像素，RGB 空间中的红色比例用作特征描述符，用于训练 SVM 分类器。 [87] 在色调空间中使用统计纹理描述符来训练 k-NN 分类器。 [88] 提出了使用 YIO 定义内在颜色模型。这用于提取统计特征以训练 BD 的 SVM 分类器。如需进一步阅读，请参阅以下参考资料； HD - [89]、[90] 和 BD - [56]-[58]、[60]、[91]-[107]
      
    
    
  • 6）食道组织分析 (OA)：
    
    
    
    • 食道癌主要有两种类型；鳞状细胞癌和食管腺癌 (OAC)。鳞状细胞癌最常见于吸烟和过度饮酒的人。然而，OAC 最常见于胃食管反流病 (GORD) 患者。在过去的二十年中，后一种情况的频率有所增加。 GORD，一种良性并发症，当胃酸进入食道下部时引起。作为一种慢性病，它会导致食道内壁发生变化，导致组织类似于肠壁。这种病理状况被称为巴雷特食管 (BO)。几项研究表明 BO 与 OAC 有直接联系。 OAC 似乎是通过在食管下段细胞中观察到的进行性发育不良 [108]、[109] 从 Barrett 粘膜产生的。能够对癌前组织进行分期的可能性，为早期诊断和靶向治疗提供了空间，避免了紧急手术干预，如食管切除术。
      
    • 包括计算机辅助检测这些条件以辅助诊断的文献综述方法。 [110] 建议使用从异构颜色空间计算的异构描述符。提出了一种分层异构描述符 SVM 框架，而不是将描述符连接到超向量，以同时将异构描述符应用于 GORD 诊断并克服维数问题。 [111] 提出了一种基于内容的图像检索框架，用于基于颜色纹理分析检测食道癌前病变。他们的方法的新颖之处在于相关反馈算法提供的交互循环，以提高检测精度。 [112]，提出了 SVM、K-NN 和 boosting 在 NBI、WL 和色素内镜下检测 OA 的比较评估。 [113] 建议使用局部颜色和纹理特征训练 SVM 分类器，从原始图像和 Gabor 过滤图像。根据癌组织的光谱特性，设计了特定的滤光片。
      
    
    
  • 7）运动检测 (MD)：
    
    
    
    • 这是一个术语，用于描述混合和推动胃肠道内容物的肌肉收缩，胃肠道的四个区域中的每一个都表现出特定的特征运动，并被括约肌和异常运动分开或肠道任何部分的敏感性都可能导致特征性症状 [114]。在[115]中，高斯滤波器的拉普拉斯算子用于提取流明，然后在专家的帮助下将整个9帧序列的流明面积与经验设置的两个特定阈值进行比较。执行基于光流的自我运动估计，并在自我运动表示上使用相关向量机分类器来提取具有运动性的图像。 [116] 解决了在提供相关但未标记的数据集（用于 MD）时从非常小的样本集学习鲁棒分类函数的问题。在[117]中，在系统的第一级，每个视频都经过处理，产生了许多可能的收缩序列。为了编码肠道运动的模式，提取了一组肠腔的纹理和形态特征。在第二部分中，收缩序列的最终识别是通过支持向量机分类器进行的。 [118]，提出了一种基于各向异性图像过滤和收缩特征的有效统计分类的新方法。特别是，图像梯度张量被应用于从原始图像中挖掘信息骨架和用于捕获收缩特征模式的描述符序列。 [119], [120] 通过谷和脊检测使用线性径向图案。在这种情况下，他们提出了使用可控过滤器的方向信息描述符。自组织映射用于 MD 的一般摘要。后来，在 [121] 中，使用纹理、颜色和斑点特征来训练 MD 分类器。在[122]-[124]中，提出了两组特征。首先，基于运动的特征，其中通过使用类似 Gabor 的滤波器使用谷检测来执行收缩瓦片活动表征。然后，谷图像被转换为​​代表谷位置的一维信号。执行代表谷位置信号收缩的峰值检测。其次，通过应用均值偏移聚类来减少颜色分布中的噪声，执行流明周长估计。然后在灰度图像上，执行阈值以分割管腔。然后使用形态学算子检测肠腔中的平滑区域。 SIFT Flow Directions 直方图的组合来描述流动过程； SIFT 描述符来表示图像肠道结构和；在 [125] 中提出了量化肠道变形的 SIFT 流量大小。
      
    
    
  • 8）内窥镜异常检测和分类 (ABD)：
    
    
    
    • 这是一个广泛的类别，包括上述任何类别中无法在临床上分类的所有类型的病变或异常。 这里介绍的方法不关注任何特定的疾病状况，而是旨在区分正常组织和异常组织。 [126] 回顾了结肠镜视频中用于病变检测的各种特征描述符。
      
    • [127] 提出，对不同颜色通道的纹理分析，使用小波变换来选择包含最重要纹理信息的波段。后来，在 [128] 中，来自两个不同尺度的共生矩阵的纹理描述符与来自 GLCM 的二阶和更高阶矩结合使用原始图像作为描述符。在[129]中，统计纹理描述符是从图像在多个方向和尺度上的离散曲波变换中获取的。纹理描述符的协方差被用作最终的特征向量。 [130]，对从小波分解和离散曲波变换获得的描述符之间进行了比较。在每种情况下，使用所描述的特征向量训练 ANN 分类器。 [131] 提出在 BoW 模型中使用图像块，该模型使用基于随机森林的聚类生成，用于训练 SVM 分类器。在 [132]、[133] 中，对 WCE 图像的 R、G、B、H、S、V 通道中的图像计算了颜色直方图统计数据。此外，通过使用 LTP 为每个像素收集局部纹理信息，并将其标记为纹理单元的一部分。这个完整的信息向量用于使用神经网络进行分类，该神经网络使用贝叶斯 ying-yang 方法进行训练，以最大化熵。
      
    • [134] 使用图像级注释来学习一组在线局部特征，用于图像中提取的斑块中的腺瘤检测。基于 BRISK 的空间结构用于采样像素以学习视觉描述符。 [135]，提出了一种扩展的高斯滤波 LBP 描述符，对光照变化和噪声具有鲁棒性。据称该算法能够捕获更多信息丰富的类边缘特征。 [136]基于潜在语义分析（LSA）的思想提出了一种选择集群对子集的新方法，并提出了一种新的集群间统计，它比传统的共现信息捕获了更丰富的信息。在[137]中，作者提出了两种方案。第一个，处理全分辨率图像，第二个处理多尺度金字塔空间。有了这个框架，可以使用任何特征描述符；但测试了多分辨率 LBP。在[138]中，对于每个颜色通道，从图像块中提取Root-SIFT 和多分辨率局部模式描述符。完整的参考文献集，读者可参考以下列表：[58]、[59]、[139]-[190]
      
    
    
  • 9） 内窥镜导航（NAV）和六自由度定位（LOC）：
    
    
    
    • 导航是指利用当前的内窥镜图像信息，确定下一步要去哪里。 在某些方面，它为内窥镜指明了前进的道路。 而定位使用前几秒的数据来估计内窥镜在胃肠道中的当前姿势或解剖位置。 这些信息可以有两种形式； 通过对组织结构进行分类来确定胃肠道断面的知识，如食管、胃、十二指肠、回肠等； 或者其次，通过估计完整的内窥镜运动以获得内窥镜的6自由度姿态。
      
    • [191]，将结肠建模为圆柱体。 通过估计每个连续帧之间的相机运动参数，提取了结肠表面圆柱体的圆周带。 从相邻的视频帧中注册这些提取的带图像提供了一个可见性图，它可以揭示临床医生从结肠镜检查视频中未探索的区域。 [192] 提出，从 WCE 图像中的光流场学习姿势。 使用以流明为中心和基于网格的方法生成特征描述符。 ANN 用于评估从 WL 和 NBI 图像中提取的描述符的强度。 在 [193]、[194] 中，作者提出提取 SURF 特征并使用基于 RANSAC 的匹配来估计连续帧之间的单应性以提供导航帮助。 [195] 建议在内窥镜检查中使用流明检测进行图像引导的视觉伺服。 对于 NAV 应用，请读者查看以下附加参考文献 [196]-[216]。
      
    • [217]、[218] 建议使用 MPEG-7 特征以及矢量量化和 PCA 来进行描述符压缩。 训练神经网络使用计算的特征对胃肠道的不同部分进行分类。 [219]，提出 WCE 连续帧的多尺度弹性配准和投影几何提取以确定胶囊内窥镜的姿态。 [220] 采用基于 Gabor 滤波器的纹理描述符来检测 WCE 视频流中的十二指肠。 对于 [221]，该论文提出了一种用于完整 6-DOF 姿态恢复的滚转角估计。 [222] 提出了一种 WCE 运动的混合跟踪方法，集成了磁传感和基于图像的定位。 [223] 提出了一种使用肠道运动来定位内窥镜的方法。 这些额外的参考文献完善了文献中的 NAV 列表：[224]-[229]
      
    
    
  • 10） 手术内和手术间重新定位（IAO 和 IRO）：
    
    
    
    • 基于 IAO 的方法侧重于在单个程序中检测、跟踪和定位活检部位。这些方法主要侧重于 BSR。 IAO 重新定位的首批方法之一由 Alllain 等人发表。 [230]、[231]。在他们的方法中，作者提议在活检位置周围的尺度空间中计算特征点，然后使用尺度不变特征变换 (SIFT) 提取这些点的描述符，以匹配两个内窥镜视图。然后使用对极约束，计算两个视图之间的基本矩阵，映射活检部位以促进重新定位。在 [232] 中，提出了一个用于表征和传播活检点定位中的不确定性的框架。蒙尼等人。 [233] 对应用于可变形组织跟踪的各种特征描述器进行了审查，并在 [234] 中提出了一种扩展卡尔曼滤波器 (EKF) 框架，用于基于同步定位和映射 (SLAM) 的可变形场景中的特征跟踪方法，例如在腹腔镜手术中。然后在 [235] 中扩展了该 EKF 框架，用于在术中维护腔内手术活检部位的全局地图。作者在胃和食道的体模模型上对 EKF-SLAM 进行了评估。詹纳鲁等人。 [236] 提出了一种对软组织变形鲁棒的仿射不变各向异性区域检测器。 [237] 将其与 SIFT 描述符一起使用。然后将特征匹配问题建模为马尔可夫随机场 (MRF) 标记的全局优化。最近，叶等人。 [238]、[239] 分三个阶段完成了活检部位的重新定位。首先使用 Kalal 等人提出的跟踪学习检测 (TLD) 方法。 [240]。 TLD 用于跟踪所选活检部位周围的多个区域。在可以使用局部仿射变换近似区域组织变形的假设下，估计匹配区域中心之间的局部单应性。通过这种方式，可以跟踪活检部位周围的多个区域，然后将这些区域用于单应性估计和活检部位的映射。王等人。 [241] 建议从几次胃镜干预的图像序列中学习图（图集）。考虑到胃的变形在相似帧之间不大，学习图集的节点通过估计的刚性变换连接。因此，对于任何给定的干预，活检部位从单个（参考）帧到后续帧的映射被简化为图形搜索问题。首先，对于参考坐标系和移动坐标系，计算它们在图中对应的匹配节点。使用 Dijkstra 算法，获得了这些匹配节点之间的最短路径。因此，参考坐标系和移动坐标系之间的变换被获得为沿着图的相应匹配节点之间的最短路径的刚性变换的关联组合。
      
    • 相比之下，IRO 方法试图在干预之间提供本地化。 [242] 提出使用电磁跟踪系统 (EMTS) 来定位胃中的活检部位。他们使用 SLAM 构建了胃的 3D 模型，并将使用 EMTS 跟踪的活检点映射到 3D 模型上。在每次干预期间，通过手动选择五个参考点来进行术间配准。在 [243]、[244] 中，Atasoy 等人。建议将重定位制定为图像流形学习过程。该方法首先涉及在监视干预的图像之间构建邻接图。使用归一化互相关作为图像帧之间的相似性度量来计算邻接图。然后使用[245]中提出的拉普拉斯特征图分解，计算线性投影矩阵。这种投影到流形上的近似值用于计算干预中所有图像的低维表示。然后，使用场景关联提出了两种用于执行互操作重新定位的独立方法。在 [244] 中，场景关联是通过直接在早期监视内窥镜检查的低维表示上计算最近邻来执行的。然而，在 [243] 中建议进行两次监测内窥镜检查，其中之前进行了虚拟监测，用于与实际监测的场景关联。作者声称，[243] 中的修改方法允许在组织中存在显着结构变化的情况下进行场景关联。对于结肠镜手术，非常需要提供导航帮助。最早的方法之一是将术前 CT 的 3D 重建与称为虚拟结肠镜检查的内窥镜视频相结合。它的主要方面涉及计算光流以估计结肠镜的自我运动。自我运动或视觉里程计首先涉及从图像中提取特征并计算光流场。然后，使用流场，将估计相机运动。在 [246] 中，作者比较了两种自我运动估计方案，监督和无监督。 [192] 中所示的监督方法需要以光流测量和相应的相机运动数据的形式提供训练数据。然而，无监督方法使用视频帧和多视图几何之间的图像对应来估计内窥镜运动，如 [247] 所示。理论上，这些方法也可以应用于食管手术。第一次内窥镜检查可用于获得食道的 3D 重建，并可用于后续监测程序。但是，GI 程序中基于视频的 3D 重建仍然是一个开放的研究领域。然而，额外的术前成像（例如 CT）可用于重建食道。因此，此类方法不具有成本效益，也不用作常规程序的一部分。
      
    
    
  • 11） 流明检测（LD）：
    
    
    
    • LD 本身可用于 NAV、LOC、MD 等。 [248] 提出，全局阈值，然后是使用动态山丘聚类优化的差分区域生长以提取流明。在 [249] 中，类 Haar 特征结合 adaboost 用于选择最具辨别力的特征。然后，使用增强的级联分类器进行流明检测。在 [250] 中，使用 Otsu 阈值来分割图像的较暗区域。构建了二值化图像的金字塔结构，并从最小的图像中，将区域种子生长回原始图像分辨率以检测流明。在[251]中，所提出的方法基于流明的外观和几何形状，我们将其定义为最暗的图像区域，其中心是图像梯度的中心。在 [252] 中，所提出的技术递归地应用 Otsu 程序来获得粗略的 ROI，然后对其进行 Iris 滤波器操作，以便可以识别较小的增强区域。然后将增强区域递归地进行 Otsu 程序，并重复执行 Iris 过滤器操作的过程。 [253]，开发了一种可变形区域模型方法，通过使用最小交叉熵算法给出管腔的近似边界平面，从内窥镜图像中提取管腔，然后变形以自动计算真实边界。
      
    
    
  • 12）无信息帧或区域检测 (UI)：
    
    
    
    • Section sec:challenges 早先介绍了 UI 框架的构成。在这种情况下需要注意的是，任何内窥镜框架都不需要完全提供信息或完全 UI。因此，文献中提出的一些方法也尝试识别 UI 区域。 [254] 提出使用多阶段方法进行 UI 区域检测，包括 Chan-Vese 分割、颜色范围比、自适应伽马校正（AGCM），最后使用带有形态处理的精明颜色边缘检测算子。 [255]，提出使用图像 DFT 的纹理分析并使用 k 均值聚类对 UI 帧进行分类。 [256] 建议使用 DWT 分解的 L2 范数作为提供给贝叶斯分类器的特征。在 [257] 中，Ohta 空间中的局部颜色矩以及 HSV 颜色直方图被用作特征，在 UI 帧移除的第一阶段训练 SVM 分类器。在第二阶段，执行基于高斯拉盖尔变换的多分辨率分解并对响应进行阈值处理。作者还介绍了与基于 Gabor 和小波的描述符的比较。在[258]提出的方法中，在图像的网格上计算两个值； a) 使用高斯核卷积的暗区识别 (DRI)。 b) 定向梯度累加(DGA)。然后由低 (DRI) 和高 (DGA) 定义 UI 区域。 [259] 建议执行分水岭分割，然后是形态学闭合和基于边界的区域合并。在第一次合并之后，使用平均灰度值在滑动窗口上进行基于区域的合并。五个凭经验选择的区域配置文件用于阈值处理。在[260]中，提出的方法涉及基于均值偏移的流明检测和用于选择信息帧的相干运动评估。 [261]，使用从 Gabor 滤波器组中提取的纹理特征和前馈神经网络进行 UI 分类。 [262] 提出了三种在 WCE 帧中进行 UI 区域检测的方法，使用从形态学操作中提取的特征、统计特征和基于 HSV 颜色空间中的 Gabor 滤波器的特征。使用了模糊 k 均值、Fisher 检验和基于神经网络的鉴别器。以下参考文献给出了文献中提出的此类别的方法：[263]-[270]
      
    
    
  • 13） 镜面高光检测和去除 (SHD)：
    
    
    
    • 虽然图像中的镜面高光构成了 UI 区域，但这种特殊类别的方法不仅试图识别这些区域，还试图纠正它们。 在 [271] 中，使用以下方法处理镜面高光：基于非线性过滤和彩色图像阈值的分割方法，然后是快速绘制方法。 [272]中提出的方法旨在解耦内窥镜图像的镜面反射和漫反射分量，以抑制镜面反射。 引入随机贝叶斯估计方法来估计内窥镜图像的镜面反射分量。 执行图像区域的蒙特卡罗采样以计算后验概率。 [273]，描述了使用双色反射模型（DRM）和多分辨率修复技术获得校正区域的镜面反射去除框架。
      
    
    
  • 14）内窥镜重建 (REC)：
    
    
    
    • 灵活的内窥镜手术中的 3D 重建是一项非常具有挑战性的任务。除了已经讨论过的 UI 框架，可变形环境中可重复特征的存在带来了重大困难，如果克服，可以帮助辅助诊断、术前计划和术后检查。 ?? 中讨论的特征检测器经常用于从图像中恢复 3D。在[274]中，跟踪的特征点用于估计相机参数并提供息肉大小的估计。 [275] 建议使用基于标准化 SSD 的 monoSLAM 的 SIFT 特征进行食管的 3D 重建。 [276] 采用 Shi-Tomasi 特征，并将它们从着色框架中用于重建的形状。 [277]、[278] 建议使用 SIFT 检测器和描述符的仿射不变版本来估计对极几何并恢复 3D。在[279]、[280]中，首先检测和处理结肠折叠轮廓的边缘以生成重建的虚拟结肠的线框。提出了一种利用单幅结肠镜图像进行结肠褶皱轮廓估计的算法，并介绍了利用像素亮度强度对结肠褶皱进行深度和形状估计的方法。在[281]中，使用阴影形状来重建息肉以更好地识别。 [208] 描述了一种通过视觉跟踪执行胃全景的方法。 [214] 提出了一种基于运动的方法的结构，该方法利用了 6-DOF 跟踪设备，该设备用于在手术过程中记录内窥镜的位置。特征跟踪后，应用空间约束策略去除异常值并恢复丢失的数据。在[45]中，提出了一种使用Shape from Shading技术使用单个WCE图像重建胃肠道3D纹理表面的方法。 [282] 使用圆形广义圆柱体作为胃肠道 3D 重建的基础。该模型被分解为一系列 3D 圆，并提出了一个 MRF 框架来最大化后验估计。在 [216] 中，将 3D 模型和全景视图合并到导航系统中，并进行了三项改进：参考选择和特征跟踪；用于构建局部和全局全景的透视投影。使用来自运动的结构来执行 3D 表面建模。该系统针对三个临床应用进行了评估：扩大内窥镜视野、执行非侵入性重新定位和确定整体病变位置。 [283] 建议在 WCE 中使用流明检测来使用来自 WCE 跟踪器的惯性信息创建 3D 地图。
      
    
    
  • 15） 内窥镜图像增强 (IE)：
    
    
    
    • 这一类别是指一类针对预处理步骤以提高可见图像质量和特征响应的方法。 在 [284] 中，作者评估了不同的基于重建的超分辨率算法，以提高 HD 内窥镜获取的内窥镜图像的空间分辨率，并确定其在 HD 内窥镜中研究精细粘膜结构的可行性。 为了克服相当暗的 WCE 图像，[285] 中提出了一种自适应对比度扩散滤波。 [286] 提出 ROI 增强是为了对 GI 专家要检查的区域进行颜色校正。 [287] 提出了 WCE 帧的颜色增强，以获得基于纹理的鲁棒特征。 [288]，建议使用同态滤波，[94] 描述了一种自适应各向异性扩散预处理，用于在特征提取之前进行图像增强。
      
    
    
  • 16） 内窥镜视频摘要 (ES)：
    
    
    
    • 这主要是属于无线胶囊内窥镜的一个类别。由于大量的帧来分析方法已经开发出使用不同的方法来最小化这个时间。 [289] 提出了一种新的快速时空技术，该技术可以检测操作场景、视频片段对应于单一目的诊断动作或单一目的治疗动作。在 [270] 中，提出了一种分割 WCE 视频的方法。为此，首先使用颜色和小波纹理特征来表示 UI 区域。然后在两个层次上估计 WCE 视频相邻器官之间的边界。在课程层面，利用颜色特征绘制帧之间的差异曲线，目的是找到曲线的峰值，代表近似边界。在精细层面，提取HSV颜色空间中的Hue-Saturation直方图颜色特征和灰度图像中的均匀LBP纹理特征。这些特征用于训练用于视频分割的 SVM 分类器。在[290]中，提出了一种两步法进行总结。第一步包括半监督聚类和局部尺度学习 (SS-LSL) 算法。该算法用于将视频帧分组到原型集群中，这些集群使用从训练帧中推导出的约束来总结 CE 视频。第二步由一个新颖的关系运动直方图描述符组成，该描述符旨在表示两个连续帧之间的局部运动分布。 [291] 提出使用文本子对对应于胃肠道不同区域的视频片段进行分类。 [292] 回顾了用于 WCE 图像分析的各种颜色和纹理描述符。使用基于 [293] 中的 Hoeffding 不等式的稳健统计检验检测持续肠道活动的部分。 [294] 建议使用使用 DCT 和 PCA 组合压缩的 HSV 直方图来识别 WCE 视频中的不同区域。 [295] 提出了一种基于显着图的分层关键帧提取算法，以自动选择少量关键信息帧。 [296] 提出了一种基于使用对称非负矩阵分解进行聚类的方法，由模糊 c 均值算法初始化并由非负拉格朗日松弛支持，从视频场景中提取包含最具代表性帧的视频场景子集。整个考试。 [297]、[298] 提出使用连续帧中的 SURF 特征点和基于 RANSAC 的匹配来估计连续帧之间的单应性，以实现 WCE 的快速视频浏览。 [158] 中提出了一种无监督的 k 窗口聚类来聚类视频帧。每个集群都在不同的神经网络上进行训练以进行汇总。 [299] 描述了一种新颖的颜色纹理特征来描述 WCE 视频中帧的内容。使用提取的特征，通过镜头边界检测，应用频谱聚类将 WCE 视频分割成有意义的部分。以下参考资料在此未详述； [300]–[315]
      
    
    
  • 17） 特定组织的分割（IAS）：
    
    
    
    • [316] 提出了一种三步法来分割 WCE 图像帧。 a) 局部多项式逼近算法，找到每个像素的局部适应邻域； b) 颜色纹理分析，它通过反映该像素局部邻域特征的数值属性向量来描述每个像素； c) 执行 k 表示基于颜色特征向量进行聚类。 对于色素内窥镜和 NBI 成像，[317] 描述了在标准化切割图像分割框架中单独和组合使用各种视觉特征（边缘图、折痕和颜色）。 [318] 描述了一种在结肠镜图像中分割气泡的方法。
      
    
    
  • 18） 临床决策支持 (CDS)：
    
    
    
    • 此类别中描述的方法讨论了为临床医生构建通用工具以提供决策支持的方法。 此处描述的参考文献并不针对特定的疾病类别，而是针对检测病变并对其进行分类以确定疾病类型的系统。 该类别也可以归类为基于内容的图像检索平台，它本质上使用计算机视觉概念从数据库中检索相似图像以辅助临床诊断。
      
    • 在[319]提出的方法中，图像被转换到CIE-LAB空间。非下采样Contourlet变换用于分解色度和强度分量，表示颜色和纹理特征。使用 ML 估计器使用广义高斯密度对分解的子带进行建模。然后使用 PCA 压缩得到的特征向量。使用 Least Square-SVM 进行预分类，然后计算查询图像和数据库特征之间的 kullback-leibler 散度。 [320]，建议使用 GLCM、颜色直方图、GIST 和 Gabor、小波、最大响应 (MR8)、Leung Malik (LM) 滤波器组和 Schmid 滤波器组响应作为特征描述符，使用朴素贝叶斯最近邻进行图像检索分类器。 [321] 回顾了各种颜色和纹理描述符，以检索内窥镜场景中的帧类型。通过使用 ans SVM 和 ANN 分类器进行训练，使用这些特征描述符进行比较。 [322]，建议计算一个 10-bin 归一化的色调和饱和度直方图，并训练一个 SVM 分类器来检索 ROI 中的组织类别。 [323] 建议在语义空间中表示高清内窥镜图像中的局部特征，以生成 CBIR 系统，供临床医生查看在线选定区域。在 [324] 中，作者使用从 DT-CWT 中提取的纹理特征，提出了一种基于生成模型的策略，该策略与 CBIR 密切相关，用于在线组织分类。 [325] 提出了一种设计内窥镜图像语义、低维编码的新方法。 [326] 讨论了 GI 内窥镜图像注释和检索平台的开发。 [111] 中介绍了 CBIR 系统，用于基于颜色纹理分析识别食道癌前病变。 [327]，探索局部特征（通过使用高斯差分和网格采样等采样方案提取），BoW，并在用于特征描述的各种技术方面提供了广泛的实验。对于 CBIR 系统，研究了 SVM 分类器，并研究了它在不同核类型、局部特征的采样策略、要考虑的类的数量等下的性能。 [328] 回顾了 WCE 图像的各种特征描述符和分类方法。在 [43] 中，作者建议结合来自多个图像的信息，使用隐马尔可夫模型 (HMM) 框架设计一种监督分类方法。该框架以弱（k NN）分类器为原型，以评估其对包含息肉的胃肠道区域的性能。 [329] 建议使用色调饱和度直方图和纹理形式的颜色特征作为局部区域的 SVD 来开发 CBIR 系统，用于检测 WCE 中胃和肠之间的幽门瓣。
      
    • 在论文 [330] 中，从使用 Hilbert Huang 变换分解图像，使用 PCA 压缩所选模式以生成代表性特征向量。在 [331] 中，LBP 及其变体首先用于去除无信息框架，然后用于检测由乳糜泻、克罗恩病、肠息肉和肿瘤引起的病变。 [332] 提出了一种软件系统，该系统使用各种颜色和纹理特征，组合成一个单一的特征向量。然后提出了一个特征选择模型，它使用深度稀疏支持向量机（DSSVM），它像其他传统特征选择模型一样为特征维度分配合适的权重，并直接从特征池中排除无用的特征。 [333]，提出了一种用于在线内窥镜图像分析的智能系统。该方法讨论了从每个颜色分量的直方图中提取有色域和无色域中的纹理特征以训练 ANN。 [334] 建议使用 Hue-Saturation 直方图与 LBP 相结合，在多光谱成像中对癌前病变和癌变病变进行分类。对逻辑模型树、朴素贝叶斯、NN 和 SVM 分类器进行了比较。在 [335]、[336] 中，作者研究了一种自适应纹理分类策略，以实现对训练图像中不同程度退化的鲁棒性。这些论文还讨论了在这种情况下的各种相似性度量。 [337] 比较了各种基于纹理的特征描述符； LBP 和变体、多重分形谱、边缘共生矩阵和局部相位量化来训练 SVM 分类器。在乳糜泻分类的背景下，还研究了通过模糊均衡实现模糊不变性的方法。
      
    • 在 [338] 中，从图像的 DT-CWT 的不同变体中提取尺度不变特征，以便根据凹坑模式方案对高倍率结肠内窥镜图像进行分类。为了增强尺度不变性，将 DCT 应用于特征向量。最终描述符包含来自 DTC-WT 变体的子带的均值和标准偏差或这些子带的 Weibull 参数。读者可以参考 H¨afner 等人的进一步出版物，以研究空间频域描述符的各种用途 [339]-[341]。 [342] 在单个颜色通道上提出了 LBP 描述符的修改版本，以使用 Bhattacharyya 距离训练 NN 分类器。 [343] 对结肠息肉分类的四种交叉验证方法进行了比较，即留一图像、留一父母图像、留一病变和留一患者。 [344] 讨论了 GI 内窥镜中决策支持的应用领域，并回顾了视频内窥镜中检测腺瘤的各种功能。 [345]，提出了一个 CDS，它使用来自内窥镜图像的几何和颜色特征。论文 [346] 对结肠镜检查视频中各种通用场景类别的检测进行了分析。 [347] 讨论了边缘特征的使用和使用贪婪前馈选择提取最具辨别力的子集。描述符与 NN 分类器一起使用，以检测 GI 内窥镜检查中的各种场景。
      
    • 请读者按照参考文献进行研究以进一步激发； [205]、[326]、[348]-[368]
      
    
    
     
  
  
  
  • 这就完成了对 GI 内窥镜中场景理解和分类的回顾。 虽然本论文的目标应用是食道，但对完整的 GI 解剖进行了回顾，因为文献中没有遇到过这样全面的回顾，因此有必要对应用领域有一个清晰的了解。 首先，对各种最先进的算法进行了描述，以突出关键方法。 然后，进行基于内窥镜应用的分类。 确定了 18 个类别，从疾病特异性病例，如 CED 和 CRD，到广义 CDS 系统。 重建、导航和定位的应用领域是智能支持系统的重要组成部分，因此也进行了综述。 这种分类的次要目的是阐明在生物医学界观察到的关于将技术转移到 GI 临床领域的战略思想。