具有模糊相对位置的Transformer用于超声诊断乳腺癌

手术室老王

超声波是乳腺癌早期检测的常用手段，特别是在乳房致密或乳腺癌高危人群中。超声波的优点包括非侵入性、低成本、无电离辐射暴露和便携性。超声可以根据病变的特征区分良恶性病变。
超声的主要缺点之一是，与乳房X光检查相比，其特异性相对较低，导致假阳性率较高。
   特异性（Specificity）是指分类模型正确预测为反例的样本数占所有反例样本数的比例
   使用超声波进行乳腺癌筛查无法检测到早期乳腺癌的常见征兆（微钙化）。此外，重叠的组织结构可能导致模糊或信号衰减，导致遗漏病变。超声波可以与其他成像技术相结合，以提高检测率并减少假阳性。

---

   一种新的模糊相对位置编码（FRPC）Transformer用于腺癌癌诊断中的乳腺超声（BUS）图像分类。提出的FRPC  利用Transformer中的自注意力机制，结合模糊相对位置编码来捕获BUS图像的全局和局部特征。
   Transformer结构由编码器和解码器组成，编码器的每一层都包含一个自注意力机制和前馈神经网络（FFN）。自注意力机制计算输入序列每个位置上的权重，擅长捕捉不同位置之间的关系。前馈神经网络则对每个位置的表示进行非线性变换，提高模型的表达能力。
Transformer的两个值得注意的应用是Transformer的双向编码器表示（BERT）和生成性预训练（Transformer-3）。它们分别在自然语言推理和语言生成任务中取得了良好的结果。
Visual Transformer

Transformer将图像分割成不重叠的块，每个块都可以由Transformer按顺序进行处理。
Transformer使用多个自注意力层处理补丁序列，这允许模型在保持计算效率的同时捕获整个图像的全局依赖关系。然后，由变压器输出的结果序列通过前馈网络馈送，以产生最终分类输出。
相对位置编码

在原始的Transformer架构中，位置编码通常被添加到输入嵌入中，以传达输入序列中补丁的相对位置。
由于高分辨率和大量的块，相对位置编码可以有效地捕捉不同块之间的关系
Swin Transformer

Swin Transformer模型将Transformer模型中原始的绝对位置编码改进为离散位置编码，其中位置矩阵中的每个位置索引表示当前补丁位置与其他补丁位置之间的相对距离。
   将序列分成多个块，并为每个块分配一个不同的向量表示。这些向量表示与序列中的相对位置有关，而不是与绝对位置有关，可以减少模型的计算成本和内存占用，并且能够处理更长的序列。
  Swin Transformer模型将输入序列的位置信息嵌入到特征映射中。通过向输入添加可学习的位置嵌入来实现，使得模型能够理解序列中不同补丁的相对位置。
设X为长度为N的输入序列，其中每个元素 

 为 d维特征向量。该序列被划分为M个不重叠的块，每个块的大小为

, 

对于块m，我们添加一个

输入块的特征，其中

是序列块m的第i个元素

                               
登录/注册后可看大图

 接下来，我们分别使用两个可学习的投影矩阵

和

将补丁的特征和位置嵌入投影到新的特征空间

最后，把这些投影的补丁特征被重新排列成一个序列，并将其反馈给Swin Transformer编码器。
模糊相对位置编码（FRPE）

Swin Transformer因其通过离散位置编码方法捕获全局和局部位置信息，这提高了需要敏锐地理解输入序列中不同元素之间的位置关系的任务的性能。
模糊集经常被用来模拟各种系统中的不确定性。在Swin Transformer模型的情况下，模糊集可以用来解释图像补丁中的不确定性或模糊性。
   FRPE方法利用模糊隶属度的概念来实现更平滑和更连续的位置编码。它将每个位置视为可能位置的模糊集合，允许模型考虑到上下文中补丁的确切位置的不确定性，在处理噪声或非结构化图像时特别有用。其能够在需要精确位置信息的任务中表现出色。
  FRPE方法需要将每个位置编码为可能位置上的分布，而不是单个准确的位置。定义一个模糊隶属函数来映射和归一化原始位置。将

嵌入到一个表示为

的光滑范围内。使用相对位置偏差来计算新特征：

其中，S（.）是平滑位置嵌入的模糊函数，

是每个位置的系数。

是补丁 i 的邻域。
光滑函数

模糊相对位置编码方法引入了一个光滑函数来描述补丁之间的空间关系。每个补丁都被分配了一个基于其到邻近其他补丁的距离的实际值。可以增强Transformer描述补丁之间微小变化的能力。
FRPE方法基于位置模糊度的思想，允许更灵活和自适应地表示图像中的位置信息。可以使用平滑模糊位置嵌入来描述补丁之间的空间关系。将模糊隶属度输入到加权和，以获得每个块的最终编码表示。它使用平滑的位置来捕捉补丁之间的复杂空间关系。
用于乳腺超声图像分类的FRPE变换

将原始乳腺超声图像分割成互不重叠的块，然后用模糊相对位置编码方法计算它们的相对位置并进行编码。块序列及其相对位置编码通过Transformer编码器进行编码，最后将结果馈送到多层感知机（MLP），将图像分类良性、恶性两类。
   多层感知器（MLP）是一种由多层完全连接（密集）神经元组成的神经网络层
  

                               
登录/注册后可看大图

评价指标

Receive operating characteristic(ROC)接收器工作特性曲线是用于评估二进制分类器性能的图形绘图。
ROC曲线是机器学习分类任务中广泛使用的评价指标。ROC曲线绘制了不同分类阈值下的真阳性率与假阳性率之间的关系。通过改变用于确定预测类的阈值，它可以在曲线上生成不同点。
ROC曲线可以通过从0到1递增将示例分类为“阳性”（表示存在乳腺癌）的阈值来生成。随着阈值的改变，产生不同的TP和FP，从而形成一组在ROC空间中形成点的对。通过将所有的点连接在一起，可以呈现ROC曲线。
真阳性率：

假阴性率=1-真阴性率
真阴性率：

为了得到分类器质量的数值表示，可以计算ROC下的面积（AUC）。一个完美的分类器应该有1的AUC ROC，而完全随机的猜测会得到0.5
AUC ROC提供了分类器性能的聚合度量，通常用于比较分类模型的整体性能。
实验结果

数据收集

乳腺超声图像分割（BUSIS）是综合性的乳腺癌超声图像集，其包括五个数据集：HMSS数据集、Thammasat数据集、BUSIS数据集、数据集B和BUSI数据集，其中只有BUSI数据集具有两性、恶性和正常的乳腺癌超声图像。
MIDA/BUS Benchmark
在乳腺癌诊断中，肿瘤的边界区域表现出不同于肿瘤核心部分的独特特征，在确定肿瘤的恶性程度方面至关重要。光滑和连续的边界通常表示良性病变，而尖锐的曲线和进入乳房组织的细小分支则表示恶性肿瘤。