【MRI图像超分辨率入门及研究综述（个人总结版）】

残酷的温柔

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
  
  

---

前言

提示：这里可以添加本文要记录的大概内容：
本文主要记录从小白入门MRI_SR的过程及其研究综述，为了总结方便，本文仅简单列举了学习步骤及资源链接。
如有侵权联系必删

---

一、了解核磁共振成像

1、机械系统

2、物理学原理

此处不具体展开，学习资源：b站清华大学生物医学影像研究中心 fMRI 系列讲座 “探索磁共振，助力脑科学”第1期
   通过这个视频可以掌握成像的机械系统构成和物理学原理以及影像成像质量和速度的因素。
  3、数据类型及类型转换

类型

主要有T1w,T2w,DWI和DTI…
   关于除了T1w和T2w之外的图像类型及原理请自行百度，csdn上有许多优质文章
  格式转换

需要注意的是，核磁共振成像仪器直接输出的是dcm格式，而进行数据分析所用的软件通常都是使用NIfTI格式，如果得到的是原始数据，需要在进行处理前进行数据类型转换。
1、为什么转换？

原因一：在python中，有一个库即nibabel专门用于处理.nii的文件，因此当数据格式为.nii时简化代码。
原因二：NIFTI的文件是三维的图像，而DICOM的文件为二维的多张图像，所以相对于DICOM文件，NIFTI文件更加易用于机器学习，训练的张数减少。
2、如何进行转换

主要有两种途径
一个是Matlab自带的工具箱,如下图

                               
登录/注册后可看大图

另一种是专用的数据转换软件MRIcron
   通常的公开数据集都会提供NIfTI格式的数据，我还没有尝试转换过
  4、成像过程

   此处只列出需要学的知识点和可用资源
  ①k-space

定义

K空间（傅里叶空间）是一个虚拟的空间，它是存储MRI所有频率信息的一个三维的空间，是用来MR信号的定位的空间
采样方式

K空间采样轨迹是实现采样的具体方式，分为笛卡尔采样和非笛卡尔采样。现有成像设备的MRI脉冲序列大都是基于笛卡尔采样的。非笛卡尔采样可分为径向采样，螺旋采样，高斯随机采样。相比于笛卡尔采样，非笛卡尔采样更满足不相干要求，支持高度的欠采样。
性质

1、K空间的共轭属性

即相位编码方向Ky、频率编码方向Kx具有K空间共轭现象。基于这个属性原则上来讲只要填充K空间四分之一的数据即可重建出整个K空间的信息
2、图像内容含义

频率编码梯度决定K空间线的长度；
相位编码梯度决定了K空间线在K空间中的位置；
K空间行距决定图像FOV大小；
K空间线覆盖的面积决定图像的空间分辨率。
MRI K-space应用

学习资源

https://zhuanlan.zhihu.com/p/139047870
《MRI界最“不讲武德”的K空间》
②二维傅里叶变换

学习资源

https://zhuanlan.zhihu.com/p/110026009
二、数据集总结

1.找数据集应该注意的点

采样规模大小
MRI图像模态
磁场B0强度
fMRI drive tasks
特殊性质（如疾病类型）
2、常见的MRI公开数据集

OpenNeuro
INDI
Human connectome Project(有7T数据集)
ADNI
…
   其中下载最方便的是OpenNeuro,以上的数据集直接百度就能找到网址
  三、fMRI数据处理与分析

0、软件安装

此处仅介绍SPM，Matlab的一个工具箱，csdn搜索安装即可
1、预处理

有头动校正…
2、一般线性模型分析

话不多说直接上学习资源
B站up:她唱起歌来了
《SPM数据处理教程 任务态fMRI分析 task-fMRI data analysis》
MRI超分辨率研究综述

一、提高MRI成像质量的思路

   为了提高MRI图像恢复质量，研究者大都在K空间采样轨迹，稀疏基，非线性重建算法三个方面进行研究拓展。
  1、改善硬件设备

2、选择更好的稀疏基（k空间欠采样）

3、运用重建算法

二、重建算法

   注：关于经典的超分方法快速过，主要为寻找前沿
  见下图

                               
登录/注册后可看大图

一、传统超分辨率重建算法

插值

优点

简单且处理速度较快
缺点

是对于图像像素突变的处理效果较差，易出现锯齿和块效应等
退化模型

缺点

要求图像具有较好的先验知识，因此并不完全适用于直接重建放大倍数较大的图像
学习

类型

机器学习、流形学习、样本学习和稀疏编码（压缩感知原理）
优点

可以更为细致地对图像的纹理细节等进行恢复
直接po出资源链接：csdn
《一文掌握图像超分辨率重建（算法原理、Pytorch实现）——含完整代码和数据》
二、基于深度学习

发展历程

1. 2014年，Dong等人

思路

使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系，先放大再复原，在复原阶段使用神经网络，网络模型为SRCNN(Super-Resolution Convolutional Neural Network)
特点

1、空间域
2、上采样为插值
贡献

首次将深度学习应用到图像超分辨率重建领域，确定了使用神经网络来重建图像的基本流程，即图像放大和修复
待解决的问题

①其完全基于数据驱动，未结合图像中的先验知识；
②只能对相同缩放倍数的图像进行 SR，需要重新调整网络参数并训练以实现不同尺寸的 SR；
③由于采用插值的方法将 LR 图像的分辨率转换到 HR 图像空间中，然后再利用神经网络对放大图像进行重建，这增加了网络计算量；
④由于使用的是浅层网络，网络的感受野较小，无法提取图像中的全局特征信息。
2. 2016年，Shi等人

思路

预先采用近邻插值的方式本身已经影响了性能，如果从源头出发，应该从样本中去学习如何进行放大，他们基于这个原理提出了ESPCN (Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Networ)算法。该算法在将低分辨率图像送入神经网络之前，无需对给定的低分辨率图像进行一个上采样过程，而是引入一个亚像素卷积层（Sub-pixel convolution layer），来间接实现图像的放大过程。
   亚像素卷积层（Sub-pixel convolution layer）需要了解，总的来说是一个反抽样的思想
  特点

1、上采样采用Sub-pixel,将整个过程统一纳入深度学习过程
2、MSE作为目标函数
贡献

极大降低了SRCNN的计算量，提高了重建效率
3、2017年，LIM 等人

思路

对残差网络进行改进，删除了残余块中的批处理标准化层(batch normalization，BN)
贡献

提高了深度超分辨率网络(enhanced deep SR network，EDSR)的泛化能力
4、2017年，Christian Ledig等人

思路

照片感知角度出发，通过对抗网络来进行超分重建，提出SRGAN算法，同时提出了一个对比算法，名为SRResNet
   需要学习深度残差网络结构，Po出的博文有介绍
  特点

1、改用新的目标函数
2、使用深层网络
贡献

1、设计了MOS(Mean Option Score)指标，新评价指标
2、使用深度残差网络（ResNet）
使重建的图像满足信噪比，从而恢复丰富的高频细节信息
5、2021年，WangZX等人

思路

精简网络结构
贡献

设计了轻量级的多尺度特征交互网络(multi-scale feature interaction network，MSFIN)，使 SR 技术可用于更多的轻量级设备上
按网络类型分类

一、基于CNN的SR网络

2014,SRCNN
2016，ESPCN(亚像素卷积层)
   此两种网络见上介绍
  2016，残差密集网络(residual dense network，RDN)+残差通道注意力网络 (residual channel attention networks，RCAN)
   RDN
解决的问题：LR 图像的层次特征得不到充分利用的问题
思路：通过串联的方式将多个残差密集块组合在一起，提出RDN
效果：该网络在从前向后的特征传递过程中，通过残差结构提取并融合局部特征来建立长期依赖关系，保留了底层的特征信息
RCAN
解决的问题：为缓解训练难度，首次将注意力机制应用于 SR 问题的网络
思路：RCAN 采用了一种残差中的残差(residual in residual，RIR)结构，并由多个具有长跳跃连接的残差组组合而成。
效果：去除了大量低频信息，使得主网络学习到的信息更为有效
  2020，整体注意力网络(holistic attention network，HAN)
   解决的问题：基于注意力的方法只考虑了通道和空间之间的联系，而忽略了多尺度层之间的相互依赖关系
思路：引入了层次注意力模块，通过多尺度层间的相互关系来学习特征值，并使用通道空间注意模块(channel-spatial attention module，CSAM)学习各层特征的通道和空间相关性
效果：
层注意力模块可以为不同深度的特征分配不同的注意力权重，提高了特征的表示能力；
通道-空间注意力包含了来自特征映射的所有维度，解决了空间注意力机制对通道维度信息缺失、忽略尺度信息的问题；
  2021，轻量级的MSFIN
   解决的问题：减少内存的消耗
思路：在通道注意力机制的基础上提出了一种轻量级循环残差通道注意块(recurrent residual channel attention block，RRCAB)，并在此基础上设计了多尺度特征交互模块
效果：网络可以充分利用不同尺度和交互连接的特征信息，在恢复出高质量图像的同时减小对内存的需要
  基于 ResNet 的 SR 网络

   见上
  2017，增强的深度超分辨率(enhanced deep super-resolution，EDSR)网络
2018，多尺度残差网络(multi-scale residual network，MSRN)
基于 GAN 的 SR 网络

2017，SRGAN
发展前景

   基于深度学习的 SR 在网络结构、损失函数、学习方式和退化模型等各个方法不断地进行改进和优化。
  (1) 网络选择和设计
将各种网络优点结合，轻量化网络结构
(2) 针对实际场景的应用
可以利用不同场景中的先验知识，并保持良好的重建效果
(3) 引入新的学习方法
在深度学习中有许多的学习机制，如多因素学习、元学习、迁移学习、知识蒸馏等方法，如何将一种或多种学习机制有效地与现有方法相结合
(4) 目标函数和评估标准
在实际的重建效果中仍然存在精度和感知质量失衡的情况。同时，在对重建效果的评价时通常采用独立的主观和客观评价方法，因此如何设计更好的损失函数和质量评价方法加以平衡
总结