离线
|
1. MRI重建:
1.1 问题描述
MRI图像重建可以用方程进行近似:
Fx+ϵ=y
其中: x∈CN 表示想要重建的图像,y∈CM 表示观测的图像,ϵ∈CM 表示噪声图像。F∈CM×N 是我们想要学习的矩阵,表示F:CN→CM一种映射关系。因为M<<N 所以上述公式求解F是一个病态问题,所以上面方面是不可以直接求解的。
1.2 基于CS-MRI的重建算法
1.2.1 基本思想
公式表达:
minx12∥FuX−y∥22+λR(x)
其中minx12∥FuX−y∥22 是数据保真项, Fu∈CM×N 是欠采样的傅里叶编码矩阵,R 代表着x的正则项,λ 平衡数据保真项和正则项的因子,正则项R往往是x某个稀疏域的lp 范数,比如l1、l2 范数。
1.2.2 常见的一些算法:
- 一开始MRI重建算法从最开始设计快速序列出发,诸如FSE、GRE、FSPGR、FMPGR等其他序列。
- 随后发展出来并行核磁共振成像(PMRI)算法,主要思想是利用多个线圈同时进行成像,主要的算法有SMASH、GRAPPA算法。
- 随着陶哲轩 等人提出的压缩感知方法,迅速将CS理论应用理论MRI重建中,突破了奈奎斯特定律的限制, 具有良好的数学证明,只要满足有限等距条件(RIP)就可以使用。在CS-MRI的大框架之下,涌现了一大批算法,主要研究的方向大概有两点。一是寻找合适的稀疏基,比如小波、TV、双树小波等。二是尽可能的利用图像的先验信息,比如支撑集、低秩特征、空间平缓性。自己所遇到的一些常见的包括了ADMM、TV、ISTA、DL-MRI、BM3D-MRI、OMP、k-t SLR、RPCA 、L+S、BCS 等方法,包含静态MRI和动态MRI,但其实算法还有很多很多。
自从深度学习出来之后,上述的方法都被称为了传统方法,不得不说深度学习还是太强大!在很多的深度学习重建MRI提出了上述传统方法的不足之处,大概有以下几点:
- 传统的CS-MRI要求采集矩阵和稀疏变换矩阵是不相关的,才可以使用CS-MRI理论,这个在实际中往往条件有点苛刻。
- 稀疏基往往太过于简单去捕捉非常复杂的图像组织。
- 这些方法往往都是求解优化问题,而且往往是非凸的,往往需要进行大量的迭代运算,不能够达到实时性的效果。
- 在CS-MRI中不合适的超参数预测往往会导致图像产生过于平滑以及不自然。
基于以上几个限制,MRI加速倍数在×2到×6之间。
1.3 基于深度学习的MRI重建算法
1.3.1 基本思想
公式表达:
minx12∥FuX−y∥22+λR(x)+ξ∥∥x−fcnn(xu|θ^)∥∥22
其中 fcnn 是以参数θ 正向传播的网络,ξ 是另一个正则化因子,xu=FHuy 是从欠采样的k空间直接傅里叶反变换得到的零填充图像数据,θ^是CNN网络训练得到的最好的参数。主要的思想如下图所示:
1.3.2 常见的一些算法:
将深度学习应用到MRI重建中时间也不长,最早的文章是2016的一篇文章Accelerating magnetic resonance imaging via deep learning[1]作者将CNN网络利用MRI中,建立0填充图像到groud truth之间映射。这也算是开篇之作了。随后出现了cascade CNN [2]将多个CNN网络级联起来进行重建。西安交通大学的ADMM-Net [3]网络,将ADMM算法和CNN联合起来进行重建。帝国理工大学的DAGAN网络[4],将GAN的思想运用了MRI重建当中,生成器网络使用了u-net的思想,判别器网络使用了DCGAN的网络,另外也将图像损失、频率损失、对抗损失、感受损失联合起来了,其中这里的感受损失在2016的ECCV[5]李菲菲实验室已经提出来了,作者就很好的使用了,所以说关注一些新的SR进展是多么重要。随后出现的GANCS网络[6], 作者将LSGAN和CycleGAN思想完美的融合在一起,另外将k空间数据实部和虚部变成双通道同时送入网络进行训练。与此同时出现了RefineGAN[7]引入了CycleGAN的相关思想。在2016还出现了Multi-GPU[8]训练以及3D卷积稀疏编码[9]应用到MRI重建当中。另外2017年一篇文章[10]在欠采样的k空间加入了一些低频噪声这样有利于进行异常点准确重建。也出现了Transfer learning应用到MRI重建过程中[11],网络先在image-net上面进行训练,然后在T1、T2上面进行fine-tuning这样针对数据少的时候更少的减少过拟合。另一方面,发表在2018AAAI一篇文章RDN[12]将递归学习、空洞卷积、残差学习很好的结合在一起,取得了不错的效果。最近出现的ISTA-Net[13]和DR2-Net[14]也是MRI重建的一些方法。另外,最新的一些方向也有利用3D[15]、[16]方法进行MRI重建的。
接下来放一些深度学习重建的效果图:
DAGAN重建:
RDN重建效果:
1.4 一些展望
深度学习将传统的迭代所耗费的时间变成了训练时间和测试时间,往往训练时间需要好几天,但是重建一幅图像的时间(测试时间)往往可以达到10ms,这个速度确实可以达到实时性的效果。目前的MRI设备仍然使用PMRI成像以及直接将k空间的数据反变换成图像数据。压缩感知的虽然数学表达上非常完美,但是将其应用到MRI设备上好像还很难。虽然深度学习取得了很不错的效果,无论是在重建质量还是在重建速度上。但是有一个问题上深度学习的网络往往比较大,往往都是在服务器上的,那么部署到本地是一个问题,需要轻量级的网络结构以及相互配套的序列等一系列问题,同时对于人来说,具有不同的结构组织往往需要重新训练,深度学习还不能针对所有情况。另外,深度学习往往需要大量的数据进行训练,而某些时候由于隐私等其他情况数据并不是那么容易获得的。从这里看,想要将深度学习应用到MRI重建中,还有很长一段路要走。不过以上都是自己的一些见解,可能有失偏颇,恳请指正。
参考文献
- Accelerating magnetic resonance imaging via deep learning
- A Deep Cascade of Convolutional NeuralNetworks for MR Image Reconstruction
- ADMM-Net: A Deep Learning Approach for Compressive Sensing MRI
- Deep De-Aliasing for Fast Compressive Sensing MRI
- PerceptualLosses for Real-Time Style Transfer and Super-Resolution
- Deep Generative Adversarial Networks for Compressed Sensing (GANCS) Automates MRI
- Compressed Sensing MRI Reconstruction with Cyclic Loss in Generative Adversarial Networks
- Multi-GPU Reconstruction of Dynamic Compressed Sensing MRI
- Compressed sensing dynamic MRI reconstruction using GPU-accelerated 3D convolutional sparse coding
- Deep learning for undersampled MRI reconstruction
- A Transfer-Learning Approachfor Accelerated MRIusing Deep Neural Networks
- Compressed Sensing MRI Using a Recursive Dilated Network
- STA-Net: Iterative Shrinkage-Thresholding Algorithm InspiredDeep Network for Image Compressive Sensing
- DR2-Net: Deep Residual Reconstruction Network for Image Compressive Sensing
- Brain MRI super-resolution using deep 3D convolutional networks
- Multi-scale brain MRI super-resolution using deep 3D convolutional networks
来源:https://blog.csdn.net/weixin_41923961/article/details/82721462
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |
|