【手把手教你】搭建神经网络（CT扫描3D图像的分类）

Struggle

大家好，我是羽峰，今天要和大家分享的是一个基于tensorflow的CT扫描3D图像的分类。文章会把整个代码进行分割讲解，完整看完，相信你一定会有所收获。
欢迎关注“羽峰码字”
目录
1. 项目简介
2. API准备
3. 数据集准备
3.1 下载数据
3.2 数据预处理
3.3 建立训练和验证数据集
3.4 数据增强
4 模型构建
4.1 定义3D卷积神经网络
4.2 训练模型
4.3 验证模型
5. 使用模型进行预测
References

---

1. 项目简介

此示例将显示构建3D卷积神经网络（CNN）以预测计算机断层扫描（CT）扫描中病毒性肺炎的存在所需的步骤。 2D CNN通常用于处理RGB图像（3通道）。 3D CNN只是3D等效项：它以3D体积或2D帧序列（例如CT扫描中的切片）为输入，因此3D CNN是学习体积数据表示的强大模型。
2. API准备

1. import os
2. import zipfile
3. import numpy as np
4. import tensorflow as tf
6. from tensorflow import keras
7. from tensorflow.keras import layers

复制代码

3. 数据集准备

3.1 下载数据

下载MosMedData：具有COVID-19相关发现的胸部CT扫描
在此示例中，我们使用了MosMedData: Chest CT Scans with COVID-19 Related Findings。 该数据集包含具有COVID-19相关发现以及没有发现的肺部CT扫描。
我们将使用CT扫描的相关放射学发现作为标记，以建立分类器来预测病毒性肺炎的存在。 因此，该任务是二进制分类问题。

1. # Download url of normal CT scans.
2. url = "https://github.com/hasibzunair/3D-image-classification-tutorial/releases/download/v0.2/CT-0.zip"
3. filename = os.path.join(os.getcwd(), "CT-0.zip")
4. keras.utils.get_file(filename, url)
6. # Download url of abnormal CT scans.
7. url = "https://github.com/hasibzunair/3D-image-classification-tutorial/releases/download/v0.2/CT-23.zip"
8. filename = os.path.join(os.getcwd(), "CT-23.zip")
9. keras.utils.get_file(filename, url)
11. # Make a directory to store the data.
12. os.makedirs("MosMedData")
14. # Unzip data in the newly created directory.
15. with zipfile.ZipFile("CT-0.zip", "r") as z_fp:
16.     z_fp.extractall("./MosMedData/")
18. with zipfile.ZipFile("CT-23.zip", "r") as z_fp:
19.     z_fp.extractall("./MosMedData/")

复制代码

3.2 数据预处理

这些文件以Nifti格式提供，扩展名为.nii。 要读取扫描结果，我们使用nibabel软件包。 您可以通过pip install nibabel安装软件包。 CT扫描以Hounsfield单位（HU）存储原始体素强度。 在此数据集中，它们的范围从-1024到2000以上。 高于400的骨骼具有不同的放射强度，因此将其用作更高的界限。 通常将-1000到400之间的阈值用于归一化CT扫描。
要处理数据，我们执行以下操作：

• 我们首先将体积旋转90度，因此方向是固定的
  
• 我们将HU值缩放为介于0和1之间。
  
• 我们调整宽度，高度和深度的大小。
  

在这里，我们定义了几个辅助函数来处理数据。 在构建训练和验证数据集时将使用这些功能。

1. import nibabel as nib
3. from scipy import ndimage
6. def read_nifti_file(filepath):
7.     """Read and load volume"""
8.     # Read file
9.     scan = nib.load(filepath)
10.     # Get raw data
11.     scan = scan.get_fdata()
12.     return scan
15. def normalize(volume):
16.     """Normalize the volume"""
17.     min = -1000
18.     max = 400
19.     volume[volume < min] = min
20.     volume[volume > max] = max
21.     volume = (volume - min) / (max - min)
22.     volume = volume.astype("float32")
23.     return volume
26. def resize_volume(img):
27.     """Resize across z-axis"""
28.     # Set the desired depth
29.     desired_depth = 64
30.     desired_width = 128
31.     desired_height = 128
32.     # Get current depth
33.     current_depth = img.shape[-1]
34.     current_width = img.shape[0]
35.     current_height = img.shape[1]
36.     # Compute depth factor
37.     depth = current_depth / desired_depth
38.     width = current_width / desired_width
39.     height = current_height / desired_height
40.     depth_factor = 1 / depth
41.     width_factor = 1 / width
42.     height_factor = 1 / height
43.     # Rotate
44.     img = ndimage.rotate(img, 90, reshape=False)
45.     # Resize across z-axis
46.     img = ndimage.zoom(img, (width_factor, height_factor, depth_factor), order=1)
47.     return img
50. def process_scan(path):
51.     """Read and resize volume"""
52.     # Read scan
53.     volume = read_nifti_file(path)
54.     # Normalize
55.     volume = normalize(volume)
56.     # Resize width, height and depth
57.     volume = resize_volume(volume)
58.     return volume

复制代码

让我们从类目录中读取CT扫描的路径。

1. # Folder "CT-0" consist of CT scans having normal lung tissue,
2. # no CT-signs of viral pneumonia.
3. normal_scan_paths = [
4.     os.path.join(os.getcwd(), "MosMedData/CT-0", x)
5.     for x in os.listdir("MosMedData/CT-0")
6. ]
7. # Folder "CT-23" consist of CT scans having several ground-glass opacifications,
8. # involvement of lung parenchyma.
9. abnormal_scan_paths = [
10.     os.path.join(os.getcwd(), "MosMedData/CT-23", x)
11.     for x in os.listdir("MosMedData/CT-23")
12. ]
14. print("CT scans with normal lung tissue: " + str(len(normal_scan_paths)))
15. print("CT scans with abnormal lung tissue: " + str(len(abnormal_scan_paths)))

复制代码

3.3 建立训练和验证数据集

从类目录中读取扫描并分配标签。 对扫描进行下采样以具有128x128x64的形状。 将原始HU值重新缩放为0到1的范围。最后，将数据集拆分为训练和验证子集。

1. # Read and process the scans.
2. # Each scan is resized across height, width, and depth and rescaled.
3. abnormal_scans = np.array([process_scan(path) for path in abnormal_scan_paths])
4. normal_scans = np.array([process_scan(path) for path in normal_scan_paths])
6. # For the CT scans having presence of viral pneumonia
7. # assign 1, for the normal ones assign 0.
8. abnormal_labels = np.array([1 for _ in range(len(abnormal_scans))])
9. normal_labels = np.array([0 for _ in range(len(normal_scans))])
11. # Split data in the ratio 70-30 for training and validation.
12. x_train = np.concatenate((abnormal_scans[:70], normal_scans[:70]), axis=0)
13. y_train = np.concatenate((abnormal_labels[:70], normal_labels[:70]), axis=0)
14. x_val = np.concatenate((abnormal_scans[70:], normal_scans[70:]), axis=0)
15. y_val = np.concatenate((abnormal_labels[70:], normal_labels[70:]), axis=0)
16. print(
17.     "Number of samples in train and validation are %d and %d."
18.     % (x_train.shape[0], x_val.shape[0])
19. )

复制代码

3.4 数据增强

在训练过程中，CT扫描也可以通过以任意角度旋转来增强。 由于数据存储在形状（样本，高度，宽度，深度）的3级张量中，因此我们在轴4上添加了尺寸为1的尺寸，以便能够对数据执行3D卷积。 因此，新形状为（样本，高度，宽度，深度，1）。还有有各种各样的预处理和扩充技术请读者们查阅相关资料，此示例显示了一些简单的入门和增强技术。

1. import random
3. from scipy import ndimage
6. @tf.function
7. def rotate(volume):
8.     """Rotate the volume by a few degrees"""
10.     def scipy_rotate(volume):
11.         # define some rotation angles
12.         angles = [-20, -10, -5, 5, 10, 20]
13.         # pick angles at random
14.         angle = random.choice(angles)
15.         # rotate volume
16.         volume = ndimage.rotate(volume, angle, reshape=False)
17.         volume[volume < 0] = 0
18.         volume[volume > 1] = 1
19.         return volume
21.     augmented_volume = tf.numpy_function(scipy_rotate, [volume], tf.float32)
22.     return augmented_volume
25. def train_preprocessing(volume, label):
26.     """Process training data by rotating and adding a channel."""
27.     # Rotate volume
28.     volume = rotate(volume)
29.     volume = tf.expand_dims(volume, axis=3)
30.     return volume, label
33. def validation_preprocessing(volume, label):
34.     """Process validation data by only adding a channel."""
35.     volume = tf.expand_dims(volume, axis=3)
36.     return volume, label

复制代码

在定义训练和验证数据加载器时，训练数据会通过和增强功能传递，该功能会随机旋转不同角度的体积。 请注意，训练和验证数据均已重新缩放为0到1之间的值。

1. # Define data loaders.
2. train_loader = tf.data.Dataset.from_tensor_slices((x_train, y_train))
3. validation_loader = tf.data.Dataset.from_tensor_slices((x_val, y_val))
5. batch_size = 2
6. # Augment the on the fly during training.
7. train_dataset = (
8.     train_loader.shuffle(len(x_train))
9.     .map(train_preprocessing)
10.     .batch(batch_size)
11.     .prefetch(2)
12. )
13. # Only rescale.
14. validation_dataset = (
15.     validation_loader.shuffle(len(x_val))
16.     .map(validation_preprocessing)
17.     .batch(batch_size)
18.     .prefetch(2)
19. )

复制代码

可视化CT增强图像

1. import matplotlib.pyplot as plt
3. data = train_dataset.take(1)
4. images, labels = list(data)[0]
5. images = images.numpy()
6. image = images[0]
7. print("Dimension of the CT scan is:", image.shape)
8. plt.imshow(np.squeeze(image[:, :, 30]), cmap="gray")

复制代码

由于CT扫描有很多切片，用序列形式进行排列显示

1. def plot_slices(num_rows, num_columns, width, height, data):
2.     """Plot a montage of 20 CT slices"""
3.     data = np.rot90(np.array(data))
4.     data = np.transpose(data)
5.     data = np.reshape(data, (num_rows, num_columns, width, height))
6.     rows_data, columns_data = data.shape[0], data.shape[1]
7.     heights = [slc[0].shape[0] for slc in data]
8.     widths = [slc.shape[1] for slc in data[0]]
9.     fig_width = 12.0
10.     fig_height = fig_width * sum(heights) / sum(widths)
11.     f, axarr = plt.subplots(
12.         rows_data,
13.         columns_data,
14.         figsize=(fig_width, fig_height),
15.         gridspec_kw={"height_ratios": heights},
16.     )
17.     for i in range(rows_data):
18.         for j in range(columns_data):
19.             axarr[i, j].imshow(data[i][j], cmap="gray")
20.             axarr[i, j].axis("off")
21.     plt.subplots_adjust(wspace=0, hspace=0, left=0, right=1, bottom=0, top=1)
22.     plt.show()
25. # Visualize montage of slices.
26. # 4 rows and 10 columns for 100 slices of the CT scan.
27. plot_slices(4, 10, 128, 128, image[:, :, :40])

复制代码

4 模型构建

4.1 定义3D卷积神经网络

为了使模型更易于理解，我们将其构造为块。 本示例中使用的3D CNN的体系结构是基于本文的。

1. def get_model(width=128, height=128, depth=64):
2.     """Build a 3D convolutional neural network model."""
4.     inputs = keras.Input((width, height, depth, 1))
6.     x = layers.Conv3D(filters=64, kernel_size=3, activation="relu")(inputs)
7.     x = layers.MaxPool3D(pool_size=2)(x)
8.     x = layers.BatchNormalization()(x)
10.     x = layers.Conv3D(filters=64, kernel_size=3, activation="relu")(x)
11.     x = layers.MaxPool3D(pool_size=2)(x)
12.     x = layers.BatchNormalization()(x)
14.     x = layers.Conv3D(filters=128, kernel_size=3, activation="relu")(x)
15.     x = layers.MaxPool3D(pool_size=2)(x)
16.     x = layers.BatchNormalization()(x)
18.     x = layers.Conv3D(filters=256, kernel_size=3, activation="relu")(x)
19.     x = layers.MaxPool3D(pool_size=2)(x)
20.     x = layers.BatchNormalization()(x)
22.     x = layers.GlobalAveragePooling3D()(x)
23.     x = layers.Dense(units=512, activation="relu")(x)
24.     x = layers.Dropout(0.3)(x)
26.     outputs = layers.Dense(units=1, activation="sigmoid")(x)
28.     # Define the model.
29.     model = keras.Model(inputs, outputs, name="3dcnn")
30.     return model
33. # Build model.
34. model = get_model(width=128, height=128, depth=64)
35. model.summary()

复制代码

4.2 训练模型

1. # Compile model.
2. initial_learning_rate = 0.0001
3. lr_schedule = keras.optimizers.schedules.ExponentialDecay(
4.     initial_learning_rate, decay_steps=100000, decay_rate=0.96, staircase=True
5. )
6. model.compile(
7.     loss="binary_crossentropy",
8.     optimizer=keras.optimizers.Adam(learning_rate=lr_schedule),
9.     metrics=["acc"],
10. )
12. # Define callbacks.
13. checkpoint_cb = keras.callbacks.ModelCheckpoint(
14.     "3d_image_classification.h5", save_best_only=True
15. )
16. early_stopping_cb = keras.callbacks.EarlyStopping(monitor="val_acc", patience=15)
18. # Train the model, doing validation at the end of each epoch
19. epochs = 100
20. model.fit(
21.     train_dataset,
22.     validation_data=validation_dataset,
23.     epochs=epochs,
24.     shuffle=True,
25.     verbose=2,
26.     callbacks=[checkpoint_cb, early_stopping_cb],
27. )

复制代码

4.3 验证模型

在此绘制了训练和验证集的模型准确性和损失。 由于验证集是类平衡的，因此准确性提供了模型性能的公正表示。

1. fig, ax = plt.subplots(1, 2, figsize=(20, 3))
2. ax = ax.ravel()
4. for i, metric in enumerate(["acc", "loss"]):
5.     ax[i].plot(model.history.history[metric])
6.     ax[i].plot(model.history.history["val_" + metric])
7.     ax[i].set_title("Model {}".format(metric))
8.     ax[i].set_xlabel("epochs")
9.     ax[i].set_ylabel(metric)
10.     ax[i].legend(["train", "val"])

复制代码

5. 使用模型进行预测

1. # Load best weights.
2. model.load_weights("3d_image_classification.h5")
3. prediction = model.predict(np.expand_dims(x_val[0], axis=0))[0]
4. scores = [1 - prediction[0], prediction[0]]
6. class_names = ["normal", "abnormal"]
7. for score, name in zip(scores, class_names):
8.     print(
9.         "This model is %.2f percent confident that CT scan is %s"
10.         % ((100 * score), name)
11.     )

复制代码

 
References

• A survey on Deep Learning Advances on Different 3D DataRepresentations（https://arxiv.org/pdf/1808.01462.pdf）
  
• VoxNet: A 3D Convolutional Neural Network for Real-Time Object Recognition（https://www.ri.cmu.edu/pub_files/2015/9/voxnet_maturana_scherer_iros15.pdf）
  
• FusionNet: 3D Object Classification Using MultipleData Representations（http://3ddl.cs.princeton.edu/2016/papers/Hegde_Zadeh.pdf）
  
• Uniformizing Techniques to Process CT scans with 3D CNNs for Tuberculosis Prediction（https://arxiv.org/abs/2007.13224）
  

至此，今天的分享结束了，希望通过以上分享，你能学习到语义分割的基本流程，基本过程，与图像分割类似，但更具象化。强烈建议新手能按照上述步骤一步步实践下来，必有收获。
今天代码翻译于：https://keras.io/examples/vision/3D_image_classification/，新入门的小伙伴可以好好看看这个网站，很基础，很适合新手。
当然，这里不得不重点推荐一下这三个网站：
https://tensorflow.google.cn/tutorials/keras/classification
https://keras.io/examples
https://keras.io/zh/
其中keras中文网址中能找到各种API定义，都是中文通俗易懂，如果想看英文直接到https://keras.io/，就可以，这里也有很多案例，也是很基础明白。入门时可以看看。
我是羽峰，还在成长道路上摸爬滚打的小白，希望能够结识一起成长的你，公众号“羽峰码字”，欢迎来撩。

来源：https://blog.csdn.net/m0_37940804/article/details/116910858
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！