AlexNet 网络结构

这篇主要拆 AlexNet 的网络结构。AlexNet 比 LeNet 更深，重点不只是卷积层数量变多，还包括 ReLU、Dropout、重叠池化以及当时为了训练大模型采用的双 GPU 结构。

AlexNet 是 2012 年 ILSVRC（ImageNet Large Scale Visual Recognition Challenge）竞赛的冠军网络，分类准确率由传统方法的 70%+ 提升到 80%+。它由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 提出。也是从那之后，深度学习在计算机视觉领域开始迅速发展。

注：原论文使用了两块 GPU，所以网络结构图被画成上下两块。

Dropout 位于全连接部分，训练时会随机屏蔽一部分神经元，用来缓解过拟合。下面从 Conv1 开始逐层计算尺寸。

结构分析

Conv1

原论文使用两块 GPU 并行计算，结构图中的上下两组不是两个串联网络，而是通道被分配到两块 GPU 上。

• 输入：input_size = [224, 224, 3]
• 卷积层：
  • kernels = 48 * 2 = 96 组卷积核
  • kernel_size = 11
  • padding：按 224 输入推导到 55 输出时，需要非对称补零；不少现代实现会直接使用 227 x 227 输入且不填充
  • stride = 4
• 输出：output_size = [55, 55, 96]
  

Maxpool1

• 输入：input_size = [55, 55, 96]
• 池化层：（只改变尺寸，不改变深度channel）
  • kernel_size = 3
  • padding = 0
  • stride = 2
• 输出：output_size = [27, 27, 96]

经 Maxpool1 后的输出层尺寸为：

Conv2

• 输入：input_size = [27, 27, 96]
• 卷积层：
  • kernels = 128 * 2 = 256 组卷积核
  • kernel_size = 5
  • padding = [2, 2]
  • stride = 1
• 输出：output_size = [27, 27, 256]

经 Conv2 卷积后的输出层尺寸为：

Maxpool2

• 输入：input_size = [27, 27, 256]
• 池化层：（只改变尺寸，不改变深度channel）
  • kernel_size = 3
  • padding = 0
  • stride = 2
• 输出：output_size = [13, 13, 256]

经 Maxpool2 后的输出层尺寸为：

Conv3

• 输入：input_size = [13, 13, 256]
• 卷积层：
  • kernels = 192* 2 = 384 组卷积核
  • kernel_size = 3
  • padding = [1, 1]
  • stride = 1
• 输出：output_size = [13, 13, 384]

Conv4

• 输入：input_size = [13, 13, 384]
• 卷积层：
  • kernels = 192* 2 = 384 组卷积核
  • kernel_size = 3
  • padding = [1, 1]
  • stride = 1
• 输出：output_size = [13, 13, 384]

Conv5

• 输入：input_size = [13, 13, 384]
• 卷积层：
  • kernels = 128* 2 = 256 组卷积核
  • kernel_size = 3
  • padding = [1, 1]
  • stride = 1
• 输出：output_size = [13, 13, 256]

Maxpool3

• 输入：input_size = [13, 13, 256]
• 池化层：（只改变尺寸，不改变深度channel）
  • kernel_size = 3
  • padding = 0
  • stride = 2
• 输出：output_size = [6, 6, 256]

FC1、FC2、FC3

原论文完整模型的全连接层是 6 x 6 x 256 -> 4096 -> 4096 -> 1000。一些教学实现为了节省显存，会把中间维度缩到 2048；最后的 1000 对应 ImageNet 类别数，换数据集时应改成实际类别数。

尺寸变化小结

在这套参数下，Conv2 到 Conv5 保持空间尺寸，主要改变通道数；三次池化负责降低空间分辨率。把这条尺寸链手算一遍，比只背五层卷积更容易发现实现里的 padding 或输入尺寸问题。