NiN卷积神经网络模型

无论是LeNet, AlexNet或者VGG都是使用了一系列卷积层拉提取空间结构特征，然后使用全连接层对特征的表征进行处理。

然而，如果使用了全连接层，可能会完全放弃表征的空间结构，并且全连接层会有大量的参数量，容易过拟合

NiN用1x1的卷积核来作用在每个像素位置上，类似一个全连接层，并且保留了空间结构。

1 NiN模型的结构

NiN和VGG块一样，会构建一个NiN块，这些块中有多个1x1卷积层

Image

然后堆叠多个NiN块，最后通过全局平均池化层来得到最终的输出
全局平均池化就是将输出的多通道矩阵信息，取每个通道的平均值作为输出，可以实现类似全连接层的效果。

它与VGG的主要区别如图：

Image

2 NiN模型代码实现

首先构建NiN块

import torch
from torch import nn
from d2l import torch as d2l


#定义一个NiN块
# 输入通道,输出通道,第一个卷积核大小,步幅,填充
def nin_block(in_channels, out_channels, kernel_size, strides, padding):
    return nn.Sequential(
            nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
            nn.ReLU(),
            nn.Conv2d(out_channels, out_channels, kernel_size=1), 
            nn.ReLU(),
            nn.Conv2d(out_channels, out_channels, kernel_size=1), 
            nn.ReLU())

然后利用NiN块构建NiN模型

# 利用NiN块构建NiN模型
net = nn.Sequential(
    nin_block(1, 96, kernel_size=11, strides=4, padding=0),
    nn.MaxPool2d(3, stride=2),
    nin_block(96, 256, kernel_size=5, strides=1, padding=2),
    nn.MaxPool2d(3, stride=2),
    nin_block(256, 384, kernel_size=3, strides=1, padding=1),
    nn.MaxPool2d(3, stride=2),
    nn.Dropout(0.5),
    # 标签类别数是10
    nin_block(384, 10, kernel_size=3, strides=1, padding=1),  # 最后因为输入数据的类别是10
    nn.AdaptiveAvgPool2d((1, 1)),   # 全局平均池化层取代全连接层
    # 将四维的输出转成二维的输出，其形状为(批量大小,10)
    nn.Flatten())

每一层的输出维度

X = torch.rand(size=(1, 1, 224, 224))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t', X.shape)

结果：
Sequential output shape: torch.Size([1, 96, 54, 54])
MaxPool2d output shape: torch.Size([1, 96, 26, 26])
Sequential output shape: torch.Size([1, 256, 26, 26])
MaxPool2d output shape: torch.Size([1, 256, 12, 12])
Sequential output shape: torch.Size([1, 384, 12, 12])
MaxPool2d output shape: torch.Size([1, 384, 5, 5])
Dropout output shape: torch.Size([1, 384, 5, 5])
Sequential output shape: torch.Size([1, 10, 5, 5])
AdaptiveAvgPool2d output shape: torch.Size([1, 10, 1, 1])
Flatten output shape: torch.Size([1, 10])

开始训练：

lr, num_epochs, batch_size = 0.1, 10, 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

代码链接