学习要点
❖ 卷积的基本数学公式？
❖ 卷积神经网络的特性，他有什么优点和缺点？
❖ 能够学会对于不同卷积网络的参数，输出后的shape是什么？
❖ 能够自己完成简单的代码实现

8.1 多隐含层MLP

介绍了 MindSpore，这是一个由华为开发的开源深度学习框架。

MindSpore 的目标

• 旨在支持端、边、云协同的 $\text{AI}$ 应用。

MindSpore 的主要特点

1. 多场景支持：

   • 支持训练和推理。

   • 可以在云服务器、边缘设备和移动设备上运行（体现了“端、边、云”协同的能力）。

2. 自动微分 (Auto Differentiation)：

   • 提供自动求导机制。

   • 支持动态图和静态图模式。

3. 高性能：

   • 对异构处理器 ($\text{Ascend}$)、$\text{GPU}$ 和 $\text{CPU}$ 都有良好的支持。

   • 特别针对异腾 ($\text{Ascend}$) 进行了优化（$\text{Ascend}$ 是华为自研的 $\text{AI}$ 芯片）。

4. 生态支持：

   • 支持多种模型库（如 $\text{MindSpore ModelZoo}$）。

   • 提供可视化工具等，方便开发和调试。

总结： $\text{MindSpore}$ 是一个致力于在各种硬件环境（云、边、端）上实现高效、灵活 $\text{AI}$ 应用的深度学习平台，其特色在于对华为自研 $\text{Ascend}$ 芯片的深度优化。

基于MindSpore的MLP实现

# 引入必要的包
import mindspore
import mindspore.nn as nn
from mindspore import Tensor
import mindspore.dataset as ds
import mindspore.dataset.vision as vision
import numpy as np

# 构建模型：定义一个多层感知机（MLP）
class MLP(nn.Cell):
    def __init__(self):
        super(MLP, self).__init__()
        self.flatten = nn.Flatten()                    # 将二维图像展平成一维向量
        self.fc1 = nn.Dense(28 * 28, 128)              # 第一层全连接，输入28*28=784，输出128
        self.relu = nn.ReLU()                          # ReLU激活函数
        self.fc2 = nn.Dense(128, 64)                   # 第二层全连接，输入128，输出64
        self.fc3 = nn.Dense(64, 10)                    # 第三层全连接，输入64，输出10（对应10个类别）

    def construct(self, x):
        x = self.flatten(x)                            # 展平图像
        x = self.relu(self.fc1(x))                     # 第一层全连接 + 激活
        x = self.relu(self.fc2(x))                     # 第二层全连接 + 激活
        x = self.fc3(x)                                # 第三层全连接，输出分类结果
        return x

# 创建数据集：加载并预处理MNIST训练集
def create_dataset(batch_size=64):
    # 加载MNIST训练数据集
    mnist_train = ds.MnistDataset(dataset_dir='./MNIST_Data/train', usage='train')
    # 定义图像预处理操作：归一化 + 格式转换（HWC -> CHW）
    transform = [vision.Rescale(1.0 / 255.0, 0), vision.HWC2CHW()]
    # 应用预处理操作到图像列
    mnist_train = mnist_train.map(operations=transform, input_columns="image")
    # 按batch大小打包数据
    mnist_train = mnist_train.batch(batch_size)
    return mnist_train

# 初始化模型、损失函数与优化器
net = MLP()  # 实例化模型
# 定义损失函数：交叉熵损失，适用于多分类任务
loss_fn = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean')
# 定义优化器：Adam，学习率设为0.001
optimizer = nn.Adam(net.trainable_params(), learning_rate=0.001)

# 创建训练模型：封装网络、损失函数、优化器和评估指标
model = mindspore.Model(net, loss_fn=loss_fn, optimizer=optimizer, metrics={"Accuracy": nn.Accuracy()})

# 模型训练与推理
train_dataset = create_dataset()  # 获取训练数据
# 训练模型，epoch为5，不使用数据下沉模式
model.train(epoch=5, train_dataset=train_dataset, dataset_sink_mode=False)

# 示例推理：用随机输入测试模型输出
dummy_input = Tensor(np.random.rand(1, 1, 28, 28), mindspore.float32)  # 随机生成一个28x28图像
output = net(dummy_input)  # 模型前向推理
print("模型输出：", output)  # 打印输出结果

8.2 卷积运算基础

一、计算

连续函数卷积 (Convolution of Continuous Functions) 的演示和介绍。

总结要点

1. 卷积的定义 (Convolution Formula):

   图片首先给出了两个连续函数 $f(t)$ 和 $g(t)$ 的卷积分定义公式：

   $$h(x)=(f\ast g)(x)={\int }_{-\infty }^{+\infty }f(\tau )g(x-\tau )d\tau$$

   • 卷积分的结果 $h(x)$ 也是一个函数。

   • 它涉及一个积分运算，其中一个函数 $f(\tau )$ 保持不变，另一个函数 $g(x-\tau )$ 被翻转（变为 $g(-\tau )$）并平移（平移量为 $x$）。

2. 卷积的几何解释 (Geometric Interpretation):

   右侧的图示展示了卷积分的计算过程，这是理解卷积分几何意义的关键：

   • 原始函数： $f(t)$ 和 $g(t)$。

   • 翻转： $g(t)$ 变为 $g(-\tau )$（关于 $\tau$ 轴翻转）。

   • 平移： $g(-\tau )$ 平移 $x$ 得到 $g(x-\tau )$。

   • 乘积： 计算 $f(\tau )$ 和 $g(x-\tau )$ 的乘积。

   • 积分： 卷积分 $h(x)$ 的值就是乘积函数 $f(\tau )g(x-\tau )$ 在 $\tau$ 轴上的面积（Area under the curve）。

   • 右下方的图示直观地展示了两个函数的重叠和乘积。

3. 不同函数的卷积示例 (Examples):

   左侧的两个图示展示了具体的函数卷积分结果 $(f\ast g)(t)$ 的形状：

   • 上图（矩形函数与矩形函数的卷积）： 展示了两个矩形函数（或方波函数）进行卷积的过程和结果。矩形函数与自身的卷积结果通常是三角形。

     • 图中的 $f(t)$ 似乎是一个从 $-0.5$ 到 $0.5$ 的方波。

     • 卷积分 $(f\ast g)(t)$ 似乎是一个梯形或三角形，代表两个方波重叠面积随平移量 $t$ 的变化。

   • 下图（矩形函数与指数衰减函数的卷积）： 展示了一个矩形函数（方波）与一个指数衰减函数（如 $e^{-\lambda t}$）进行卷积的过程和结果。卷积分的结果是平滑的，它代表了指数衰减函数对输入方波的滤波和平滑作用。

![[Pasted image 20251022111632.png]]

结论

这张图片系统地介绍了连续函数卷积的数学定义、计算过程的几何分解（翻转、平移、相乘、积分）以及在不同函数组合下的卷积分结果的图形化表现。卷积是信号处理、图像处理以及现代深度学习（卷积神经网络 $\text{CNN}$）中的核心数学工具。

问题描述

有两枚骰子：

• 第一枚骰子：有 5 个面，点数是 1 到 5。每个面出现的概率相同。

• 第二枚骰子：有 8 个面，点数是 1 到 8。每个面出现的概率相同。

将两枚骰子同时投出，求两枚骰子点数加起来为 6 的概率是多少？

解答步骤

1. 确定概率分布函数

由于每个面的出现概率相同，这是一个均匀概率分布。

• 第一枚骰子 ($f(n)$): 有 5 个面 (1, 2, 3, 4, 5)。

  $$f(n)=\frac{1}{5}=0.2(\text{对于 }n=1,2,3,4,5)$$

• 第二枚骰子 ($g(n)$): 有 8 个面 (1, 2, 3, 4, 5, 6, 7, 8)。

  $$g(n)=\frac{1}{8}=0.125(\text{对于 }n=1,2,\dots ,8)$$

2. 分析点数组合情况

要求两枚骰子点数之和为 6，设第一枚骰子点数为 $i$，第二枚骰子点数为 $j$，则 $i+j=6$。

合法的组合 (满足 $1\le i\le 5$ 且 $1\le j\le 8$) 如下：

骰子 1 点数 (i)	骰子 2 点数 (j)	总点数 (i+j)
1	5	6
2	4	6
3	3	6
4	2	6
5	1	6

3. 计算概率（使用概率卷积）

两枚骰子点数之和的概率分布 $h(n)$ 是两个独立随机变量概率分布的卷积。求点数加起来为 6 的概率，即求卷积函数 $h(n)$ 在 $n=6$ 时的值。

由于骰子 1 和骰子 2 的结果是相互独立的，所以 $P(i\text{ 且 }j)=P(i)\times P(j)=f(i)\times g(j)$。

总概率 $h(6)$ 是所有满足 $i+j=6$ 的组合概率之和：

$$h(6)=\sum _{i}P(\text{骰子 }1\text{ 为 }i\text{ 且 骰子 }2\text{ 为 }6-i)$$

$$h(6)=\sum _{i=1}^{5}f(i)\times g(6-i)$$

将所有组合代入公式：

$$h(6)=f(1)g(5)+f(2)g(4)+f(3)g(3)+f(4)g(2)+f(5)g(1)$$

代入概率值：

$$h(6)=(0.2\times 0.125)+(0.2\times 0.125)+(0.2\times 0.125)+(0.2\times 0.125)+(0.2\times 0.125)$$

$$h(6)=5\times (0.2\times 0.125)$$

$$h(6)=1\times 0.125$$

$$h(6)=0.125$$

结论

两枚骰子点数加起来为 6 的概率是 0.125（或 $\frac{1}{8}$）。

（注： 这个过程清晰地展示了离散概率分布卷积的应用，即求两个独立随机变量之和的概率分布。）

二、感受野

介绍了卷积神经网络 (Convolutional Neural Network, CNN) 的核心概念——感受野 (Receptive Field)，及其生物学起源。

1. 感受野 (Receptive Field) 的概念来源

• 研究者： 大卫·休伯尔 (David Hubel) 和 托尔斯滕·维塞尔 (Torsten Wiesel)（图片中写作大卫·休伯尔等）。

• 研究对象： 猫大脑皮层。

• 核心发现：

  • 物体在视网膜上投影出影像后，在视觉信号向大脑传导的过程中，并非采用所有神经元的全连接方式。

  • 而是首先进行局部处理，经过多个层次的局部处理提取出特征值，再逐层传递。

  • 感受野的定义： 这个局部的大小范围就是“感受野”。

2. 卷积神经网络 (CNN) 的起源

• 结论： 基于卷积算法思想和感受野概念构成的神经网络就被命名为“卷积神经网络”。

• 意义： $\text{CNN}$ 模仿了生物视觉系统对局部特征的逐层提取和抽象过程。

3. 图像示意

![[Pasted image 20251022130053.png]]

• 左图： 展示了图像上一个局部区域（方框）对应于视觉系统的一个感受野。

• 右图 (Layered Structure)： 展示了 $\text{CNN}$ 中多层感受野的连接和传递：

  • Layer 1 (第一层)： 接受来自输入图像（或前一层）的一个小局部区域（图中绿色和黄色的方块，即该层的感受野）。

  • Layer 2 (第二层)： 该层的一个神经元（例如中间的黄色方块）的输入来自于第一层中多个神经元的输出。因此，第二层神经元的感受野（即它能“看到”的原始输入图像区域）比第一层的更大。

  • Layer 3 (第三层)： 同样，第三层神经元的感受野进一步扩大，它能捕捉到图像中更宏观、更抽象的特征。

总结： 感受野是 $\text{CNN}$ 区别于全连接网络的核心特征，它通过局部连接和权重共享（即卷积核）极大地减少了参数数量，并实现了对图像局部特征的有效提取和分层抽象。

三、数字化图像

解释了图像数字化 (Digital Image Representation) 的概念、过程和不同颜色模式的表示方法。

1. 图像数字化的概念和过程 (Image Digitization)

概念：

• 数字化图像是将模拟图像转化为计算机可处理的数字形式的图像。

转换过程：

• 第一步：采样 (Sampling)

  • 模拟图像经过采样，将连续的空间分割成离散的网格，形成采样图像。

  • 每个网格对应图像中的一个小区域（即一个像素）。

• 第二步：量化 (Quantization)

  • 对采样图像中每个网格的颜色、亮度等信息进行数字化转换。

  • 用具体的数值来表示，例如用 $0-255$ 的整数值来表示亮度或颜色强度。

  • 最终结果： 经过采样和量化得到的图像就是数字化图像。

• 目的： 这些数值方便计算机存储、处理和传输图像信息。

• 应用： 数字化图像在摄影、影视制作、医疗影像、工业检测等众多领域都有广泛应用。

2. 图像数字化处理和表示方法

• 图像数字化： 要实现物理世界图像的数字化处理，需要通过扫描仪、数字相机等设备。

• 彩色图像表示 (Color Image Representation):

  • 数字图像的每个像素用 RGB 三原色表示。

  • 存储： 每种颜色强度用 1 字节存储，取值范围是 0-255。

  • 颜色数： $256\times 256\times 256\approx 16777216$ 种颜色（即 24 位真彩色），能满足计算机区分颜色的需求。

  • 图示： 右上方展示了彩色图像分解成的红色 ®、绿色 (G)、蓝色 (B) 三个独立的数值矩阵（分量）。下方是对应的三个颜色通道图像。

• 灰度图像表示 (Grayscale Image Representation):

  • 灰度图像用 1 个亮度通道（通常也是 1 字节）表示。

  • 取值范围： 0-255，0 为最黑，255 为最亮。

  • 黑白图像（二值图像）： 是特殊的灰度图像，也常用 1 字节表示，黑 0 白 255。早期因计算机内存小，黑白图像曾常用 1 位表示，黑 0 白 1。

总结： 图像数字化是将连续的模拟图像通过采样（空间离散化）和量化（数值离散化）转化为数字矩阵的过程。彩色图像由 $\text{RGB}$ 三个通道（每个通道 8 位）表示，而灰度图像只用一个亮度通道表示。

8.3 卷积神经网络及其实现方法

一、卷积运算

解释了卷积运算 (Convolution Operation) 在处理数字图像时的作用和过程，这是卷积神经网络 (CNN) 的核心机制。

1. 卷积运算的定义

• 核心： 卷积运算就是通过设计一系列大小适中的卷积核（感受野），对数字图像的各个通道分量（二维矩阵） 进行卷积，提取特征值的过程。

• 常用卷积核大小： $3\times 3$、$5\times 5$、$7\times 7$。

2. 卷积运算过程图解

左侧的图示展示了从输入图像到输出特征的整个卷积过程：
![[Pasted image 20251022131146.png]]

• 输入图像： 一个二维矩阵，包含原始图像的像素值（例如 $\text{r}11,\text{r}12,\dots$）。

• 卷积核 (Kernel/Filter)： 一个小的二维矩阵（图中小黄框），其尺寸就是感受野的大小。它包含了一组用于特征提取的权重参数。

• 运算过程：

  1. 卷积核在输入图像上滑动（从左上角开始，向右和向下移动）。

  2. 在每个位置，卷积核的元素与输入图像对应区域的像素值进行逐元素相乘。

  3. 将所有乘积结果相加，得到一个单一的输出值。

• 输出特征 (Feature Map)： 将所有位置的计算结果排列起来，形成一个新的二维矩阵（$\text{a}11,\text{a}12,\dots$）。这个矩阵就是从输入图像中提取到的特征图。

3. 具体数值计算示例

![[Pasted image 20251022131158.png]]
右侧的图示给出了一个具体的数值计算例子：

• 输入区域： 一个 $3\times 3$ 的矩阵（图中绿色数字，表示输入像素值）。

• 卷积核： 一个 $3\times 3$ 的矩阵（图中蓝色数字，表示卷积核权重）。

• 计算：

  • 卷积核的元素与输入区域的元素逐一相乘，然后求和。

  • 计算公式示例： $1\times (-1)+0\times 0+\cdots +5\times 1=0$

  • 结果： 得到的和（图中绿色方块中的 0 或 1，图中给出两个计算结果）就是输出特征图上的一个像素值。

总结： 卷积运算是 $\text{CNN}$ 中通过滑动一个小的、可学习的核对输入数据进行局部加权求和，从而将原始像素信息转换为更抽象、更有意义的特征的过程。这个过程是实现图像特征提取的关键。

一、卷积运算

展示了卷积神经网络 (CNN) 中的一个重要预处理步骤——补零操作 (Padding, 补 0)，以及使用卷积核 (Kernel) 计算输出特征图（Output Matrix）上一个像素值的过程。

1. 补零操作 (Padding, 补 0)

![[Pasted image 20251022131346.png]]

• 图示： 在原始 $\text{Image Matrix}$ 的周围添加了一圈值为 0 的像素（图中 $\text{Image Matrix}$ 最外围的一圈 $\text{0}$）。

• 目的：

  1. 保持空间尺寸： 卷积操作通常会使输出特征图的尺寸小于输入图像。通过补零，可以控制输出尺寸与输入尺寸相同（称为 “Same” Padding）。

  2. 保留边界信息： 图像边缘的像素点在没有补零的情况下只参与少数几次卷积运算，导致其特征信息容易丢失。补零可以确保边缘像素被卷积核充分覆盖，从而更好地保留边界信息。

2. 卷积计算过程

图片展示了如何计算 $\text{Output Matrix}$ 的左上角第一个像素值 ($\text{320}$):

• 输入图像区域 ($\text{Image Matrix}$): $3\times 3$ 的区域（图中紫色框），包含了补零后的像素值。

• 卷积核 ($\text{Kernel Matrix}$): $3\times 3$ 的矩阵，其权重为：

  $$\left(\begin{array}{ccc}0& -1& 0\\ -1& 5& -1\\ 0& -1& 0\end{array}\right)$$

• 计算步骤 (逐元素相乘并求和):

  $$\begin{gathered} (0\times 0)+(0\times -1)+(0\times 0)+ \\ (0\times -1)+(105\times 5)+(102\times -1)+ \\ (0\times 0)+(103\times -1)+(99\times 0) \end{gathered}$$

  • 计算结果： $0+0+0+0+525-102+0-103+0=320$

• 输出： 计算结果 $320$ 成为 $\text{Output Matrix}$ 左上角的第一个元素（图中绿色方块）。

3. 卷积核的作用（锐化滤波器）

图示中的卷积核 $\left(\begin{array}{ccc}0& -1& 0\\ -1& 5& -1\\ 0& -1& 0\end{array}\right)$ 是一个经典的图像锐化滤波器（或高通滤波器）。它的作用是通过增加中心像素的权重并减去周围像素的权重来增强图像的边缘和细节。

总而言之，该图清晰地演示了 $\text{CNN}$ 中如何通过补零保持尺寸，以及如何通过卷积核的滑动窗口、逐元素相乘、求和操作来提取和变换图像特征。

一、卷积运算

详细展示了卷积运算的数学过程，特别是如何通过卷积核计算输出特征图上的每一个元素。

1. 基本假设和输入/输出

• 假设卷积核 ($\text{Kernel}$) 大小： $3\times 3$。

• 卷积核参数： 记为 $c_{ij}$，其中 $i$ 和 $j$ 的取值范围都是 $1\sim 3$。

• 输入图像 ($\text{Input Image}$): 一个矩阵，元素记为 $r_{ij}$。图中已经对输入图像进行了补零 ($\text{Padding}$) 处理（外围一圈的 $0$）。

• 输出特征 ($\text{Output Feature}$): 一个矩阵，元素记为 $a_{ij}$。

2. 卷积运算过程 (数学公式)

卷积运算是通过将卷积核在输入图像上滑动，对重叠区域进行逐元素相乘再求和来实现的。

以 $3\times 3$ 卷积核为例，计算输出特征图上的一个元素 $a_{mn}$：

$$a_{mn}=\sum _{i=1}^3\sum _{j=1}^3{c}_{ij}\times r_{(m+i-2),(n+j-2)}$$

图中具体元素的计算示例：
![[Pasted image 20251022131601.png]]

• 计算 $a_{11}$ (输出特征图的左上角元素):

  $a_{11}$ 是由卷积核与输入图像左上角 $3\times 3$ 区域的元素相乘求和得到的。

  输入图像的该 $3\times 3$ 区域为（包含补零）：

  $$\left(\begin{array}{ccc}0& 0& 0\\ 0& r_{11}& r_{12}\\ 0& r_{21}& r_{22}\end{array}\right)$$

  其计算过程为（图中第一行公式）：

  $$\begin{gathered} a_{11}=(c_{11}\times 0)+(c_{12}\times 0)+(c_{13}\times 0)+ \\ (c_{21}\times 0)+(c_{22}\times r_{11})+(c_{23}\times r_{12})+ \\ (c_{31}\times 0)+(c_{32}\times r_{21})+(c_{33}\times r_{22}) \end{gathered}$$

• 计算 $a_{12}$ (向右移动一步):

  卷积核右移一格，与输入图像重叠的 $3\times 3$ 区域的左上角从 $\text{r}11$ 变为 $\text{r}12$。

  其计算过程为（图中第二行公式）：

  $$\begin{gathered} a_{12}=(c_{11}\times 0)+(c_{12}\times 0)+(c_{13}\times 0)+ \\ (c_{21}\times r_{11})+(c_{22}\times r_{12})+(c_{23}\times r_{13})+ \\ (c_{31}\times r_{21})+(c_{32}\times r_{22})+(c_{33}\times r_{23}) \end{gathered}$$

• 计算 $a_{76}$ (中间区域的元素):

  计算 $a_{76}$ 时，卷积核覆盖了输入图像中以 $r_{65}$ 为中心的一片区域。

  其计算过程为（图中倒数第二行公式）：

  $$\begin{gathered} a_{76}=(c_{11}\times r_{65})+(c_{12}\times r_{66})+(c_{13}\times r_{67})+ \\ (c_{21}\times r_{75})+(c_{22}\times r_{76})+(c_{23}\times r_{77})+ \\ (c_{31}\times r_{85})+(c_{32}\times r_{86})+(c_{33}\times r_{87}) \end{gathered}$$

• 计算 $a_{87}$ (右下角边缘的元素):

  由于输入图像经过了补零，计算 $a_{87}$ 时，部分卷积核元素会与 $\text{0}$ 相乘。

  其计算过程为（图中最后一行公式）：

  $$\begin{gathered} a_{87}=(c_{11}\times r_{76})+(c_{12}\times r_{77})+(c_{13}\times 0)+ \\ (c_{21}\times r_{86})+(c_{22}\times r_{87})+(c_{23}\times 0)+ \\ (c_{31}\times 0)+(c_{32}\times 0)+(c_{33}\times 0) \end{gathered}$$

3. 结果

• 最终，通过计算输出特征图上的所有元素（例如 $a_{11}$ 到 $a_{87}$），生成了特征向量 ${\mathbf{A}}_{LR}$。

• 注：图中的 ${\mathbf{A}}_{LR}$ 应该是表示整个输出特征图矩阵 $\mathbf{A}$，其中的 $L$ 和 $R$ 可能代表某种特定的维度或处理方向，但在 $\text{CNN}$ 中，通常将这个输出矩阵称为特征图 ($\text{Feature Map}$)。

总而言之，该图展示了卷积运算如何通过卷积核的参数（权重） 和输入图像的局部数据进行线性加权求和，从而将输入图像转换为抽象的特征表示。

一、卷积运算

描述了在深度学习或计算机视觉中处理多个颜色通道（例如RGB图像）时特征向量生成的步骤：

1. 计算其他颜色通道：

   • 对其他颜色通道使用卷积运算操作重复计算，共用卷积核$C_1$的参数，生成特征向量$A_{1R}$、$A_{1G}$、$A_{1B}$。

   • (注：文字中列出了$A_{1G}$、$A_{1B}$，根据上下文推测这里可能是在前一步骤（未显示）中已经得到了一个颜色通道的特征$A_{1X}$，然后对剩下的两个通道进行计算。$R,G,B$ 通常代表红色、绿色和蓝色通道。)

2. 采用新的卷积核：

   • 采用新的卷积核$C_2$，通常经过神经网络学习后，$C_2$与$C_1$会是不同的参数值，按照卷积运算操作和计算其他颜色通道操作生成特征向量$A_{2R}$、$A_{2G}$、$A_{2B}$。

3. 生成$n$组特征向量：

   • 重复卷积运算操作、计算其他颜色通道操作和采用新的卷积核操作，生成 $n$组特征向量$A_{nR}$、$A_{nG}$、$A_{nB}$。

   • $n$根据具体任务自由设计。

图片右侧的示意图展示了卷积操作的基本过程：
![[Pasted image 20251022133958.png]]

• 输入（上面的大网格）： 这是一个二维的输入层（可能是某一颜色通道或特征图）。

• 卷积核/滤波器（灰色小方块，覆盖在输入上）： 一个小的权重矩阵，用于滑动并与输入数据进行元素乘积并求和。

• 输出（下面的大网格，实线框中的一个蓝色方块）： 卷积操作的结果，即特征图中的一个像素点。

• 虚线框： 可能表示特征图的完整大小，或者由于“填充（padding）”操作而产生的额外区域。

总结： 这段文字描述了通过使用多个不同的卷积核（$C_1,C_2,\dots ,C_n$）对图像的多个颜色通道（$R,G,B$）进行卷积操作，从而生成多组（$n$组）特征向量（$A_{iR},A_{iG},A_{iB}$）的过程，这是卷积神经网络（CNN）中提取特征的标准方法。

一、卷积运算

1. 顶部示例：卷积计算过程

• Image Matrix (图像矩阵): 一个 $6\times 5$ 的数字矩阵，代表图像的一个通道的像素值。

• Kernel Matrix (卷积核矩阵): 一个 $3\times 3$ 的矩阵，其参数为 $[-1,0,1;-1,5,-1;0,-1,0]$。

• Convolution with horizontal and vertical strides = 1 (步长为1的水平和垂直卷积):

  • 计算过程展示了卷积核覆盖图像左上角 $3\times 3$ 区域时的计算：

    $0\times 0+0\times 105+0\times 102$

    $+0\times (-1)+105\times 5+102\times (-1)$

    $+0\times 0+103\times (-1)+99\times 0$

    $=320$

  • 计算结果 $320$ 填入 Output Matrix (输出矩阵) 的左上角。

• 右侧文字：

  • 卷积核就是要训练的参数：这是核心思想，卷积核中的数值（权重）是在神经网络训练过程中学习得到的。

  • 多个卷积核提取不同特征：每个卷积核学习并提取图像中的一种特定特征（如边缘、纹理等）。

---

• 卷积运算运算中的三个主要参数

这部分列出了影响卷积操作和特征提取的三个关键参数：

1. 卷积核形状 (Kernel Shape)

• 决定了卷积核的大小。图中列出了几种常见的形状：

  • $3\times 3$

  • $5\times 5$

  • $7\times 7$

• 卷积核越大，能看到的图像局部区域就越大，提取的特征就越宏观。$3\times 3$ 是最常用的形状。

2. 步长 (Stride)

• 决定了卷积核在输入图像上移动的距离和速度。

• 步长 $=1$ (Stride = 1): 卷积核每次移动一个像素单位，生成与输入尺寸相近的输出特征图（如果进行零填充）。

• 步长 $=2$ (Stride = 2): 卷积核每次移动两个像素单位。这会使输出特征图的尺寸大幅减小，起到降采样的作用。

3. 卷积核数量 (Number of Kernels)

• 决定每一层能提取的特征数。

• 图中所示：一个输入（如狗的图像），经过不同的卷积核（每向下的一组方块代表一个特征图），每个卷积核都会生成一个不同的特征图。

• 例如，如果有 $N$ 个卷积核，就会生成 $N$ 个特征图，每个特征图代表图像的一种特定抽象特征。

总结： 整张图清晰地阐述了卷积操作的基本原理、计算过程以及构成卷积层设计的三个主要超参数。

二、池化

池化 (Pooling) 的作用与原理

• 定义： 池化也称下采样 (Downsampling)。

• 作用： 缩小特征图的尺寸，减少计算量。

• 原理： 用某一图像子区域块的统计信息来代表该子区域块的全局信息。

主要的池化操作类型

CNN中常用的池化操作包括：

• 最大池化 (Max Pooling)

• 平均池化 (Average Pooling)

• 随机池化 (Stochastic Pooling)

• L2范数池化 ($\text{L2}$ Norm Pooling)

• $\text{K}$-max池化

• 全局平均池化 (Global Average Pooling)

(注：CNN最常用的是 $2\times 2$ 区域进行池化。)

为什么要进行池化？

1. 聚合空间信息 (Aggregate Spatial Information)： 将局部特征聚合成一个统计值，从而实现平移不变性（即图像中的物体即使发生微小移动，提取出的特征也大致相同）。

2. 使特征图更小且更易于处理 (Smaller and Easier to Process Feature Maps)： 减少数据的维度，加快计算速度，并有助于防止过拟合 (Overfitting)。

具体的池化操作示例

图片中展示了四种池化方法的计算原理：

池化类型	输入区域 (例如 2×2)	池化结果 (Output)	原理
最大池化	$\left(\begin{array}{cc}125& 115\\ 137& 120\end{array}\right)$	137	取该区域中的最大值作为输出。
平均池化	$\left(\begin{array}{cc}33& 46\\ 57& 40\end{array}\right)$	44	计算该区域所有元素的平均值： $(33+46+57+40)/4=44$
随机池化	$\left(\begin{array}{cc}12& 11\\ 17& 10\end{array}\right)$	Random(12, 11, 17, 10)	按照某种概率分布（通常基于数值大小），随机选择一个值作为输出。
L2范数池化	$\left(\begin{array}{cc}19& 15\\ 26& 23\end{array}\right)$	$\sqrt{19^2+15^2+26^2+23^2}$	计算该区域所有元素的平方和的平方根（L2范数）作为输出。

右侧的平均池化计算示例：

![[Pasted image 20251022134435.png]]
右侧的 $6\times 6$ 矩阵（特征图）被分割成 $3\times 3$ 个 $2\times 2$ 的区域，展示了平均池化的计算过程：

• $A1$ (左上角区域): $(23+34+15+43)/4=28.75$

• $A2$ (第二区域): $(55+32+27+30)/4=36$

• …

• $A9$ (右下角区域): $(65+32+29+54)/4=45$

最终，这 $9$ 个计算结果（$A1$ 到 $A9$）就构成了缩小后的 $3\times 3$ 池化结果图。

三、归一化

归一化 (Normalization) 的目的和方法

目的

• 问题： 模型的训练需要高质量的数据。如果多个特征值的输入数据分布严重不均，数值范围差异巨大，则会产生训练不可收敛或其他不可预料的问题。

• 解决方案： 应该让不同特征值的数据取值范围一致。

核心方法

• 最简单的处理方法就是 归一化 (Normalization)，即：

  $$\text{将特征值的取值范围**压缩在** }0\sim 1\text{ **之间**。}$$

归一化公式

图片中展示的归一化方法是最小-最大归一化 (Min-Max Normalization)，其公式为：

$$y=\frac{x-\min }{\max -\min }$$

其中：

• $x$ 是原始数据中的某个特征值。

• $\min$ 是该特征所有数据中的最小值。

• $\max$ 是该特征所有数据中的最大值。

• $y$ 是归一化后的新值（其取值范围在 $[0,1]$ 之间）。

归一化处理示例

图片展示了“原始数据”经过“归一化处理”得到“归一化后数据”的过程：

原始数据	特征 1	特征 2
Max	$9000$	$9$
Min	$1000$	$1$

特征 1 的归一化计算：

$$y=\frac{x-1000}{9000-1000}=\frac{x-1000}{8000}$$

特征 2 的归一化计算：

$$y=\frac{x-1}{9-1}=\frac{x-1}{8}$$

序号	原始数据 特征 1 (x)	归一化后 特征 1 (y)	原始数据 特征 2 (x)	归一化后 特征 2 (y)
1	3000	$\frac{3000-1000}{8000}=0.25$	3	$\frac{3-1}{8}=0.25$
2	5000	$\frac{5000-1000}{8000}=0.5$	5	$\frac{5-1}{8}=0.5$
3	9000	$\frac{9000-1000}{8000}=1$	9	$\frac{9-1}{8}=1$
4	2000	$\frac{2000-1000}{8000}=0.125$	2	$\frac{2-1}{8}=0.125$
5	1000	$\frac{1000-1000}{8000}=0$	1	$\frac{1-1}{8}=0$
6	4000	$\frac{4000-1000}{8000}=0.375$	4	$\frac{4-1}{8}=0.375$

结果： 经过归一化处理后，原始数据中数值范围差异巨大的两个特征（特征 1: $[1000,9000]$；特征 2: $[1,9]$）都被成功压缩到相同的 $[0,1]$ 范围内，从而确保了模型训练的稳定性和效率。

四、CNN模型

1. 简单的卷积神经网络 (Simple CNN)

![[Pasted image 20251022134648.png]]
这是上方的图示，代表了基础且常见的 CNN 结构。

层类型	英文缩写	功能描述
输入层	$\text{Input}$	接收原始数据，例如图像。
卷积 + 最大池化层	$\text{Conv + Maxpool}$	卷积层 ($\text{Conv}$) 提取特征，最大池化层 ($\text{Maxpool}$) 减小尺寸并增加平移不变性。这个过程通常重复多次。
全连接层	$\text{FC}$	位于网络末端，将前面提取到的特征展平后进行分类或回归计算。
输出层	$\text{Output}$	给出最终结果，例如分类的概率分数或具体的回归值。

特点： 这种结构简单、模块化，是理解和构建 $\text{CNN}$ 的基础范式。

---

2. AlexNet 拓扑结构 (AlexNet Architecture)

这是下方的图示，是 2012 年 $\text{ImageNet}$ 挑战赛的冠军模型，标志着深度学习在计算机视觉领域的重大突破。
![[Pasted image 20251022134710.png]]

层名称	尺寸变化	功能描述
输入数据	$227\times 227\times 3$	接收 $227\times 227$ 像素的 $\text{RGB}$ 图像（3个颜色通道）。
$\text{Conv1}$	$55\times 55\times 96$	第一层卷积，特征数量增加到 96 个。
$\text{Conv2}$	$27\times 27\times 256$	第二层卷积，通常会伴随池化操作，尺寸减半。
$\text{Conv3}$	$13\times 13\times 384$	中间卷积层，特征图尺寸进一步减小。
$\text{Conv4}$	$13\times 13\times 384$	卷积层。
$\text{Conv5}$	$13\times 13\times 256$	最后一个卷积层。
$\text{FC6}$ / $\text{FC7}$	$4096$	两个全连接层，特征维度展平为 4096 维。
$\text{FC8}$	$\text{Class Number}$	最终的全连接层，输出类别数量的得分，用于分类。

AlexNet 结构的关键特点：

1. 深度： 结构包含 8 层（5个卷积层 + 3个全连接层），比当时流行的网络更深。

2. $\text{ReLU}$ 激活函数： ($\text{ReLU}$：Rectified Linear Unit) $\text{AlexNet}$ 首次大规模使用 $\text{ReLU}$，解决了传统激活函数（如 $\text{Sigmoid}$）的梯度消失问题。

3. $\text{Dropout}$ (未在图中明确标注): 用于全连接层，防止过拟合。

4. 局部响应归一化 ($\text{LRN}$, 早期版本使用): 帮助模型泛化。

5. Side Supervision (侧向监督/分组训练): 图中用红框标出，特别是早期 AlexNet 模型为了在两块 GPU 上并行训练，将网络拆分成两个流，并在某些层引入了侧向监督（通过$\text{SVM}$ 或其他分类器进行辅助判断），尽管现代 $\text{CNN}$ 已不再常用此方法，但它代表了 AlexNet 的一个原始设计特征。

6. 大规模数据： 依赖 $\text{ImageNet}$ 的大规模数据进行训练。

总结： AlexNet 是一个具有里程碑意义的深度 CNN 模型，它的出现验证了通过更深的网络结构、更大的数据集和 $\text{GPU}$ 加速可以显著提高图像识别的准确率。

CNN 模型本质——层次性特征学习

层次性特征学习的定义

• 核心观点： 深度神经网络之所以如此强大，一个很重要的原因在于它可以通过层次性处理逐渐抽取抽象特征。

• 过程描述： 随着网络层次的深入，模型能够从原始数据中学习到越来越复杂的特征。

层次性特征的演化（自下而上）

图片上方展示了特征从低级到高级的演化过程：

1. Edges (边缘)： 最底层的特征，例如图像中物体轮廓的线条和边界。

2. Textures (纹理)： 中低级特征，由简单的边缘组合而成的细微表面模式，如点状、颗粒状。

3. Patterns (图案)： 中级特征，由纹理组合成的固定形状和重复结构，例如花瓣的形状。

4. Parts (部件)： 中高级特征，图案组合成的具有语义意义的物体部件，例如动物的眼睛、鼻子、耳朵。

5. Objects (物体)： 最高级特征，所有部件组合成的完整物体或场景，例如完整的狗群或花朵。

总结： 随着层次的深入，低级特征逐渐向高级特征进化。

层次性特征学习的意义

右下方列出了层次性特征学习的三个重要意义：

1. 抽象特征具有很强的不变性：

   • 例如，抽象特征不会随外貌动作的改变而改变，还是一个人。

   • 这指的是特征对平移、缩放、旋转等微小变化的鲁棒性（不变性），这是 $\text{CNN}$ 在视觉任务中表现优秀的关键。

2. 从数据中自动获得：

   • 特征无需人工设计，而是通过反向传播和优化算法在大量数据中自动学习和提取。这大大减少了对领域专家的依赖。

3. 简化设计，避免人为设计的主观性：

   • 由于特征是自动学习的，因此避免了传统计算机视觉中人工设计特征时可能带有的主观偏差和低效性，使得模型能够学习到更优、更通用的特征表示。

与人脑的类比

左下方图示将深度学习的层次性特征提取过程与人脑的视觉皮层进行类比：

• Lower Level (低级)： 对应于 $\text{CNN}$ 的浅层，处理简单的特征（如线条、颜色变化）。

• Higher Level (高级)： 对应于 $\text{CNN}$ 的深层，处理复杂的、抽象的语义特征（如物体的形状、身份）。

这表明深度神经网络的分层处理机制与生物体的认知机制有相似之处。

1. 展平 (Flatten) 操作

![[Pasted image 20251022135931.png]]

• 作用： 用于将多维的数据降为一维，以便接入多层感知机 ($\text{MLP}$) 或全连接层 ($\text{FC}$)，完成最后的分类任务。

• 过程图解（左上）：

  • 输入： 卷积层或池化层输出的特征图（例如 $64\times 16\times 16$ 的三维数据块，代表 64 个 $16\times 16$ 的特征图）。

  • 展平： 将该三维数据拉伸成一个长长的一维向量（例如 $64\times 16\times 16=16384$ 维）。

  • $\text{MLP}$ / 全连接层： 该一维向量作为 $\text{MLP}$ 的输入，经过多层运算（例如降维到 150 维）。

  • 分类 ($\text{Softmax}$): 最终输出层使用 $\text{Softmax}$ 激活函数，输出对应类别的概率。

• 过程图解（右上）：

  • 将一个 $3\times 3$ 的矩阵（例如 $\left(\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right)$）按顺序拉伸成一个一维向量：$\left(\begin{array}{ccccccccc}1& 2& 3& 4& 5& 6& 7& 8& 9\end{array}\right)$。

---

2. 独热编码 (One-Hot Code)

• 定义： 在分类问题中，我们不能将不同的类别简单地用 $1,2,3,\dots$ 这种有序的数字来表示（因为数字之间隐含的大小关系会误导模型）。

• 编码方式： 只能通过独热编码这样的向量/矩阵来进行编码，供计算机识别计算。

• 预测方式： 模型通过预测向量中所在索引位置的概率来预测最终的分类结果。

独热编码 - 编码 (Ground Truth)

这是真实标签的表示方法，即模型应该学习到的目标输出：

真实标签	猫	狗	猪	牛	羊
猫	1	0	0	0	0
狗	0	1	0	0	0

• 对于**“猫”**这个样本，其目标向量是 $[1,0,0,0,0]$。

• 对于**“狗”**这个样本，其目标向量是 $[0,1,0,0,0]$。

前馈网络运算结果 (Predicted Probability)

这是模型（例如 $\text{Softmax}$ 层）的输出，表示模型对每个类别的预测概率：

预测样本	猫	狗	猪	牛	羊	求和
预测猫	0.76	0.18	0.03	0.02	0.01	1
预测狗	0.05	0.92	0.01	0.01	0.01	1

• 预测猫的样本： 模型预测“猫”的概率为 0.76，是所有类别中最高的，因此模型预测正确。

• 预测狗的样本： 模型预测“狗”的概率为 0.92，是所有类别中最高的，因此模型预测正确。

• 特点： $\text{Softmax}$ 输出的概率向量求和必须等于 1。

总结： 展平是数据从特征图到全连接层的桥梁；独热编码是分类任务中表示目标标签和模型输出概率的标准方式。

四、CNN模型（MindSpore实现）

# 导入必要的模块和库
import mindspore  # 导入 MindSpore 深度学习框架
import mindspore.nn as nn  # 导入神经网络模块
from mindspore import Tensor  # 导入 Tensor 数据结构
import mindspore.dataset as ds  # 导入数据集处理模块
import mindspore.dataset.vision as vision  # 导入图像处理模块
import numpy as np  # 导入 NumPy 数学库

# 定义一个函数用于加载 MNIST 数据集
def create_dataset(batch_size=64):
    # 加载 MNIST 训练数据集
    mnist_train = ds.MnistDataset(dataset_dir='./MNIST_Data/train', usage='train')
    # 定义图像预处理操作：归一化和通道转换
    transform = [vision.Rescale(1.0 / 255.0, 0.0), vision.HWC2CHW()]
    # 对数据集应用预处理操作
    mnist_train = mnist_train.map(operations=transform, input_columns="image")
    # 按批次加载数据
    mnist_train = mnist_train.batch(batch_size)
    return mnist_train

# 定义一个简单的 CNN 模型，继承自 nn.Cell
class SimpleCNN(nn.Cell):
    def __init__(self):
        super(SimpleCNN, self).__init__()  # 调用父类构造函数
        # 第一个卷积层，输入通道数为 1，输出通道数为 32
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3, stride=1, padding=1)
        # ReLU 激活函数
        self.relu1 = nn.ReLU()
        # 最大池化层，池化窗口大小为 2x2，步长为 2
        self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2)
        # 第二个卷积层，输入通道数为 32，输出通道数为 64
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, stride=1, padding=1)
        # ReLU 激活函数
        self.relu2 = nn.ReLU()
        # 最大池化层，池化窗口大小为 2x2，步长为 2
        self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2)
        # 展平层，用于将多维特征图展平为一维向量
        self.flatten = nn.Flatten()
        # 第一个全连接层，输入大小为 64*7*7，输出大小为 128
        self.fc1 = nn.Dense(64 * 7 * 7, 128)
        # 第二个全连接层，输入大小为 128，输出大小为 10（对应 10 个类别）
        self.fc2 = nn.Dense(128, 10)

    # 定义前向传播过程
    def construct(self, x):
        # 第一个卷积块：卷积 -> ReLU -> 池化
        x = self.pool1(self.relu1(self.conv1(x)))
        # 第二个卷积块：卷积 -> ReLU -> 池化
        x = self.pool2(self.relu2(self.conv2(x)))
        # 展平特征图
        x = self.flatten(x)
        # 第一个全连接层
        x = self.fc1(x)
        # 第二个全连接层（输出层）
        x = self.fc2(x)
        return x

# 初始化网络、损失函数和优化器
net = SimpleCNN()  # 实例化 CNN 模型
# 定义交叉熵损失函数，sparse=True 表示标签是整数索引
loss_fn = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean')
# 定义 Adam 优化器，学习率为 0.001
optimizer = nn.Adam(net.trainable_params(), learning_rate=0.001)

# 构建模型
model = mindspore.Model(net, loss_fn=loss_fn, optimizer=optimizer, metrics={"Accuracy": nn.Accuracy()})

# 加载数据集并训练模型
train_dataset = create_dataset()  # 加载训练数据集
# 训练模型，epoch=5 表示训练 5 轮
model.train(epoch=5, train_dataset=train_dataset, dataset_sink_mode=False)

# 推理测试
dummy_input = Tensor(np.random.rand(1, 1, 28, 28), mindspore.float32)  # 创建一个随机输入
output = net(dummy_input)  # 前向传播得到输出
print("模型输出 logits:", output)  # 打印输出结果

五、案例

一、 AlexNet 的历史地位与成就

![[Pasted image 20251022140439.png]]

• 成就总结： “$2012$ 年，辛顿组开发的 $\mathbf{AlexNet}$ 在 $\mathbf{ImageNet}$ 分类比赛中以压倒性优势取得冠军，证明了深度神经网络的强大。”

• 右侧图表 ($\text{ImageNet Classification Error (Top 5)}$)：

  • 该图表显示了历届 $\text{ImageNet}$ 挑战赛中（预测结果前 5 名的错误率）的最低错误率。

  • 在 $2011$ 年，传统方法的错误率仍高达 $26.0\%$。

  • 在 $2012$ 年，$\mathbf{AlexNet}$ (Hinton/Toronto) 将错误率大幅降至 $16.4\%$，开启了深度学习在计算机视觉中的时代。

  • 随后的几年（$\text{ZFNet, GoogLeNet, ResNet}$ 等）错误率持续下降，证明了深度 $\text{CNN}$ 架构的有效性。

二、 AlexNet 的拓扑结构（顶部和底部图）

AlexNet 是一个包含 5 个卷积层 ($\text{Conv}$) 和 3 个全连接层 ($\text{FC}$) 的深层网络。

1. 结构概览（左上图）

该图展示了 AlexNet 早期设计中的一个重要特点：分组卷积（将网络分为上下两部分，以便在多块 $\text{GPU}$ 上并行训练）。

层次 (Layer)	尺寸变化	关键操作
$\text{Input}$	$224\times 224\times 3$	原始 $\text{RGB}$ 图像输入。
$\text{Conv1}$	$55\times 55\times 48\times 2$	第一次卷积。图中显示了 $\text{Stride=4}$。输出被分成两组，每组 48 个特征图。
$\text{Max Pooling}$	$27\times 27\times 48\times 2$	最大池化，尺寸减半。
$\text{Local Response Normalization}$	-	局部响应归一化（早期 $\text{CNN}$ 用于增强模型泛化性，现代 $\text{CNN}$ 已被批量归一化 ($\text{Batch Norm}$) 取代）。
$\text{Conv2}$	$27\times 27\times 128\times 2$	第二次卷积。
$\text{Max Pooling}$ + $\text{LRN}$	$13\times 13\times 128\times 2$	第二次池化。
$\text{Conv3}$	$13\times 13\times 192\times 2$	第三次卷积。
$\text{Conv4}$	$13\times 13\times 192\times 2$	第四次卷积。
$\text{Conv5}$	$13\times 13\times 128\times 2$	第五次卷积。
$\text{Max Pooling}$	$6\times 6\times 128\times 2$	最后一次池化。
$\text{Flatten}$ / $\text{Dense}$	$4096\times 2$ (共 8192)	将特征图展平，连接到全连接层。
$\text{Dense}$	$1000$	最终输出 1000 个类别分数。

2. AlexNet 拓扑结构（底部图）

![[Pasted image 20251022140519.png]]
底部图是 AlexNet 结构的标准简化表示，重点突出了特征图尺寸和数量的变化：

• $\text{Input Data}$: $227\times 227\times 3$

• $\text{Conv1}$: $55\times 55\times 96$

• $\text{Conv2}$: $27\times 27\times 256$

• $\text{Conv3}$ / $\text{Conv4}$: $13\times 13\times 384$

• $\text{Conv5}$: $13\times 13\times 256$

• $\text{FC6}$ / $\text{FC7}$: $4096$ 维全连接层。

• $\text{FC8}$: 输出类别数量。

• Side Supervision ($\text{侧向监督}$): 底部图用红框标注了 $\text{Conv3, Conv4, Conv5}$ 处的 $\text{Side Supervision}$。这是 AlexNet 在早期训练时用于辅助训练和增加泛化性的方法（通常是通过 $\text{SVM}$ 或其他分类器进行辅助判断），是其历史结构的一个标志。

总结： AlexNet 的成功证明了深度 $\text{CNN}$ 在大规模图像分类任务中的优越性，其结构至今仍是许多现代 $\text{CNN}$ 的基础。

AlexNet网络各层的参数

AlexNet 网络结构参数表

第一部分：卷积层 (Convolutional Layers)

这一部分包含 5 个卷积块，通常每个卷积块包含一个卷积操作、一个 $\text{ReLU}$ 激活函数，可能跟随一个池化操作。

层数 (Layer Index)	算法 (Operation)	Kernels (输出特征图数)	Kernel Size (卷积核尺寸)	Padding (填充)	Stride (步长)	Output Size (输出特征图尺寸)
1	卷积 ($\text{Conv}$)	96	$11\times 11$	$[1,2]$ (注: 可能是指在 $55\times 55$ 的特征图上进行 $11\times 11$ 卷积的填充和步长，其确切含义在 AlexNet 的原始实现中有所不同，但目的是保持尺寸或达到目标输出)	4	$[55,55,96]$
	激活函数 ($\text{Activation}$)	-	-	-	-	-
	最大池化 ($\text{Max Pooling}$)	-	$3\times 3$	0	2	$[27,27,96]$
2	卷积 ($\text{Conv}$)	256	$5\times 5$	$[2,2]$	1	$[27,27,256]$
	激活函数 ($\text{Activation}$)	-	-	-	-	-
	最大池化 ($\text{Max Pooling}$)	-	$3\times 3$	0	2	$[13,13,256]$
3	卷积 ($\text{Conv}$)	384	$3\times 3$	$[1,1]$	1	$[13,13,384]$
	激活函数 ($\text{Activation}$)	-	-	-	-	-
4	卷积 ($\text{Conv}$)	384	$3\times 3$	$[1,1]$	1	$[13,13,384]$
	激活函数 ($\text{Activation}$)	-	-	-	-	-
5	卷积 ($\text{Conv}$)	256	$3\times 3$	$[1,1]$	1	$[13,13,256]$
	激活函数 ($\text{Activation}$)	-	-	-	-	-
	最大池化 ($\text{Max Pooling}$)	-	$3\times 3$	0	2	$[6,6,256]$

关键观察点：

1. 尺寸变化： 输入到第一个卷积层的步长 $\text{Stride=4}$ 导致尺寸快速减小（从 $227\times 227$ 左右到 $55\times 55$）。池化操作 $\text{Stride=2}$ 进一步将尺寸减半（$55\to 27\to 13\to 6$）。

2. 特征数量增加： 随着网络深入，特征图的数量（$\text{Kernels}$）从 96 增加到 384，然后回到 256，意味着网络提取的特征种类先增加后稳定。

3. 小卷积核： 核心特征提取集中在 $3\times 3$ 和 $5\times 5$ 的卷积核。

---

第二部分：全连接网络层 (Fully Connected Layers)

这一部分将卷积层提取的特征（$6\times 6\times 256$）展平后进行分类计算。

层数 (Layer Index)	算法 (Operation)	Input Size (输入尺寸)	Output Size (输出尺寸)	Dropout	激活函数 (Activation)
1 (FC6)	全连接 ($\text{FC}$)	$256\times 6\times 6=9216$	4096	0.5	$\text{ReLU}$
2 (FC7)	全连接 ($\text{FC}$)	4096	4096	0.5	$\text{ReLU}$
3 (FC8)	全连接 ($\text{FC}$)	4096	$\text{numClass}$ (类别数量)	-	$\text{Softmax}$

关键观察点：

1. 展平输入： 最后的卷积输出是 $6\times 6\times 256=9216$ 维的向量作为 $\text{FC}$ 层的输入。（注：图中 $\text{Input size}$ 写作 $256\times 6\times 6$，其乘积 $9216$ 才是输入 $\text{FC}$ 层的实际维度）。

2. 高维特征： 中间的 $\text{FC}$ 层将特征维度扩展到 4096，包含大量的参数。

3. 防止过拟合： $\text{FC}$ 层中使用了 $\text{Dropout=0.5}$，以随机丢弃一半神经元的方式来防止训练数据上的过拟合。

4. 最终分类： 最后一层使用 $\text{Softmax}$ 激活函数，将 4096 维特征映射到 $\text{numClass}$ 维的类别概率输出。

8.4 CNN的应用领域

一、图像分类

AlexNet 的历史意义和创新

历史意义

• 时间与事件： $2012$ 年，$\mathbf{AlexNet}$ 在 ImageNet 大规模视觉识别挑战赛 ($\text{ILSVRC}$) 中夺冠。

• 核心贡献： 首次验证了深度卷积神经网络 ($\text{CNN}$) 在大规模图像分类中的有效性。 这一成就标志着深度学习时代的真正开启，并确立了 $\text{CNN}$ 在计算机视觉领域的主导地位。

AlexNet 的结构和创新点

• 网络深度： $\mathbf{AlexNet}$ 共有 8 层权重层，包括 $5$ 层卷积层 ($\text{Conv}$) 和 $3$ 层全连接层 ($\text{FC}$ 层)。

• 引入的重要创新：

  1. 激活函数 ($\text{ReLU}$): 大规模使用了 $\text{ReLU}$（修正线性单元），解决了传统 $\text{Sigmoid}$ 或 $\text{tanh}$ 激活函数带来的梯度消失问题，加速了网络训练。

  2. $\text{Dropout}$ 正则化: 在全连接层引入 $\text{Dropout}$，以随机丢弃神经元的方式来防止过拟合，增强模型的泛化能力。

  3. 重叠池化 ($\text{Overlapping Pooling}$): 使用的池化窗口大于步长，使得相邻池化单元之间有重叠，这在一定程度上可以避免训练误差增加。

• 性能提升关键： 它通过增加网络的深度和宽度，结合 GPU 加速（原始设计使用双 $\text{GPU}$ 进行分组训练），极大地提升了 $\text{CNN}$ 的能力。

图片底部图示

1. ImageNet 大规模视觉识别挑战赛 ($\text{ILSVRC}$):
   ![[Pasted image 20251022141003.png]]

   • 左侧的图示是 $\text{ImageNet}$ 数据集的一个拼贴图，展示了该数据集包含的大规模（数百万张）和多样化（数千个类别）的图像。正是这个大规模数据集和 $\text{AlexNet}$ 结合，才释放了深度学习的潜力。

2. AlexNet 架构细节:
   ![[Pasted image 20251022140943.png]]

   • 右侧图示展示了 $\text{AlexNet}$ 的结构图，包括特征图的尺寸变化（如 $55\to 27\to 13$）和特征图的数量（如 $48\times 2\to 128\times 2$）。它明确显示了 $\text{Conv}$（卷积）、$\text{Max Pooling}$（最大池化）以及 Local Response Normalization ($\text{LRN}$，局部响应归一化，早期 $\text{AlexNet}$ 用于辅助泛化）等组件的位置。

总结： $\text{AlexNet}$ 不仅仅是一个模型，它代表了深度学习在图像识别领域的范式转变，其引入的关键技术至今仍是现代 $\text{CNN}$ 的核心组件。

介绍深度学习领域在图像识别竞赛（ImageNet）中的发展历程，特别强调了残差网络（ResNet） 的出现及其带来的“深度革命”。

图片中的关键信息包括：

1. 2014年：GoogLeNet和VGGNet成为ImageNet竞赛的焦点。

2. 2015年：微软超深残差网络ResNet以152层深度将错误率降低至3.57%，首次超越人类水平（人类错误率5.1%）。其核心创新是残差连接，解决了深层网络梯度消失问题。
   ![[Pasted image 20251022141359.png]]

3. 左侧图表：展示了历年ImageNet竞赛冠军及冠军网络识别错误率，清晰地显示了从2010年到2017年错误率的显著下降，以及ResNet在2015年将错误率大幅度降低（从3.6%到3.57%，图中标注3.6%），并超越了人类（5.1%）。图中用红色方框和“深度革命”标注了ResNet及其后续变种的突出贡献。

4. 右侧图表：展示了深层残差网络ResNet训练曲线，比较了不同层数（20层到110层）ResNet的训练错误率（error）随迭代次数（iter.）的变化。该图通常用来证明ResNet在增加深度时仍然能够有效训练并取得更低错误率的优势。

总结来说，图片的核心主题是： 残差网络（ResNet）通过引入残差连接，成功地解决了超深层网络的训练问题，并在2015年首次将ImageNet图像识别错误率降低到人类水平之下，标志着深度学习在图像识别领域的一次重要突破（深度革命）。

残差网络（ResNet） 及其相关技术在不同领域的 应用。

主要分为两个大方面：

1. 医疗领域

• 视网膜病变诊断： 基于ResNet的模型在视网膜病变检测中，可达到专家级精度。

• 病理图像分析： 自动识别病变部分，如癌细胞等，大幅提升筛查效率。

• 左下方配图： 展示了基于ResNet的糖尿病视网膜病变辅助诊断模型，通过热力图（heatmap）的方式显示了模型识别出的病变区域。

2. 工业与安防

• 人脸识别：

  • 在LFW数据集上识别准确率超99.5%。

  • 应用于身份核验、安防监控、智能相册等。

• 缺陷检测：

  • 在制造业中自动识别产品瑕疵等。

• 右下方配图： 展示了人脸识别技术日益成熟的应用场景，图示中有一位女性面部被分析，背景有数据和识别框。
  ![[Pasted image 20251022141549.png]]

总结来说，图片的核心内容是介绍深度学习模型ResNet的强大泛化能力，使其在医疗领域的辅助诊断和工业安防领域的人脸识别、缺陷检测等方面都取得了重要的应用成果。

二、物体检测

⚫从图像识别到物体检测：R-CNN的突破性设计

介绍了物体检测领域的挑战以及区域卷积神经网络（R-CNN） 这一早期重要技术。

关键信息点如下：

1. 物体检测领域挑战

• 定义： 物体检测是指确定图像中存在的物体，即对非限定类别的、多个物体进行检测，并确定其位置。

• 难度： 这项任务的难度比单个图像识别要高很多。

2. 任务核心

• 候选区域筛选

• 冗余区域去除

3. 一项新技术应运而生：区域卷积神经网络 (R-CNN)

• 全称： R-CNN 是 Regions with Convolutional Neural Networks 的缩写。

• 工作原理：

  • 它能通过选择性搜索（Selective Search） 的分割方法从图像中提取候选区域。

  • 再对每个区域进行类别提取。

  • 对于未在训练类别里的物体，可以通过迁移学习的方式，用新数据集进行微调训练。

  • R-CNN 还能识别区域是否属于背景，这里使用了支持向量机（SVM） 进行识别。

总结： 图片解释了物体检测任务的复杂性，并介绍了R-CNN作为一种开创性的技术，通过结合选择性搜索、CNN特征提取、迁移学习和SVM分类等方法，解决了物体检测中的核心问题，推动了该领域的发展。

R-CNN 算法的基本流程分为4个步骤：

1. 候选区域生成：

   • 一张图像生成 $1K\sim 2K$ 个候选区域。

   • 流程图中的对应步骤是：“选择性搜索生成候选区域”。

2. 特征提取：

   • 对每个候选区域，使用深度卷积神经网络（CNN）提取特征。

   • 流程图中的对应步骤是：“CNN特征提取”。

3. 类别判断：

   • 特征送入每一类的SVM分类器，判断是否属于该类。

   • 流程图中的对应步骤是：“SVM分类器判断类别”。

4. 位置精修：

   • 使用回归器精细修正候选框位置。

   • 流程图中的对应步骤是：“边界框回归微调位置”。

下方配图（“农夫骑马图”流程）

下方的图示（以“农夫骑马图”为例）直观地展示了这4个步骤：
![[Pasted image 20251022141914.png]]

1. Input image: 原始输入图像。

2. Extract region proposals ($\sim 2k$): 使用选择性搜索等方法提取出 $2K$ 个候选框（图中有黄色框）。

3. Compute CNN features: 将候选区域（可能经过形变/warped）送入 CNN 中计算特征。

4. Classify regions: 使用分类器（如SVM）对特征进行分类（例如：aeroplane? no., person? yes., tvmonitor? no.），并用边界框回归精修位置。

总结： R-CNN通过结合传统的选择性搜索方法来生成潜在目标区域，再利用强大的深度学习模型（CNN） 来提取特征，最后使用SVM和边界框回归来完成高精度的物体分类和定位。

R-CNN技术及其后续的演进路径

总结了从2014年到2017年物体检测领域几个重要的里程碑算法及其核心贡献。

演进路径如下：

年份	算法名称	核心技术/贡献	提升效果/应用
2014	R-CNN	提出 “候选区域提取-CNN特征-SVM分类” 范式，结合迁移学习，显著提升检测精度。
2015	Fast R-CNN	通过 ROI池化（Region of Interest Pooling）层 统一不同尺寸候选区域特征，训练效率比R-CNN提升10倍。	道路状态识别（右侧配图：目标检测，用矩形框和类别概率识别出汽车、公交车等）。
2015	Faster R-CNN	提出 区域提议网络（RPN, Region Proposal Network），将候选区域生成集成到网络中，速度比Fast R-CNN快10倍且精度更高。
2017	Mask R-CNN	在Faster R-CNN基础上增加 掩模预测分支（Mask Prediction Branch），成为首个高效解决 实例分割 问题的通用框架。	分割癌细胞或组织（右侧配图：实例分割，用不规则的边界框和掩模精细分割出细胞区域）。

总结： R-CNN系列算法的演进核心在于不断提高物体检测的速度和精度，特别是通过引入ROI池化、RPN等技术，并将应用领域从单纯的物体检测扩展到了更精细的实例分割（Mask R-CNN）。

三、图像分割

介绍了图像分割任务的定义、全卷积网络（FCN） 这一关键技术及其在多个领域的应用。

1. 图像分割任务与全卷积网络（FCN）

图像分割任务定义：

• 对每个像素的所属类别进行提取。

• 分割对象可以是风景图像、人脸图像和医用图像。

全卷积网络 (FCN) 介绍：
![[Pasted image 20251022142258.png]]

• 全称： Fully Convolutional Neural Networks。

• 核心创新： 它将传统 CNN 中的全连接层替换为卷积层。

• 作用/优势：

  • 能有效地对图像进行分割。

  • 使得网络能够接受任意尺寸的输入图像。

  • 并输出相同尺寸的分割结果。

  • 这种结构使其能够有效地处理图像分割任务，同时保留了空间信息，使得分割结果更加精确。

FCN 算法基本流程 (右下角图)：
![[Pasted image 20251022142253.png]]

1. 输入图像

2. 卷积层提取尺寸

3. 池化缩小尺寸

4. 反卷积上采样

5. 与浅层特征融合

6. 输出分割图

FCN 结构细节 (左下角图)：

• 展示了传统分类网络（如VGG/AlexNet）的卷积层和全连接层（4096），FCN将全连接层替换为卷积层，最终进行像素级的预测（pixelwise prediction），输出分割图（segmentation G.T.）。

2. FCN 及其改进模型的应用

全卷积网络（FCN）及其改进模型在多个领域有广泛应用：
![[Pasted image 20251022142329.png]]

• 医学图像分析： (左侧配图)

  • 用于分析和分割病理图像中的细胞等，例如图中的黄色箭头指示了需要识别或计数的细胞核。

• 自动驾驶技术： (中间配图)

  • 实现语义分割，准确识别道路、行人、汽车、建筑等不同物体，为自动驾驶车辆提供环境感知。

• 卫星图像分析： (右侧配图)

  • 对卫星遥感图像进行分析和分类，例如识别土地类型、水域、植被和建筑区域等。

总结： FCN通过用卷积层替代全连接层，解决了传统CNN在分割任务中无法输出与输入同尺寸图像和丢失空间信息的问题，从而成为现代图像语义分割领域的基石，并在医疗、自动驾驶和遥感等领域发挥重要作用。

四、回归问题

介绍了卷积神经网络（CNN） 的核心原理及其在计算机视觉领域之外和回归问题中的应用。

以下是内容的详细总结：

1. CNN 的核心原理与跨领域应用

CNN 的应用范围：

• 主要战场： 计算机视觉领域。

• 其他应用领域： 自然语言处理（NLP）、语音识别、推荐系统、游戏玩家分析、医学影像诊断、自然灾害预测和响应、财务分析等。

卷积神经网络的核心原理：

• 通过卷积核的卷积运算，把相邻的数据进行特征分析，而忽略较远的（非相邻）数据。

• 只要目标任务符合这样的特征（局部相关性），均可采用 CNN 进行建模。

跨领域应用示例（下方配图）：
![[Pasted image 20251022142502.png]]

• CNN自然语言处理： 展示了将文本（如句子）映射为嵌入矩阵，并通过多层卷积和池化进行特征提取和分类的结构。

• CNN语音分析： 展示了多尺度的卷积网络结构（例如 $2\times$ scale, $4\times$ scale, $8\times$ scale），用于处理语音信号的特征。

• CNN财务分析（时间序列模型）： 展示了结合CNN和Transformer的金融时间序列模型（CTS），用于进行分类或预测。

---

2. CNN 在回归问题中的应用

典型的回归问题：

• 器官检测和人体姿势估计。

• 通过网络能根据输入图像输出人脸区域的眼睛和嘴巴等器官的坐标。

CNN 在回归问题中的优势：

• 在回归问题中使用 CNN 可以直接预测各部位的坐标，而无需考虑其他限制条件和位置关系。

经典模型：DeepPose
![[Pasted image 20251022142600.png]]

• DeepPose 是一个经典的利用CNN进行人体姿势估计的模型。

• CNN分析人体姿势（左侧配图）： 展示了网络如何识别舞者（芭蕾舞）关键点的坐标，用热图（heatmap）形式标示出关键关节的位置。

• DeepPose结构（右侧配图）： 展示了该模型的级联结构（Stage $k$），它通过迭代地精修预测结果，逐步提高关键点定位的精度。

总结： CNN的核心优势在于其局部特征提取能力，这不仅使其在图像领域取得巨大成功，也使其能够应用于自然语言、语音、财务等具有局部相关性特征的领域。同时，CNN在回归问题中，如器官检测和人体姿势估计，可以直接预测坐标，表现出强大的能力。