YOLOv5目标检测之知识蒸馏实战

这份资料的主题很明确：把知识蒸馏落到 YOLOv5 目标检测的训练流程里。它不是泛泛讲蒸馏概念的科普，也不是只跑一个 demo 的演示，而是一套围绕「教师—学生」结构在检测任务上做压缩与迁移的工程实现参考。如果你已经在用 YOLOv5 训练自己的数据集，想在不明显掉点的前提下把模型做小、做快，这套内容可以直接拿来对照自己的代码改。

技术栈与依赖边界

主线是 PyTorch + YOLOv5 官方仓库的训练/验证/推理脚本，蒸馏部分是叠加在原有 loss 计算之上的。理解这点很关键：蒸馏不是换一个模型，而是在原有检测损失（分类、置信度、框回归）之外，再引入教师网络输出的软标签或中间特征作为监督信号。所以你需要先跑通 YOLOv5 的 baseline，知道train.py里 loss 是怎么组织的，再看蒸馏模块如何插进去。资料里涉及的教师模型通常是同系列更大规模的权重，也可能是精度更高但推理更慢的结构，学生模型则是你要部署的那个轻量版本。

知识蒸馏在检测任务里的几个落点

• logits 蒸馏：对分类分支的输出做软目标约束，温度系数 T 决定软标签的平滑程度。
• 特征蒸馏：对齐教师与学生中间层特征图，常见做法是加 1x1 卷积做通道映射后再算 L2 或注意力损失。
• 框回归蒸馏：把教师的定位输出作为额外监督，这部分在检测里比分类蒸馏更敏感，权重需要单独调。
• 损失加权：蒸馏损失和原始检测损失之间的比例是调参重点，过大反而破坏学生自身的学习。

这几个方向对应的代码改动量都不大，但每一项都会影响最终 mAP 和收敛速度。资料的价值在于给出可运行的组合方式，而不是只讲公式。

项目结构与可复用模块

从工程角度看，需要重点关注的是这几块：蒸馏损失的实现类、教师模型的加载与前向封装、训练循环里 loss 聚合的位置，以及配置文件中对蒸馏开关和权重的管理。把这几块拆出来，它们是可以复用到其他检测框架的——比如换到 YOLOv8 或者别的 one-stage 检测器上，思路一致，改动集中在特征对齐的层选择和 loss 注册方式。建议在阅读时把这些模块单独抽出来看，而不是从头到尾顺读脚本。

自学路径与动手建议

合理的顺序是：先用小数据集跑通普通 YOLOv5 训练，确认环境和数据管线没问题；再加载教师模型做一次纯推理，确认它的输出结构；然后开启蒸馏训练，先只加 logits 蒸馏，观察 loss 曲线和验证集指标；稳定后再逐步加入特征蒸馏和回归蒸馏。每加一项就单独跑一次对照，记录 mAP、参数量和推理耗时。这样做的目的是把每个蒸馏组件的贡献量化出来，而不是一次性堆上去看最终数字。对需要做模型压缩和端侧部署的开发者来说，这套对照实验的记录本身就是可复用的工程经验。

整体上，这份资料适合当作动手改代码时的参照，边看边在自己的仓库里复现，比单纯顺着视频过一遍要有效得多。