从零训练MiniDeepSeek V3+R1模型蒸馏【9小时最强合集】

这门课的主题不是「调用 DeepSeek API」，而是从零把一个小尺寸的 DeepSeek 风格模型训出来，再用它去蒸馏 R1 的推理能力。9 小时的内容量决定了它不可能只是演示，视频里会反复出现训练脚本、数据集组织和推理验证的完整回路。下面按技术栈和工程结构拆一下，方便你判断该从哪里切入。

技术栈与前置条件

整条链路建立在 PyTorch 生态上，涉及 Transformer 结构手写、Tokenizer 训练、分布式训练和推理加速几个环节。如果你只跑过 HuggingFace 的Trainer，这门课里的手写训练循环会让你不适应——梯度累积、混合精度、学习率调度都是显式写出来的，没有黑盒封装。前置要求不算低：能读懂 Attention 的计算图，理解 KV Cache 的作用，最好自己实现过一层 Multi-Head Attention。否则看到蒸馏 loss 的构造时会卡住。不满足这些的话，建议先用小规模数据跑一遍语言模型预训练再回来。

项目结构：从预训练到蒸馏的两段式

课程把流程切成两大块。第一块是 MiniDeepSeek V3 的基座训练：数据清洗、分词器训练、模型定义、预训练脚本、checkpoint 管理。第二块是 R1 蒸馏：用教师模型生成的推理链（思维链形式）作为监督信号，让学生模型学会「先想再答」的输出分布。这两段在代码上是解耦的——基座训练产出权重，蒸馏阶段加载权重并替换训练目标。这种切分方式的好处是你可以只做其中一段，或者把基座换成自己已有的模型直接进蒸馏。

数据集组织上，课程用的是指令+推理链的配对格式，训练时对 prompt 部分做 loss mask，只对回答部分回传梯度。这个细节很多教程会略过，但直接影响蒸馏效果。Function Calling 那几节则是另一条线，讲的是让模型输出结构化调用参数，和蒸馏主流程相对独立，可以单独看。

可复用模块

抛开具体业务，这几块代码抽出来能直接用在别处：

• 训练循环模板：支持梯度累积、AMP、断点续训，换模型定义就能复用。
• 蒸馏 loss 实现：KL 散度加温度缩放的组合，以及 logits 对齐时的维度处理。
• 推理链数据构造脚本：把教师模型的输出解析成训练样本，含格式清洗和过滤逻辑。
• Open WebUI 接入层：把训练好的模型包装成 OpenAI 兼容接口，套上现成前端就是聊天机器人。

这几块的价值在于它们不是玩具代码，而是能改参数直接跑通的工程件。

自学路径建议

不建议按视频顺序从头看到尾。更高效的做法是先跳到最后几节，把训练完成的模型跑起来，看输入输出长什么样，建立对目标的直觉；然后回到基座训练部分，理解权重是怎么来的；最后啃蒸馏 loss 的设计。Function Calling 和 WebUI 搭建属于应用层，放在最后当收尾。每看完一段，把对应脚本单独抽出来改一个超参数重跑，比连续播放九小时管用得多。

这门资料的定位是「对照实践」而不是「看一遍就懂」。代码和数据都在包里，卡住的时候回头翻视频定位到具体章节，比空看讲解有效。