北大的肖睿团队也出品了两份 DeepSeek “内部秘籍”

这套资料到底在讲什么

围绕 DeepSeek 的两份“内部秘籍”，本质上是北大肖睿团队把深度学习里最容易被讲虚的那部分——模型到底怎么算、为什么这么设计、工程上怎么落地——拆成了可对照的讲义。它不是那种从“什么是神经元”开始铺陈的入门读物，也不是只贴几段推理代码的速查手册，定位更接近“有基础的人拿来校准自己理解”的中间层材料。如果你已经跑过几个 Transformer 的 demo，但对 KV Cache、MoE 路由、注意力里的矩阵形状变化还停留在“框架帮我做了”的阶段，这套内容的价值就体现出来了。

技术栈与内容结构

资料的主线是深度学习核心机制，落点在当前主流的大模型架构上。可以从三个层次去看它的组织方式：

• 原理层：从张量运算、反向传播讲到注意力机制的完整推导，重点在把公式和代码里的张量维度对应起来，而不是只给结论。
• 架构层：围绕 Transformer 的编码器/解码器差异、位置编码的演进、归一化位置的取舍展开，这部分适合拿来对照 PyTorch 里的模块实现。
• 工程层：涉及训练时的显存估算、混合精度、梯度累积这些实际会卡住人的点，以及推理阶段的批处理与缓存策略。

技术栈以 PyTorch 为主，示例代码偏“能跑通的最小实现”，而不是封装好的高层 API 调用。这意味着你需要能看懂nn.Module的 forward 逻辑，愿意自己动手改维度、打印中间张量。

可复用的模块与代码组织

这套资料比较实用的地方，在于它把几个高频出现的结构做成了可拆出来单独用的片段。比如自注意力里 Q、K、V 的投影与缩放点积，多头拆分的 reshape/transpose 顺序，掩码的构造方式，这些在写自己的模型时几乎每次都要重写一遍。资料里给出的版本注意了 batch 维度和 head 维度的处理，直接搬进自己的项目里改一下配置就能用。

另外像位置编码、前馈网络、残差连接与 LayerNorm 的组合顺序，也都是可以独立复用的组件。建议的做法是：不要通读一遍就过，而是把每个模块单独拎出来，在自己的小数据集上跑一次前向，确认输出形状和数值范围符合预期，再放回整体结构里。

怎么用它自学

如果按顺序硬啃，容易在推导部分卡住。更实际的路径是：

• 先挑一个你最熟悉的模型结构，对照资料里的模块说明，逐行确认自己能否解释每个操作的作用。
• 遇到不懂的公式，回到代码里找对应的实现，用打印张量形状的方式反向理解。
• 把资料里的实战部分当成练习，先自己写一遍，再对比差异，重点看工程细节上的处理。
• 对推理优化、显存管理这类话题，结合自己的硬件条件做小规模实验，记录不同配置下的表现。

这套内容不适合当睡前读物，更适合放在编辑器旁边，边看边改代码。它的价值不在于告诉你“深度学习很重要”，而在于把那些文档里一笔带过、实际工作中却反复遇到的结构细节摊开来讲。对已经有一定基础、想从“会调库”往“能改结构、能定位问题”走的开发者，这份资料可以当作一份对照实践的参考。