极客时间-AI大模型微调训练营第五期

这门课解决什么问题

大模型微调的门槛不在「会不会调 API」，而在显存、吞吐和精度三者的拉扯。全量微调动辄需要多卡 A100，多数开发者手上只有单张消费级显卡，于是量化、LoRA、Adapter 这些技术路线就成了必须掌握的基本功。极客时间这套 AI 大模型微调训练营第五期的资料，核心内容围绕「怎么在有限显存下把模型调起来」展开，从量化原理讲到具体算法落地，属于偏底层一点的工程向内容。

它不适合当作大模型入门第一课。如果你还没搞清 Transformer 的结构、没跑通过一次 HuggingFace 的推理流程，直接看量化章节会卡在概念上。反过来，如果你已经能加载模型、跑通推理，但一遇到 OOM 或者想压缩显存占用就无从下手，这份资料的针对性就比较强。

技术栈与知识主线

从资料线索看，量化部分是整期内容里结构最清晰的一块，主线可以拆成三层：

• 概念层：模型显存占用由哪些部分组成，参数量、激活值、优化器状态各占多少，量化到底压缩的是哪一部分。
• 算法层：GPTQ 作为面向 GPT 类模型的训练后量化方案，AWQ 则是激活感知的权重量化思路，两者的取舍逻辑不同——一个偏向逐层重建误差补偿，一个强调保护对激活影响大的权重通道。
• 工具层：BitsAndBytes 作为软件包，提供了开箱即用的 8bit / 4bit 量化加载能力，是实践中最省事的入口。

这条主线的好处是，概念、算法、工具串成一条线，学完能对应到「为什么 bnb 加载时某个参数要那么设」这种具体问题上，而不是停留在背算法名字。

可复用模块与实战落点

综合实战部分以 Facebook OPT 模型为例做量化，这个选型很务实：OPT 系列参数量跨度大（125M 到 175B），显存需求可控，适合在单卡上验证。你可以把这段代码当成一个模板，替换成 LLaMA 系或 Qwen 系模型时，加载方式和量化配置的改动量不大。

作业文件的存在说明训练营不是纯看视频，需要自己动手改配置、跑通流程再对比效果。量化是否真的无损、4bit 和 8bit 的精度差多少、推理速度有没有实际提升，这些问题只有自己跑一遍才有体感。建议的做法是：拿同一份 prompt 分别在原始权重和量化权重上跑，记录显存占用和输出差异，形成自己的对照表。

资料形态与使用建议

课件与章节视频是配套的，但视频更适合当索引，真正的信息密度在课件和作业里。比较高效的用法是先扫课件确认这一章要解决的技术点，再带着问题去看对应视频，最后用作业检验。量化这类内容光看不练很难记住，算法细节过几天就模糊了。

另外要提醒的是，量化技术迭代很快，课程里的算法版本和参数命名可能和当前主流库有出入。遇到不一致时以官方文档为准，把课件当成理解原理的参照，而不是照抄的配置手册。这样这份资料的价值才不只是「看过」，而是能迁移到你自己的微调项目里。