课程定位:填补从“调接口”到“改模型”的技术断层 目前大多数应用开发停留在调用大模型 API 的层面,一旦面临垂直领域的专业术语理解、特定业务逻辑遵循或成本控制需求,通用模型的泛化能力便捉襟见肘。这门课程的核心价值在于打通这一技术断层,系统性地讲解如何基于开源基座模型(如 Llama、Qwen 等)进行深度适配。课程严格遵循八周进阶路线,从大语言模型的底层…
目前大多数应用开发停留在调用大模型 API 的层面,一旦面临垂直领域的专业术语理解、特定业务逻辑遵循或成本控制需求,通用模型的泛化能力便捉襟见肘。这门课程的核心价值在于打通这一技术断层,系统性地讲解如何基于开源基座模型(如 Llama、Qwen 等)进行深度适配。课程严格遵循八周进阶路线,从大语言模型的底层演进与 Transformer 架构原理切入,逐步过渡到全量微调、参数高效微调(PEFT)、低秩自适应(LoRA)及 QLORA 量化微调等核心实战技术。通过梳理 Hugging Face Transformers 库与 PEFT 工具链,旨在帮助开发者构建一套完整的大模型本地化部署与微调工程体系。
本课程适合具备一定 Python 编程基础,且熟悉 PyTorch 深度学习框架基本用法的开发者。建议学员在入学前掌握基础的神经网络概念,了解卷积或循环神经网络的基本结构,并对 Hugging Face 生态有一定的初步接触。内容不涉及过于晦涩的数学推导,但要求具备较强的代码复现与调试能力。无论您是希望将通用大模型应用于企业私有知识库检索(RAG),还是希望针对特定垂直领域(如医疗、法律、代码生成)训练专属助手,本课程的模块化设计均能提供直接可用的工程参考。不适合完全没有编程基础或仅关注模型应用层 API 调用的纯业务开发人员。
建议学习路径遵循“原理先行,实战跟进”的原则。首先务必精读第一周关于大模型技术总览与演进的资料,建立对 Attention 机制和 Transformer 架构的宏观认知,这是理解后续所有微调技术的基石。其次,重点攻克第三至八周关于 PEFT、LoRA 原理及 Transformers 实战量化的章节,这部分是课程的核心干货,直接对应工业界的主流解决方案。在学习过程中,应充分利用配套的资料包,对照每一周的作业参考答案进行代码复盘,特别是论文.zip 与工具库文档,建议结合官方源码阅读,而非仅停留在视频观看层面。学完本课程后,开发者应能独立搭建基于 Hugging Face 的微调环境,编写自定义数据处理脚本,选择适合的微调策略(如全参、LoRA、QLoRA),并在显存受限的硬件条件下完成模型训练与导出,最终实现一个可落地的垂直领域大模型应用。
00 开营直播
01 大语言模型微调的前沿技术与应用 .mp4
开营直播:大语言模型微调的前沿技术与应用.pdf
01 第一周
01 ai大模型四阶技术总览 .mp4
02 大语言模型技术发展与演进 .mp4
1-ai大模型四阶技术总览.pdf
20231129评论区记录.xlsx
20231203评论区记录.xlsx
2-大语言模型技术发展与演进.pdf
第一周作业参考答案.pdf
论文.zip
02 第二周
01 大模型微调技术揭秘 .mp4
02 大模型微调技术揭秘-lora .mp4
20231206评论区记录.xlsx
20231210评论区记录.xlsx
3-大模型微调技术揭秘-peft.pdf
4-大模型微调技术揭秘-lora.pdf
fine-tuning论文.zip
unipelt a unified framework for parameter-efficient language model tuning.pdf
03 第三周
01 大模型开发工具库hugging face transformers .mp4
02 20231220评论区记录.xlsx
02 实战transformers模型微调.mp4
大模型开发工具库 hf transformers.pdf
实战transformers模型微调.pdf
04 第四周
01 20231224评论区记录.xlsx
01 quantization论文.zip
01 实战transformers模型量化.mp4
03 20231227评论区记录.xlsx
03 大模型高效微调工具hf peft.mp4
7-实战transformers模型量化.pdf
8-大模型高效微调工具hf peft.pdf
实战transformers模型量化.pdf
05.第05周
01 20240103评论区记录.xlsx
01 glm论文.zip
01 实战qlora微调chatglm3-6b.mp4
9-实战qlora 微调 chatglm3-6b.pdf
06 第五周
01 glm论文
glm论文
glm.pdf
glm-130b v1.pdf
glm-130b v2.pdf
01 20240103评论区记录.xlsx
01 9-实战qlora 微调 chatglm3-6b.pdf
01 实战qlora微调chatglm3-6b.mp4
02 10-快速入门 langchain 大模型应用开发框架.pdf
02 20240107评论区记录.xlsx
02 快速入门 langchain 大模型应用开发框架(上).mp4
03 快速入门 langchain 大模型应用开发框架(下).mp4
07 第六周
01 11-实战基于langchain和chatglm私有化部署聊天机器人.pdf
01 20240110评论区记录.xlsx
01 实战基于langchain和chatglm私有化部署聊天机器人.mp4
02 12-实战私有数据微调chatglm3.pdf
02 20240118评论区记录.xlsx
02 实战私有数据微调chatglm3.mp4
08 第七周
01 rlhf论文
rlhf
learning to summarize from human feedback.pdf
proximal policy optimization algorithms.pdf
training language models to follow instructions with human feedback.pdf
02 moes论文
moes
adaptive-mixtures-of-local-experts.pdf
glam efficient scaling of language models with mixture-of-experts.pdf
learning factored representations in a deep mixture of experts.pdf
mixtral ai.pdf
mixture-of-experts with expert choice routing.pdf
st-moe designing stable and transferable sparse expert models.pdf
switch transformers scaling to trillion parameter models with simple and efficient sparsity.pdf
01 13-chatgpt大模型训练技术rlhf.pdf
01 20240121评论区记录.xlsx
01 chatgpt大模型训练技术rlhf.mp4
02 14-混合专家模型(moes)技术揭秘.pdf
02 20240124评论区记录.xlsx
02 混合专家模型(moes)技术揭秘.mp4
09 第八周
01 zero论文
zero
zero memory optimizations toward training trillion parameter models.pdf
zero-infinity breaking the gpu memory wall for extreme scale deep learning.pdf
zero-offload democratizing billion-scale model training.pdf
03 llamal论文
llama
a survey of large language models.pdf
llama 2 open foundation and fine-tuned chat models.pdf
llama open and efficient foundation language models.pdf
01 15-大模型分布式训练框架microsoft deepspeed.pdf
01 20240128评论区记录.xlsx
01 大模型分布式训练框架microsoft deepspeed.mp4
03 16-meta ai 大模型家族 llama.pdf
03 20240131评论区记录.xlsx
03 meta ai 大模型家族 llama.mp4