getfromcode

极客时间AI大模型微调训练营第五期|完结

AI
课程简介

聚焦 LLaMA 架构的微调实战 这份资料核心解决的是大模型在通用场景下缺乏垂直领域知识,且全量微调成本高昂的问题。课程并未停留在理论推导,而是直接切入工程落地,重点讲解如何基于开源基座模型进行高效参数高效微调。它不追求从零训练基础模型,而是侧重于在有限算力下,通过调整少量参数让模型适应特定业务数据。这种思路非常贴近当前中小团队的实际开发场景,避免了盲目堆…

已有 31 人浏览 发布 2026-03-01 更新 2026-10-12

聚焦 LLaMA 架构的微调实战

这份资料核心解决的是大模型在通用场景下缺乏垂直领域知识,且全量微调成本高昂的问题。课程并未停留在理论推导,而是直接切入工程落地,重点讲解如何基于开源基座模型进行高效参数高效微调。它不追求从零训练基础模型,而是侧重于在有限算力下,通过调整少量参数让模型适应特定业务数据。这种思路非常贴近当前中小团队的实际开发场景,避免了盲目堆砌算力,转而关注数据清洗、提示词工程与模型对齐之间的协同效应,让开发者明白微调并非简单的“投喂数据”,而是一套包含预处理、训练策略选择及评估闭环的系统工程。

前置基础与学习路径建议

适合具备 Python 基础,熟悉 PyTorch 基本张量操作,并了解 Transformer 架构原理的开发者。如果你完全不懂神经网络反向传播或 HuggingFace 生态的使用,建议先补齐底层基础,否则难以理解微调过程中损失函数变化的含义。建议优先关注数据准备模块,重点研读如何构建高质量的指令数据集,这是微调效果的关键。随后深入理解 LoRA 等参数高效微调技术的实现细节,看代码是如何注入适配器层并冻结原有权重的。最后结合评估章节,学习如何量化模型性能,避免仅凭主观感受判断训练结果。不要试图一次看完所有视频,建议每看完一个技术模块,就对照源码运行一次相关 Demo,确保能复现训练日志中的关键指标。

独立产出与资料配合方法

学完这套资料后,你应该能够独立搭建一个完整的微调流水线:从原始业务数据清洗开始,构建指令微调数据集,配置训练超参数,执行 LoRA 微调,并部署微调后的模型进行推理服务。你能独立解决的问题包括:如何诊断过拟合、如何平衡数据多样性与模型稳定性、以及如何将微调模型集成到现有的 LLM 应用中。资料中的代码片段是核心参考,建议将示例代码克隆到本地,替换为你自己的业务数据进行小规模测试。不要只看不练,必须亲手修改训练脚本中的关键参数,观察不同配置对收敛速度和最终效果的影响。通过这种“对照源码 + 本地复现 + 数据替换”的闭环练习,才能真正掌握微调的工程细节,而非仅仅停留在概念理解层面,从而具备独立交付垂直领域大模型应用的能力。

网盘截图:

目录:

├── 第9章
│ ├── 课件
│ │ ├── GLM论文.zip
│ │ ├── 9-GLM大模型家族与ChatGLM3-6B微调入门.pdf
│ ├── 3. 扩展模型:联网检索、多模态、代码生成.mp4
│ ├── 7.作业.txt
│ ├── 4. 对话模型 ChatGLM 系列.mp4
│ ├── 6. 实战 QLoRA 微调 ChatGLM3-6B.mp4
├── 第16章
│ ├── 课件
│ │ ├── 16-国产化实战:基于华为 Ascend 910 微调 ChatGLM-6B.pdf
│ ├── 5. 华为昇腾全栈 AI 软硬件平台介绍.mp4
│ ├── 3. 厚积薄发的江湖大佬:Google.mp4
│ ├── 2. 蓝色星球的算力霸主:NVIDIA.mp4
│ ├── 4. 努力追赶的国产新秀:华为.mp4
│ ├── 6. 实战:华为 Ascend 910B 微调 ChatGLM 6B 模型.mp4
├── 第17章 智谱章节
│ ├── 3. CogVLM模型部署实践.mp4
│ ├── 5. 选学 API 基础教学和实战-问题解决方案.txt
│ ├── 6. 使用 GLM-4 API 构建模型和应用.mp4
│ ├── 1. GLM 大模型家族介绍.mp4
│ ├── 5. 选学 API 基础教学和实战.mp4
│ ├── 1.GLM大模型家族介绍.pdf
│ ├── 4.选学 GLM4 GLM4V API 调用实践.pdf
│ ├── 4. 选学 智谱第四代 API 介绍.mp4
│ ├── 2.GLM模型部署实践.pdf
│ ├── 3.CogVLM模型部署实践.pdf
│ ├── 2. GLM 模型部署微调实践.mp4
├── 第7章
│ ├── 课件
│ │ ├── 7-大模型高效微调工具HF PEFT 入门与实战.pdf
│ ├── 5.作业.txt
│ ├── 4. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别.mp4
├── 第10章
│ ├── 课件
│ │ ├── 10-实战私有数据微调ChatGLM3.pdf
│ ├── 3. 合成数据: LangChain + GPT-3.5 Turbo.mp4
│ ├── 5. 提示工程:保持批量生成数据稳定性.mp4
│ ├── 2. 使用 ChatGPT 自动设计生成训练数据的 Prompt.mp4
│ ├── 7.作业.txt
│ ├── 6. 实战私有数据微调 ChatGLM3.mp4
│ ├── 4. 数据增强:提升训练数据多样性.mp4
├── 直播回放
│ ├── 10.17 第四次直播答疑.mp4
│ ├── 9.26 第三次直播答疑.mp4
│ ├── 8.29 第一次直播答疑.mp4
├── 第13章
│ ├── 课件
│ │ ├── 13-Meta AI 大模型 LLaMA.pdf
│ │ ├── LLaMA论文.zip
│ ├── 3. LLaMA 1 衍生模型大家族.mp4
│ ├── 5. 申请和获取 LLaMA 2 模型预训练权重.mp4
│ ├── 4. LLaMA 2 大模型技术解读.mp4
│ ├── 2. LLaMA 1 大模型技术解读.mp4
├── 第5章
│ ├── 课件
│ │ ├── 5-大模型高效微调技术揭秘(上).pdf
│ │ ├── Fine-tuning论文.zip
│ │ ├── Instruction-Tuning论文.zip
│ ├── 3. PEFT主流技术分类介绍.mp4
├── 第6章
│ ├── 课件
│ │ ├── 6-大模型高效微调技术揭秘(下).pdf
│ ├── 5. UniPELT:大模型PEFT统一框架.mp4
│ ├── 2. LoRA低秩适配微调技术.mp4
│ ├── 3. AdaLoRA自适应权重矩阵微调技术.mp4
│ ├── 6. (IA)3:极简主义增量训练方法.mp4
│ ├── 4. QLoRA量化低秩适配微调技术.mp4
├── 第3章
│ ├── 课件
│ │ ├── 5-大模型开发工具库 HF Transformers.pdf
│ ├── 4. 大模型开发环境搭建.mp4
│ ├── 5. 实战Hugging Face Transformers工具库.mp4
│ ├── 6.作业.txt
│ ├── 3. Transformers核心功能模块.mp4
├── 第2章
│ ├── 课件
│ │ ├── 代码链接地址.txt
│ │ ├── 论文.zip
│ │ ├── 2-大语言模型技术发展与演进.pdf
│ ├── 4. 大语言模型:注意力机制.mp4
│ ├── 7. 大语言模型:暴力美学GPT系列模型.mp4
│ ├── 3. 神经网络语言模型.mp4
│ ├── 6. 大语言模型:GPT-1与BERT.mp4
│ ├── 2. 统计语言模型.mp4
│ ├── 5. 大语言模型:Transformer网络架构.mp4
├── 第8章
│ ├── 课件
│ │ ├── 8-大模型量化技术入门与实战.pdf
│ │ ├── Quantization论文.zip
│ ├── 6. 实战 Facebook OPT 模型量化.mp4
│ ├── 5. BitsAndBytes(BnB) :模型量化软件包.mp4
│ ├── 4. AWQ:激活感知权重量化算法.mp4
│ ├── 3. GPTQ:专为 GPT 设计的模型量化算法.mp4
│ ├── 2. 模型显存占用与量化技术简介.mp4
│ ├── 7.作业.txt
├── 第1章
│ ├── 课件
│ │ ├── 1-AI大模型四阶技术总览.pdf
│ ├── 4. 把握浪潮:AI 大模型助力超级个体和小团队.mp4
│ ├── 5. AI大模型四阶技术总览:提示工程(Prompt Engineering).mp4
│ ├── 6. AI大模型四阶技术总览:AI智能体(Agents).mp4
│ ├── 8. AI大模型四阶技术总览:预训练技术(Pre-training).mp4
│ ├── 7. AI大模型四阶技术总览:大模型微调(Fine-tuning).mp4
│ ├── 3. AI应用浪潮:高校共识、硅谷创新、中美博弈.mp4
│ ├── 2. AI技术浪潮:弱人工智能、机器学习、深度学习、大语言模型.mp4
├── 第14章
│ ├── 课件
│ │ ├── 14-实战LLaMA2-7B指令微调.pdf
│ ├── 3. LLaMA2-7B 指令微调上手实战.mp4
│ ├── 4. 再谈中文指令微调方法.mp4
│ ├── 2. 大模型训练技术总结.mp4
├── 第11章
│ ├── 课件
│ │ ├── 11-ChatGPT大模型训练技术RLHF.pdf
│ │ ├── RLHF论文.zip
│ ├── 2. ChatGPT 大模型训练核心技术.mp4
│ ├── 3. 基于人类反馈的强化学习(RLHF)技术详解.mp4
│ ├── 4. 基于 AI 反馈的强化学习(RLAIF)技术.mp4
├── 第12章
│ ├── 课件
│ │ ├── 12-混合专家模型(MoEs)技术揭秘.pdf
│ │ ├── MoEs论文.zip
│ ├── 3. MoEs 与大模型结合后的技术发展.mp4
│ ├── 2. MoEs 技术发展简史.mp4
├── 第15章
│ ├── 课件
│ │ ├── 15-大模型分布式训练框架Microsoft DeepSpeed.pdf
│ ├── 4. Microsoft DeepSpeed 框架和核心技术.mp4
│ ├── 5. 分布式模型训练并行化技术对比.mp4
│ ├── 6. DeepSpeed 与 Transformers 集成训练大模型.mp4
│ ├── 8. DeepSpeed ZeRO 配置详解.mp4
│ ├── 11. DeepSpeed 创新模块 Inference Compression Science.mp4
│ ├── 9. 使用 DeepSpeed 单机多卡、分布式训练.mp4
│ ├── 2. 预训练模型显存计算方法.mp4
│ ├── 10. 实战 DeepSpeed ZeRO-2 和 ZeRO-3 单机单卡训练.mp4
│ ├── 7. DeepSpeed 框架编译与安装.mp4
├── 第4章
│ ├── 课件
│ │ ├── 4-实战Transformers模型训练.pdf
│ ├── 4. 实战训练BERT模型:文本分类任务.mp4
│ ├── 5. 实战训练BERT模型:QA任务.mp4
│ ├── 3. Transformers模型训练入门.mp4
│ ├── 6.作业.txt
│ ├── 2. 数据集处理库Hugging Face Datasets.mp4
├── 02-课程表.webp
├── 01-课前准备.docx

课程目录

第9章
课件
GLM论文.zip
9-GLM 大模型家族与ChatGLM3-6B微调入门.pdf
3. 扩展模型:联网检索、多模态、代码生成.mp4
7.作业.txt
1. 绔犺妭浠嬬粛.mp4
4. 对话模型 ChatGLM 系列.mp4
6. 实战 QLoRA 微调 ChatGLM3-6B.mp4
第16章
16-国产化实战:基于华为 Ascend 910 微调 ChatGLM-6B.pdf
5. 华为昇腾全栈 AI 软硬件平台介绍.mp4
3. 厚积薄发的江湖大佬:Google.mp4
2. 蓝色星球的算力霸主:NVIDIA.mp4
4. 努力追赶的国产新秀:华为.mp4
6. 实战:华为 Ascend 910B 微调 ChatGLM 6B 模型.mp4
第17章 智谱章节
3. CogVLM模型部署实践.mp4
5. 选学 API 基础教学和实战-问题解决方案.txt
6. 使用 GLM-4 API 构建模型和应用.mp4
1. GLM 大模型家族介绍.mp4
5. 选学 API 基础教学和实战.mp4
1.GLM大模型家族介绍.pdf
4.选学 GLM4 GLM4V API 调用实践.pdf
4. 选学 智谱第四代 API 介绍.mp4
2.GLM模型部署实践.pdf
3.CogVLM模型部署实践.pdf
2. GLM 模型部署微调实践.mp4
第7章
7-大模型高效微调工具HF PEFT 入门与实战.pdf
5.作业.txt
4. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别.mp4
第10章
10-实战私有数据微调ChatGLM3.pdf
3. 合成数据: LangChain + GPT-3.5 Turbo.mp4
5. 提示工程:保持批量生成数据稳定性.mp4
2. 使用 ChatGPT 自动设计生成训练数据的 Prompt.mp4
6. 实战私有数据微调 ChatGLM3.mp4
4. 数据增强:提升训练数据多样性.mp4
直播回放
10.17 第四次直播答疑.mp4
9.26 第三次直播答疑.mp4
8.29 第一次直播答疑.mp4
第13章
13-Meta AI 大模型 LLaMA.pdf
LLaMA论文.zip
3. LLaMA 1 衍生模型大家族.mp4
5. 申请和获取 LLaMA 2 模型预训练权重.mp4
4. LLaMA 2 大模型技术解读.mp4
2. LLaMA 1 大模型技术解读.mp4
第5章
5-大模型高效微调技术揭秘(上).pdf
Fine-tuning论文.zip
Instruction-Tuning论文.zip
3. PEFT主流技术分类介绍.mp4
第6章
6-大模型高效微调技术揭秘(下).pdf
5. UniPELT:大模型PEFT统一框架.mp4
2. LoRA低秩适配微调技术.mp4
3. AdaLoRA自适应权重矩阵微调技术.mp4
6. (IA)3:极简主义增量训练方法.mp4
4. QLoRA量化低秩适配微调技术.mp4
第3章
5-大模型开发工具库 HF Transformers.pdf
4. 大模型开发环境搭建.mp4
5. 实战Hugging Face Transformers工具库.mp4
6.作业.txt
3. Transformers核心功能模块.mp4
第2章
代码链接地址.txt
论文.zip
2-大语言模型技术发展与演进.pdf
4. 大语言模型:注意力机制.mp4
7. 大语言模型:暴力美学GPT系列模型.mp4
3. 神经网络语言模型.mp4
6. 大语言模型:GPT-1与BERT.mp4
2. 统计语言模型.mp4
5. 大语言模型:Transformer网络架构.mp4
第8章
8-大模型量化技术入门与实战.pdf
Quantization论文.zip
6. 实战 Facebook OPT 模型量化.mp4
5. BitsAndBytes(BnB) :模型量化软件包.mp4
4. AWQ:激活感知权重量化算法.mp4
3. GPTQ:专为 GPT 设计的模型量化算法.mp4
2. 模型显存占用与量化技术简介.mp4
第1章
1-AI大模型四阶技术总览.pdf
4. 把握浪潮:AI 大模型助力超级个体和小团队.mp4
5. AI大模型四阶技术总览:提示工程(Prompt Engineering).mp4
6. AI大模型四阶技术总览:AI智能体(Agents).mp4
8. AI大模型四阶技术总览:预训练技术(Pre-training).mp4
7. AI大模型四阶技术总览:大模型微调(Fine-tuning).mp4
3. AI应用浪潮:高校共识、硅谷创新、中美博弈.mp4
2. AI技术浪潮:弱人工智能、机器学习、深度学习、大语言模型.mp4
第14章
14-实战LLaMA2-7B指令微调.pdf
3. LLaMA2-7B 指令微调上手实战.mp4
4. 再谈中文指令微调方法.mp4
2. 大模型训练技术总结.mp4
第11章
11-ChatGPT大模型训练技术RLHF.pdf
RLHF论文.zip
2. ChatGPT 大模型训练核心技术.mp4
3. 基于人类反馈的强化学习(RLHF)技术详解.mp4
4. 基于 AI 反馈的强化学习(RLAIF)技术.mp4
第12章
12-混合专家模型(MoEs)技术揭秘.pdf
MoEs论文.zip
3. MoEs 与大模型结合后的技术发展.mp4
2. MoEs 技术发展简史.mp4
4. MoEs 瀹炰緥鐮旂┒锛歁ixtral-8x7B.mp4
第15章
15-大模型分布式训练框架Microsoft DeepSpeed.pdf
4. Microsoft DeepSpeed 框架和核心技术.mp4
5. 分布式模型训练并行化技术对比.mp4
6. DeepSpeed 与 Transformers 集成训练大模型.mp4
8. DeepSpeed ZeRO 配置详解.mp4
11. DeepSpeed 创新模块 Inference Compression Science.mp4
9. 使用 DeepSpeed 单机多卡、分布式训练.mp4
2. 预训练模型显存计算方法.mp4
10. 实战 DeepSpeed ZeRO-2 和 ZeRO-3 单机单卡训练.mp4
7. DeepSpeed 框架编译与安装.mp4
第4章
4-实战Transformers模型训练.pdf
4. 实战训练BERT模型:文本分类任务.mp4
5. 实战训练BERT模型:QA任务.mp4
3. Transformers模型训练入门.mp4
2. 数据集处理库Hugging Face Datasets.mp4
02-课程表.webp
01-课前准备.docx
课程购买
课程价格
金币79
790金币限时优惠会员免费
销量:0
💎 开通会员每日免费下载,比单买更划算 →
支付成功后会自动显示下载资源云盘的链接!点击链接即可下载到本地。