getfromcode

贪心-大模型微调实战营-精通+指令微调+开源大模型微调+对齐+垂直领域应用

测试运维
课程简介

大模型微调的核心逻辑与底层原理 这套资料聚焦于开源大模型的指令微调与对齐技术,旨在解决开发者在垂直领域落地大模型时,如何基于预训练模型进行高效适配的问题。内容并非简单的 API 调用教程,而是深入 Transformer 架构的 Encoder 与 Decoder 机制,剖析 Self-Attention 在长上下文处理中的计算细节。它适合具备 Pytho…

已有 22 人浏览 发布 2025-12-20 更新 2026-10-09

大模型微调的核心逻辑与底层原理

这套资料聚焦于开源大模型的指令微调与对齐技术,旨在解决开发者在垂直领域落地大模型时,如何基于预训练模型进行高效适配的问题。内容并非简单的 API 调用教程,而是深入 Transformer 架构的 Encoder 与 Decoder 机制,剖析 Self-Attention 在长上下文处理中的计算细节。它适合具备 Python 基础、熟悉 PyTorch 框架,并对深度学习基础概念有一定了解的工程师。建议从第一阶段的大模型发展脉络与 Transformer 核心结构入手,重点理解注意力机制的代码实现逻辑,再进入第二阶段的架构对比与高级主题。通过拆解 Encoder-based 与 Decoder-based 模型的差异,你能建立起对模型内部数据处理流程的直观认知,为后续的微调策略选择打下坚实的理论基础。

从理论到垂直领域应用的实践路径

课程后半部分紧密围绕指令微调(Instruction Tuning)和对齐技术展开,探讨如何通过调整模型行为使其符合特定领域规范。这部分内容强调工程落地中的可复用模块,例如数据清洗管道、训练参数配置以及评估指标体系。学完此部分,你应当能够独立搭建一套针对特定业务场景(如客服问答、代码生成)的微调流水线,而不仅仅是运行现成的脚本。资料中的视频内容提供了详细的代码演示和参数调优思路,建议在学习过程中同步搭建本地开发环境,将视频中的关键代码片段复现并修改。重点练习如何构建高质量的指令数据集,以及如何监控训练过程中的损失曲线变化,从而判断模型是否过拟合或欠拟合。这种边看边练的方式,能确保你真正掌握微调的核心技巧,而非停留在概念层面。

资料配合与自学建议

为了最大化学习效率,建议将视频内容作为主线,结合源码进行断点调试。在观看 Transformer 原理部分时,可以暂停视频,手动绘制数据流向图,并尝试修改 Head 数量或 Layer 数,观察模型性能的变化。在微调实战部分,重点记录不同学习率、Batch Size 对收敛速度的影响,形成自己的参数调优笔记。这套资料的价值在于其工程视角的完整性,从底层架构到上层应用,形成了一个闭环。通过系统学习,你不仅能理解大模型“如何炼成”,更能掌握“如何驯服”它们,使其在特定垂直领域中发挥稳定且高效的作用。最终目标是让你具备独立设计并实施大模型微调项目的能力,能够根据业务需求灵活选择基座模型和微调策略,解决实际问题。

【资源目录】:

├──第01阶段:开营+大模型介绍、Transformer
| ├──01 开营.mp4 168.87M
| ├──02 大模型爆发式发展.mp4 240.49M
| ├──03 大模型是如何炼成的.mp4 88.29M
| ├──04 Transformer的应用.mp4 183.06M
| └──05 Self-Attention.mp4 329.29M
├──第02阶段:Transformer、Encoder、Advanced
| ├──01 Transformer Part1.vep 264.60M
| ├──02 Transformer Part2.vep 392.86M
| ├──03 Encoder-based and Decoder Based LLMs.vep 79.14M
| └──04 Advanced Topics.vep 256.46M
├──第03阶段:大模型微调概览 Lora微调
| ├──01 大模型微调概览.mp4 283.11M
| ├──02 Lora微调-Lora算法.mp4 302.03M
| └──03 Lora微调-从零实现Lora到Roberta.mp4 437.58M
├──第04阶段:Alpaca、AdaLoRA、QLoRA
| ├──01 Alpaca.mp4 1.27G
| ├──02 AdaLoRA.mp4 747.90M
| └──03 QLoRA.mp4 587.90M
├──第05阶段:Prefix Tuning、Quantization
| ├──01 Prefix Tuning.vep 382.84M
| ├──02 Quantization01.vep 205.81M
| ├──03 Quantization02.vep 311.66M
| └──04 Quantization Methos for LLM.vep 98.12M
├──第06阶段:llama介绍&运行&量化&部署&微调
| ├──01 llama介绍&运行&量化&部署&微调01.mp4 566.44M
| └──02 llama介绍&运行&量化&部署&微调02.mp4 927.33M
├──第07阶段:Distributed Computing、Flash Attention
| ├──01 GPU时间计算.mp4 411.05M
| ├──02 Distributed Computing.mp4 328.60M
| ├──03 ZeRO-123 and FSDP.mp4 459.57M
| └──04 Flash Attention.mp4 403.36M
├──第08阶段:Flash Attention cont、微调Mistral 7B
| ├──01 Flash Attention cont.mp4 123.50M
| ├──02 Self-Attention的分块计算.mp4 557.51M
| ├──03 分块模式中计算O.mp4 285.88M
| ├──04 Mixture of Expert Model.mp4 77.97M
| └──05 微调Mistral 7B.mp4 730.47M
├──第09阶段:强化学习
| ├──01 RLHF介绍.vep 450.88M
| ├──02 强化学习.vep 194.64M
| ├──03 Multi-armed Bandit.vep 229.65M
| └──04 The goal of Agent.vep 378.82M
├──第10阶段:Optimal Policy、Intro to Monte Carlo
| ├──01 Optimal Policy.mp4 434.36M
| └──02 Intro to Monte Carlo.mp4 229.36M
└──课件资料
| ├──课程资料
| | ├──第三节-课程资料 20240225
| | | ├──Lora代码.ipynb 9.55kb
| | | └──课程相关资料.text 0.95kb
| | ├──第四节-课程资料 20240303
| | | └──4bit-normalquantization.ipynb 4.78kb
| | ├──第六节补充课 课程资料 20240406-微调Mistral7B.pdf 13.63M
| | ├──项目手册1:QLoRA finetune Microsoft Phi.pdf 17.34M
| | └──助教补充课 课程资料 20240324 llama介绍&运行&量化&部署&微调.pdf 19.46M
| └──课件
| | ├──第二节-课件 20240128.pdf 27.33M
| | ├──第六节-补充课-课件 20240406.pdf 20.90M
| | ├──第六节-课件1 20240331.pdf 22.37M
| | ├──第六节-课件2 20240331.pdf 25.45M
| | ├──第三节-课件 20240225.pdf 37.39M
| | ├──第四节课-课件 20240303.pdf 28.48M
| | ├──第五节-课件 20240317.pdf 33.33M
| | ├──第一节-课件 20240121.pdf 25.15M
| | ├──第二节-课件 20240128.pdf 27.33M
| | ├──第三节-课件 20240225.pdf 37.39M
| | ├──第四节课-课件 20240303.pdf 28.48M
| | ├──第一节-课件 20240121.pdf 25.15M
| | ├──第一节-拓展资料 20240121(1).txt 0.73kb
| | └──第一节-拓展资料 20240121.txt 0.73kb

课程购买
课程价格
金币29
290金币限时优惠会员免费
销量:0
💎 开通会员每日免费下载,比单买更划算 →
支付成功后会自动显示下载资源云盘的链接!点击链接即可下载到本地。