无加密MP4版

AI大模型工程师高薪必备：架构原理+训练优化+行业项目开发与部署，一站式掌握大模型训练核心技术

### 第1章 课程导学与环境介绍

- 1-1 课程介绍与安排【不要错过】.mp4

- 1-2 为什么在AI时代要学习大模型及其相关的理论知识.mp4

- 1-3 中国开发者学习DeepSeek的意义.mp4

- 1-4 大模型常用学习资源与模型下载.mp4

- 1-5 Anaconda 介绍及安装.mp4

- 1-6 pycharm安装级连接远程服务器.mp4

- 1-7 按图索骥 AI技术全景介绍.mp4

### 第2章 【小试牛刀】DeepSeek认知与体验

- 2-1 ChatGPT的诞生和DeepSeek的追赶.mp4

- 2-2 DeepSeek能力体验与大模型的影响.mp4

- 2-3 小试牛刀1-基于DeepSeek结合提示工程搭建功能强大的翻译机.mp4

- 2-4 小试牛刀2-几行代码实现DeepSeek蒸馏模型私有化部署实战.mp4

### 第3章 【大模型理论】DeepSeek的诞生之路

- 3-1 自然语言处理解决的是什么问题.mp4

- 3-2 规则和统计学的方法.mp4

- 3-3 为什么要使用词向量以及向量表示的作用.mp4

- 3-4 如何获得一份表示良好的词向量？.mp4

- 3-5 词向量的价值.mp4

- 3-6 小试牛刀 词向量实战.mp4

- 3-7 预训练模型.mp4

- 3-8 小试牛刀 预训练模型实战.mp4

- 3-9 大语言模型的诞生.mp4

- 3-10 DeepSeek的诞生.mp4

- 3-11 大模型产生智能的原因.mp4

### 第4章 【特征编码器Transformer】深入理解大模型的输入输出

- 4-1 大模型的文本切分与Token.mp4

- 4-2 大模型的Tokenizer.mp4

- 4-3 深入理解Tokenizer的作用及影响.mp4

- 4-4 【小试牛刀】Tokenizer实战.mp4

- 4-5 深入理解BPE算法训练和编码过程.mp4

- 4-6 【实战】手撸BPE算法训练代码.mp4

- 4-7 初步了解大模型中的位置编码.mp4

- 4-8 大模型的输出流程介绍.mp4

- 4-9 大模型解码原理详细介绍.mp4

- 4-10 【实战】寻找大模型最佳推理参数实战（一）.mp4

- 4-11 【实战】寻找大模型最佳推理参数实战（二）.mp4

### 第5章 【特征编码器Transformer】深入Transfomer中的注意力机制

- 5-1 Transformer基础知识准备.mp4

- 5-2 【实战】手撸LayerNorm 代码.mp4

- 5-3 【实战】手撸softmax代码.mp4

- 5-4 深入理解注意力机制.mp4

- 5-5 掩码自注意力机制.mp4

- 5-6 多头注意力机制.mp4

- 5-7 【实战】手撸attention机制代码.mp4

- 5-8 【实战】手撸masked_self_attention.mp4

- 5-9 【实战】手撸MaskedMultiHeadAttention代码（1）.mp4

- 5-10 【实战】手撸MaskedMultiHeadAttention代码（2）.mp4

- 5-11 残差连接和FFN.mp4

- 5-12 【实战】手搓FFN和残差结构实现代码.mp4

- 5-13 【实战】手撸Transformer Decoder Block实现.mp4

- 5-14 【实战】手撸Transformer整体代码（一）.mp4

- 5-15 【实战】手撸Transformer整体代码（二）.mp4

- 5-16 attention机制的进化：GQA和MQA.mp4

- 5-17 【实战】手撸MQA注意力机制代码.mp4

- 5-18 【实战】手撸GQA注意力机制代码（一）.mp4

- 5-19 【实战】手撸GQA注意力机制代码（二）.mp4

### 第6章 【特征编码器Transformer】深入Transfomer中的位置编码

- 6-1 相对位置编码介绍.mp4

- 6-2 旋转位置编码理论.mp4

- 6-3 手撸旋转位置编码ROPE（1）.mp4

- 6-4 手撸旋转位置编码ROPE（2）.mp4

- 6-5 手撸旋转位置编码ROPE（3）.mp4

- 6-6 旋转位置编码的核心参数及其影响.mp4

- 6-7 旋转位置编码的变种.mp4

### 第7章 【预训练】大语言模型的预训练

- 7-1 大语言模型经典训练框架介绍.mp4

- 7-2 大模型预训练(目标与任务).mp4

- 7-3 大模型预训练(MTPL多Token预测).mp4

- 7-4 大模型预训练(预训练数据和处理).mp4

- 7-5 大模型预训练(预训练过程).mp4

- 7-6 大模型的评估体系.mp4

- 7-7 大模型代码能力的评估.mp4

- 7-8 大模型数学能力的评估.mp4

- 7-9 大模型阅读理解能力的评估.mp4

- 7-10 大模型综合评测榜单介绍.mp4

- 7-11 【实战】DeepSeek代码能力评估实战之（第一步：模型推理）.mp4

- 7-12 【实战】DeepSeek代码能力评估实战之（第二步：模型结果处理）.mp4

- 7-13 【实战】DeepSeek代码能力评估之（第三步：代码执行检查）.mp4

### 第8章 【预训练】预训练的数据工程

- 8-1 大模型预训练的数据搜集过程（数据集1）.mp4

- 8-2 大模型预训练的数据搜集过程（数据集2）.mp4

- 8-3 大模型预训练的数据搜集过程（预训练数据构造流程）.mp4

- 8-4 大模型预训练的数据处理过程（数据处理流程）.mp4

- 8-5 大模型预训练的数据处理过程（数据过滤+去重+审核）.mp4

- 8-6 大语言模型预训练的多领域数据配比与学习顺序.mp4

- 8-7 大模型安全问题.mp4

- 8-8 大模型安全挑战：新型攻击与防御.mp4

- 8-9 LLM预训练领域数据配比DoReMI深度解读.mp4

### 第9章 【预训练】预训练的硬件体系讲解

- 9-1 大模型的分布式训练集群介绍.mp4

- 9-2 大模型的分布式训练集群（参数服务器架构和去中心化架构）.mp4

- 9-3 大模型的算力基础-显卡结构深度剖析.mp4

- 9-4 大模型的算力基础-英伟达硬件架构体系（Fermi架构）.mp4

- 9-5 大模型的算力基础-英伟达硬件架构体系（Ampere架构）.mp4

- 9-6 大模型训练通信提效之Nvlink.mp4

- 9-7 大模型训练通信提效之拓扑结构.mp4

- 9-8 大模型分布式训练通信协议NCCL、GRPC、HTTP.mp4

### 第10章 【预训练】预训练的训练过程

- 10-1 大模型分布式训练概要-预训练任务与损失函数.mp4

- 10-2 实战_手撸交叉熵损失函数代码.mp4

- 10-3 大模型分布式训练之数据并行.mp4

- 10-4 大模型分布式训练之模型并行概述.mp4

- 10-5 大模型分布式训练模型并行之Embedding层并行.mp4

- 10-6 Embedding并行 代码解读.mp4

- 10-7 模型并行之深入理解矩阵乘法并行原理.mp4

- 10-8 模型并行之深入理解矩阵乘法并行代码解析.mp4

- 10-9 模型并行之深入理解交叉熵损失的并行原理.mp4

- 10-10 模型并行之深入理解交叉熵损失并行的代码.mp4

- 10-11 模型并行之深入理解流水线并行.mp4

- 10-12 分布式训练之异构系统并行.mp4

- 10-13 大模型训练显存占用分析.mp4

- 10-14 分布式训练软件框架deepspeed.mp4

- 10-15 deepspeed zero dp stage1.mp4

- 10-16 deepspeed zero dp stage2.mp4

- 10-17 deepspeed zero dp stage3.mp4

- 10-18 deepspeed zero offload.mp4

### 第11章 【后训练】有监督微调

- 11-1 大语言模型的预训练和后训练.mp4

- 11-2 大语言模型的指令微调技术.mp4

- 11-3 大模型微调的评估方法.mp4

- 11-4 大语言模型微调的数据构造.mp4

- 11-5 大语言模型中的思维链数据.mp4

- 11-6 大语言模型微调框架llamafactory.mp4

- 11-7 llama_factory全参数微调实战.mp4

### 第12章 【后训练】参数高效督微调

- 12-1 参数高效微调概述.mp4

- 12-2 深入理解lora参数高效微调的原理.mp4

- 12-3 深入理解prefix tuning和 prompt tuning.mp4

- 12-4 深入理解Adapter Tuning.mp4

- 12-5 lora参数高效微调实.mp4

### 第13章 【后训练】强化学习基础

- 13-1 人类反馈式强化学习概述.mp4

- 13-2 强化学习（基本概念+策略）.mp4

- 13-3 强化学习的基本概念（值函数）.mp4

- 13-4 贝尔曼方程介绍.mp4

- 13-5 随机策略梯度算法.mp4

- 13-6 【实战】强化学习实战之环境建模.mp4

- 13-7 【实战】强化学习实战之策略评估.mp4

- 13-8 【实战】强化学习实战之策略优化.mp4

### 第14章 【后训练】人类反馈式强化学习

- 14-1 奖励模型介绍.mp4

- 14-2 PPO算法详解(1).mp4

- 14-3 PPO算法详解(2).mp4

- 14-4 PPO算法训练过程详解.mp4

- 14-5 手撸奖励模型代码(1).mp4

- 14-6 手撸奖励模型代码(2).mp4

- 14-7 PPO算法代码深入理解.mp4

### 第15章 【DeepSeek核心技术解密】国产AI的崛起 DeepSeek核心技术突破

- 15-1 DeepSeek模型创新点介绍.mp4

- 15-2 kv cache.mp4

- 15-3 深入理解MLA机制和原理.mp4

- 15-4 手撸MLA实现代码（1）.mp4

- 15-5 手撸MLA实现代码（2）.mp4

- 15-6 深入立即MOE机制和原理.mp4

- 15-7 手撸MOE实现代码.mp4

### 第16章 【DeepSeek核心技术解密】DeepSeek V3与DeepSeek R1

- 16-1 深入理解大模型逻辑推理能力.mp4

- 16-2 深入理解思维链技术.mp4

- 16-3 深入理解GRPO算法.mp4

- 16-4 GRPO实战项目任务介绍 (2).mp4

- 16-5 辅助函数实现.mp4

- 16-6 奖励函数的设计与实现.mp4

- 16-7 数据加载与处理.mp4

- 16-8 手撸GRPO训练代码.mp4

### 第17章 【企业落地实战】赋能千行百业：大模型落地应用透析

- 17-1 大模型落地应用能力详解.mp4

- 17-2 大模型落地应用核心方法论介绍.mp4

- 17-3 大模型落地应用典型场景与案例介绍.mp4

- 17-4 大模型落地应用的挑战.mp4

### 第18章 【企业落地实战】大模型落地应用核心方法论

- 18-1 深入理解提示工程和方法论.mp4

- 18-2 深入理解RAG系统.mp4

- 18-3 理解模型量化的过程.mp4

- 18-4 大模型推理加速与vLLM.mp4

- 18-5 大模型agent基本原理.mp4

- 18-6 模型常规推理实战.mp4

- 18-7 vllm推理加速实战（1）.mp4

- 18-8 vllm推理加速实战（2）.mp4

### 第19章 【企业落地实战】Agent智能政务助手：具备十万字长文档理解

- 19-1 项目目标与需求.mp4

- 19-2 源数据搜集.mp4

- 19-3 文本向量化.mp4

- 19-4 文本向量化实战1.mp4

- 19-5 文本向量化实战2.mp4

- 19-6 数据库ES介绍及其安装.mp4

- 19-7 ES mappin构造与索引创建.mp4

- 19-8 ES数据写入.mp4

- 19-9 ES数据删除.mp4

- 19-10 写入项目数据，embedding和文本数据.mp4

- 19-11 深入介绍ES检索DSL（1）.mp4

- 19-12 深入介绍ES检索DSL（2）.mp4

- 19-13 手写naive RAG（1）.mp4

- 19-14 手写naive RAG（2）.mp4

- 19-15 手写naive RAG（3）.mp4

- 19-16 手写naive RAG（4）.mp4

- 19-17 gradio聊天对话框介绍.mp4

- 19-18 gradio hello.mp4

- 19-19 gradio 大模型对话窗口搭建.mp4

- 19-20 rag流式输出链路搭建.mp4

- 19-21 训练数据高效合成（1）.mp4

- 19-22 训练数据高效合成（2）.mp4

- 19-23 训练数据高效合成（3）.mp4

- 19-24 训练数据高效合成（4）.mp4

- 19-25 合成政务类训练数据.mp4

- 19-26 生成政务流程类训练数据及其优化.mp4

- 19-27 集中处理训练数据.mp4

- 19-28 模型微调 构造训练集测试集.mp4

- 19-29 模型微调 开始训练.mp4

- 19-30 模型微调 构造训练集测试集.mp4

- 19-31 模型微调 开始训练.mp4

- 19-32 模型训练效果测试（1）.mp4

- 19-33 模型训练结果评测（2）.mp4

### 第20章 【企业落地实战】生成公文写作系统：具备层次化多级目录万字长公文写作能力

- 20-1 公文生成项目需求分析.mp4

- 20-2 项目需求拆解与提示词构造.mp4

- 20-3 公文数据搜集（1）.mp4

- 20-4 公文数据搜集（2）.mp4

- 20-5 训练数据构造.mp4

- 20-6 开始训练公文大模型1.mp4

- 20-7 模型评测集构建与模型评估实战.mp4

- 20-8 模型训练效果分析实战.mp4

- 20-9 模型问题解决、优化分析及针对性的数据构造.mp4

- 20-10 新的训练数据合成及模型训练.mp4

- 20-11 最终模型效果评估.mp4

- 20-12 公文写作大模型总结.mp4

### 第21章 【展望与前瞻】多模态与大模型发展趋势

- 21-1 大模型的发展趋势.mp4

- 21-2 多模态大模型理论介绍.mp4

- 21-3 课程总结与就业指导.mp4

### 课件资料

- 代码（文件夹）

- 文档（文件夹）

- 软件安装包网盘地址.txt

---

**课程统计**：

- 总章节数：21章 + 课件资料

- 总课时数：约180+个视频文件

- 课程特点：理论讲解 + 代码实战 + 企业级项目落地