LLM 推理优化与部署实战

课程简介

已有 2 人浏览发布 2026-09-14 更新 2026-09-20

这门《LLM 推理优化与部署实战》的定位比较明确：它不讲模型怎么训练，而是把注意力放在模型训完之后那一段常被忽略的工程链路——怎么让一个几十 GB 的权重文件在有限显存里跑起来、怎么把单次请求的延迟压下去、怎么把服务包成容器对外提供稳定接口。对于已经会用 Transformers 加载模型、但一上生产就遇到 OOM 或吞吐瓶颈的开发者，这个主题的针对性很强。

技术栈覆盖的实际范围

从主题推断，资料包涉及的技术面大致落在几个层次。模型加载与服务层会碰到 Hugging Face Transformers、vLLM、TGI 这类推理框架的选型与配置；显存与计算优化层会涉及量化（GPTQ、AWQ、INT8/INT4）、KV Cache 管理、PagedAttention、连续批处理（continuous batching）等具体机制；部署层则落到 Docker 容器化、镜像体积控制、GPU 资源声明、健康检查与服务暴露。这几层不是并列关系，而是从「模型能不能装下」到「服务能不能扛住并发」的递进关系，学习时按这个顺序推进会比跳着看更顺。

项目结构与可复用模块

这类实战资料的价值往往不在视频本身，而在于它给出的工程骨架。值得重点关注的是三块可复用内容：一是推理服务的启动配置，包括 batch size、max tokens、显存占用比例这些参数的取值逻辑，它们直接决定服务在特定卡型上的表现；二是量化流程，从原始权重到量化权重的转换步骤、校准数据的选择、精度损失的验证方法，这套流程换一个模型基本可以照搬；三是容器化部分，Dockerfile 的分层策略、基础镜像选择、模型权重是打进镜像还是挂载，这些决策会直接影响部署和迭代效率。建议把这几块单独抽出来，做成自己能复用的模板，而不是跟着视频敲一遍就过。

怎么用这份资料对照实践

如果只是被动看讲解，很容易产生「听懂了但跑不起来」的错觉。更有效的做法是准备一台带 GPU 的环境（本地卡或云上按量实例都行），选定一个参数量适中的开源模型作为固定实验对象，然后按章节逐步替换自己的实现：先跑通基线推理，记录延迟和显存占用；再引入量化，对比优化前后的数值差异和速度变化；最后套上容器，验证服务能否在干净环境中启动。每一步都保留自己的 benchmark 数据，这些数据比任何结论都更能说明问题。配套的章节笔记适合在每完成一个阶段后用来核对遗漏点，也方便后续快速回顾关键配置。

适合的读者与前置要求

这份资料更适合已经具备 Python 工程能力、了解 Transformer 基本结构、手上至少跑过一次模型推理的开发者。如果对 CUDA、显存分配、并发模型这些概念完全陌生，前期会比较吃力，建议先补齐操作系统和并行计算的基础认知。反过来，如果你已经在做 AI 应用或 RAG 系统，正卡在推理成本和响应速度上，这里涉及的量化、批处理和容器化正好是能直接落到项目里的部分。整体上，把它当作一份工程参考手册来用，边看边对照自己的服务做优化，收益会比单纯刷完课程大得多。

LLMtlyhybs_ql_1.webp (18.64 KB, 下载次数: 271) 下载附件   保存到相册 LLM 推理优化与部署实战 (图1) 2026-1-14 14:54 上传

课程推荐

《LLM 推理优化与部署实战》LLMtlyhybs_ql_1.webp (18.64 KB, 下载次数: 271) 下载附件   保存到相册 LLM 推理优化与部署实战 (图1) 2026-1-14 14:54 上传【技能收获】学完可掌握：Docker / 容器化。课程以实战为导向，覆盖从基础概念到完整项目落地的关键步骤，配套章节笔记便于课后复盘与面试前快速回顾。【学习建议】建议按目录顺序学习，先打基础再进入综合实战章节；每完成 2～3 节可结合笔记整理一份学习小结，最终尝试独立复现一套完整 Demo 写入个人作品集。【就业发展】可面向岗位：AI 应用工程师、RAG 系统开发、Java 后端 + 大模型落地、企业知识库架构师。大模型应用岗需求持续走高，具备「后端 + RAG 落地」复合能力的人才在招聘市场更稀缺，简历中可突出完整项目链路而非仅会使用 API。若你已有一定编程或运维基础，本课程可帮助你在现有技能栈上快速叠加热门方向能力，提升求职时的项目说服力与薪资谈判空间。

视频目录（66 节）

* 1-1 课程内容介绍.mp4

* 1-2 LLM推理基础-预填充与解码阶段.mp4

* 1-3 LLM推理基础-推理阶段与KVCache的关系.mp4

* 1-4 LLM推理基础-生成KVCache过程推演.mp4

* 1-5 LLM推理基础-为何需要对KVCache优化.mp4

* 1-6 LLM推理基础-如何估算模型占用内存.mp4

* 1-7 LLM推理基础-GPU内部运算原理与推理机制的关系.mp4

* 1-8 LLM推理基础-列举LLM存储介质以及如何搬运参数.mp4

* 1-9 LLM推理基础-优化思路-参数量化-运行时加速-IO优化.mp4

* 1-10 LLM推理基础-章节总结.mp4

* 1-11 LLM性能指标-内容介绍.mp4

* 1-12 LLM性能指标-推理评估指标全景图.mp4

* 1-13 LLM性能指标-首词生成时间.mp4

* 1-14 LLM性能指标-每词生成时间.mp4

* 1-15 LLM性能指标-端到端的请求时间.mp4

* 1-16 LLM性能指标-系统吞吐量TPS.mp4

* 1-17 LLM性能指标-业务指标SLO.mp4

* 1-18 LLM性能指标-评测过程与评测工具.mp4

* 1-19 LLM性能指标-章节总结.mp4

* 1-20 模型压缩-内容介绍.mp4

* 1-21 模型压缩-压缩策略-量化-剪枝-蒸馏.mp4

* 1-22 模型压缩-模型量化-参数存储空间的组成.mp4

* 1-23 模型压缩-模型量化前后使用的方法AWQ与GPTQ.mp4

* 1-24 模型压缩-AWQ针对PPL的实验结果.mp4

* 1-25 模型压缩-AWQ量化过程与实现-.mp4

* 1-26 模型压缩-GPTQ量化过程以及优化IO策略.mp4

* 1-27 模型压缩-GPTQ量化工具与实践.mp4

* 1-28 模型压缩-剪枝分类和过程详解.mp4

* 1-29 模型压缩-模型蒸馏分类和应用场景.mp4

* 1-30 模型压缩-章节总结.mp4

* 1-31 运行时加速方案-内容介绍.mp4

* 1-32 运行时加速方案-多头注意力机制原理与弊端.mp4

* 1-33 运行时加速方案-多头注意力计算过程与分析.mp4

* 1-34 运行时加速方案-MQA与GQA机制以及性能比较.mp4

* 1-35 运行时加速方案-GPU运算与数据传输分析.mp4

* 1-36 运行时加速方案-FlashAttention切块和算子.mp4

* 1-37 运行时加速方案-PagedAttention原理解析.mp4

* 1-38 运行时加速方案-持续批处理原理解析.mp4

* 1-39 运行时加速方案-核心推理框架选型.mp4

* 1-40 运行时加速方案-章节总结.mp4

* 1-41 推理部署实战指导与总结.mp4

* 2-1 vLLM产品介绍.mp4

* 2-2 vLLM分布式推理.mp4

* 2-3 显卡驱动安装与配置.mp4

* 2-4 Docker进行vLLM模型安装与部署.mp4

* 2-5 测试vLLM部署的大模型.mp4

* 2-6 vLLM分布式部署思路.mp4

* 2-7 系统构建网络配置和框架安装.mp4

* 2-8 Head和Worker节点配置创建推理集群.mp4

* 2-9 测试vLLM分布式部署.mp4

* 3-1 量化实战-量化目的与结果介绍.mp4

* 3-2 量化实战-思路与实战步骤讲解.mp4

* 3-3 量化实战-了解硬件架构量化工具.mp4

* 3-4 量化实战-安装WSL与Conda.mp4

* 3-5 TensorRT模型优化器安装与配置.mp4

* 3-6 NVFP4量化格式.mp4

* 3-7 模型量化脚本解析与校准数据集.mp4

* 3-8 模型量化以及结果查看.mp4

* 3-9 测试量化之后模型查看返回结果.mp4

* 3-10 介绍EvalScope与Perf命令组成.mp4

* 3-11 使用EvalScope评测量化模型.mp4

* 3-12 介绍LLMCompressor量化工具.mp4

* 3-13 安装LLMCompressor.mp4

* 3-14 使用LLMCompressor对GPTQ-AWQ-NV.mp4

* 3-15 针对两种量化工具比较四种量化结果.mp4

* 3-16 量化实战-课程总结.mp4