极客时间付费 AI大模型应用开发实战营第7期

这门课的主题很明确：把大模型从「会调 API」推进到「能落一个可维护的应用」。第 7 期覆盖的内容从国产开源模型 ChatGLM3-6B 的本地部署，一直延伸到 OpenAI 接口的工程化封装，中间夹着硬件选型、推理服务、向量检索和业务接入。它不适合当作科普看，更适合你已经有一个想做的 AI 功能、需要找工程参照时对照着读。

技术栈的跨度：从国产开源到闭源 API

课程把 ChatGLM3-6B 作为开源侧的主线，这一点对国内开发者比较实用。你会看到智谱 GLM 家族的模型分层，以及 ChatGLM3-6B 在不同显存条件下的加载方式、量化方案和推理参数。这条线的价值在于：它逼你处理真实环境里的问题——显存不够怎么办、batch 怎么设、流式输出怎么接。转到 OpenAI 一侧后，重点从「怎么跑起来」变成「怎么封装得稳」，包括请求重试、超时控制、token 计费估算、多模型路由。两条线并排看，你会更容易判断一个需求该用自托管还是走 API。

项目结构：应用层比模型层更值得抄

大模型应用开发的坑，多半不在模型本身，而在模型外面那层。课程里 ChatGLM3-6B 的应用开发部分，围绕的是一个完整的服务形态：模型加载与生命周期管理、推理接口的抽象、上下文与会话状态的处理、前端或客户端的对接方式。这些模块拆开看都不复杂，但组合起来就是一套可以直接搬进自己项目的骨架。建议对照时重点看三处：模型实例是单例还是按请求创建、会话历史存在哪一层、异常和降级怎么处理。这三点决定了你的应用能不能扛住并发和长对话。

可复用模块与硬件选型

硬件选型这块在同类课程里不常见，但很实际。6B 级别的模型在不同显卡、不同精度下的显存占用差异很大，课程给了可参考的区间，方便你在采购或租用云实例前先算一笔账。可复用的部分主要是几类：推理服务的封装代码、提示词模板的组织方式、向量库接入与检索增强的流程、以及把模型能力包成业务函数的写法。这些不是示例玩具，而是按工程习惯组织的，拿过来改改就能接进自己的后端。

怎么用这份资料自学

• 先跑通一条最小链路：本地起 ChatGLM3-6B，发出一次请求拿到返回，确认环境和显存没问题。
• 再读应用层代码，把会话管理、接口抽象、异常处理这三块单独拎出来理解，不要一上来就通读。
• 然后对照 OpenAI 部分，比较两种接入方式在重试、限流、成本控制上的差异，形成自己的选型判断。
• 最后找一个自己的小需求——比如文档问答或内部助手——把课程里的模块拼一遍，跑通比看完更重要。

需要提醒的是，模型迭代很快，ChatGLM3-6B 这类具体版本会过时，但课程里那套「加载—封装—检索—接入」的结构不会。把它当成一份工程参照，边看边改自己的代码，比单纯刷视频有效得多。