火星-AI虚拟数字人智能体 - UE5实时语音交互

这套资料的主题很明确：在 Unreal Engine 5 里搭一个能听、能说、能对口型的 AI 虚拟数字人。它不是那种只演示一个旋转模型的 Demo，而是把语音识别、对话生成、语音合成、口型驱动、表情与身体动画串成一条完整的实时链路，并且把工程文件、Maya 源文件和导入前的中间资产一起放了出来。对于想搞清楚"数字人到底由哪些模块拼起来"的开发者，这些源文件本身就是最有价值的部分。

技术栈与运行链路

• 引擎层用 UE5，负责渲染、蓝图逻辑、动画蓝图与音频采集播放，实时性由引擎侧的 Tick 与音频线程保证。
• 语音输入到文本：负责拾音与 ASR，把麦克风数据转成可被下游消费的文本流。
• 文本到大模型：把识别结果连同人设提示词提交给对话模型，拿回回复文本。
• 文本到语音：TTS 生成音频片段，同时给出音素或时间戳信息。
• 口型与表情驱动：用音素/时间戳映射到 Morph Target 或面部骨骼，驱动嘴型、眨眼与基础情绪。

这条链路的关键不在单点，而在延迟与同步。ASR 尾点检测早一点会截断句子，晚一点整段交互就发木；TTS 音频与口型曲线如果不同源，对不上就是"配音感"的来源。看这份工程时，建议重点看这几处的时序处理，而不是只看最终效果。

工程结构可以怎么读

资产侧给了两个角色（women001、women002）的成品与分件模型，包含带面部绑定的 FBX 与 Maya 源文件，另外还有"导入前工程文档"这一层。这个分法很实用：Maya 源文件用来对照面部绑定与 BS 权重是怎么做的，导入前的中间版本用来排查缩放、朝向、骨骼命名这些在导入 UE 时最容易翻车的问题，最终 FBX 才是引擎里实际用的那一份。如果你自己的角色导入后面部塌陷、Blend Shape 丢失或朝向不对，拿这三份逐层比对，比盲搜论坛快得多。

蓝图与资产目录建议按"数据流"而非"文件类型"去读：输入采集节点在哪、请求在哪里发出、TTS 回包在哪里被解析、动画蓝图从哪里取口型权重。把这条路径在蓝图里追一遍，比看目录树更能理解作者的意图。网络请求部分通常绕不开 HTTP 或 WebSocket，注意看它是放在 GameInstance 还是 Actor 上——这决定了场景切换时对话状态会不会被冲掉。

可复用的模块

• 语音采集与分包：可以单独抽出来做任何需要实时麦克风输入的 UE 项目。
• 异步请求封装：ASR/LLM/TTS 三次调用都涉及异步与超时，这套模式换掉服务商依然成立。
• 口型映射表：音素到 Morph Target 的映射是纯数据，替换角色后仍可复用，只需重调权重。
• 状态机：空闲、聆听、思考、说话几个状态的切换逻辑，是数字人"像活人"的关键，也是最容易迁移到别的角色上的部分。

自学路径建议

不要一上来就整体跑通。先只做"麦克风进、文本出"，确认 ASR 可用；再单独做"文本进、语音出"，确认 TTS 和音频播放正常；然后把两段拼起来，此时你会发现延迟问题开始暴露；最后才接入口型与表情，并花时间调音素到嘴型的映射曲线。这个顺序能把问题隔离开，避免三个服务同时报错时无从下手。面部绑定部分如果本身不熟，建议先在 Maya 里看懂 BS 是怎么建的，再回 UE 看动画蓝图怎么用，理解会顺很多。

这套资料适合拿来对照实践：先读结构，再动手改一个参数看结果，而不是被动地顺着视频往下看。工程文件和 Maya 源文件的存在，意味着你可以随时停下来拆开某一层单独验证，这正是它比纯视频教程更值得反复翻的地方。