摩尔摩尔兄弟嵌入式音视频企业级RV1126项目开发

这门课的主题很明确：围绕瑞芯微 RV1126 这颗面向 IPC 与边缘视觉的 SoC，把音视频链路上从采集、处理到编码、封装的整条数据通路拆开讲一遍，并且用项目的形式串起来。它不适合零基础看热闹，更适合已经在做嵌入式 Linux、接触过 V4L2 或海思/瑞芯微平台、想搞清楚「一路摄像头数据到底怎么变成可用的码流」的开发者拿来对照实践。

技术栈与硬件前提

RV1126 的定位决定了它的技术栈组合。CPU 侧是四核 Cortex-A7 加一颗 RISC-V 协处理器，NPU 提供 2Tops 算力，视频部分依靠独立的 VPU 完成 H.264/H.265 编解码，图像处理链路上有 ISP、RGA 等硬件模块。课程内容基本是围着这些模块转的：VI 负责从 sensor 拿数据，ISP 做 3A 与图像调优，RGA 做缩放、格式转换、旋转这类 2D 加速，VENC 出码流，再往上才是封装与传输。音频侧同样有独立的 AI/AO 与编码通道。

如果你之前只在应用层调过 FFmpeg 命令行，这门课会把你往下压一层——你要面对的是 ioctl、buffer 队列、DMA 内存、硬件同步这些更底层的东西。这也是它区别于普通「音视频入门」的地方：不是教你怎么调 API，而是教你怎么让硬件跑起来并且跑稳。

课程结构上的取舍

从章节划分看，主线集中在视频模块。前半段铺垫硬件模块的原理，比如 OSD 叠加是怎么在硬件层实现的、GOP 模式如何影响画面质量和码率波动、RGA 在整条链路里承担什么角色；后半段进入工程化处理，典型如用多线程拉取 VENC 输出的 H.264 码流数据，以及多路码流的监控与管理。这种「原理—单模块验证—多路集成」的顺序，比较贴近实际项目的推进节奏。

值得留意的是它没有把时间平均分配。音频和 FFmpeg 相关的内容相对克制，重点放在与视频链路的配合上，比如编码封装、多路码流的组织。这对做 IPC、NVR、车载记录仪这类以视频为主的产品是合理的取舍，但如果你主攻音频算法，需要自行补课。

可复用的工程模块

真正有复用价值的，是几类可以独立抽出来的代码结构：

• 基于 V4L2 的采集与 buffer 管理，处理多平面格式与帧同步。
• VENC 通道的建立、参数配置与码流回调，包括按通道区分主码流/子码流。
• 多线程消费码流的模型，解决采集、编码、发送之间速率不匹配的问题。
• RGA 与 OSD 的叠加处理，用于在编码前完成图像合成，避免走 CPU 拷贝。
• 码流的封装与分发，通常是 RTSP 或自定义传输协议的上层接口。

这些模块的边界相对清晰，抽出来放到别的 RV1126 项目里改动量不大，也方便替换成其他平台的同类实现做对比。建议在看的过程中同步把接口层和硬件操作层分开记录，后面迁移时省事。

怎么用它自学

比较有效的用法是：先通读原理部分，把数据在硬件模块之间的流向画成一张图，标出每一级的输入输出格式和内存属性；然后挑一个最小目标，比如「单路 sensor 出 H.264 并保存成文件」，自己动手打通；再逐步加上 RGA 缩放、OSD 叠加、多路并发。遇到卡点时回到对应章节核对配置，而不是从头顺着看。

需要提前准备的是 RV1126 开发板、可用的 SDK 与交叉编译环境，以及一台能跑调试工具的 Linux 主机。没有硬件的话，这门课的多数内容只能停留在理解层面，价值会打不少折扣。

总体而言，这份资料适合当作工程参考来对照，边看边改边验证，而不是当成视频课从头到尾刷一遍。它给的是硬件模块的使用方式和链路组织思路，剩下的部分要靠你自己的板子和项目去填。