强化学习实战系列（2020新版）|唐宇迪

后端开发

课程简介

已有 0 人浏览发布 2026-10-07 更新 2026-10-07

强化学习常被简化为调用开源库的“黑盒”操作，导致开发者在面对实际业务时，往往陷入只会跑通脚本却无法理解内部逻辑的困境。本系列课程的核心价值在于拆解主流算法背后的数学推导与工程实现细节，重点解决“如何从环境交互数据中构建稳定的策略梯度”这一痛点。它不依赖昂贵的 GPU 集群，而是通过通俗的图解与代码实战，帮助学习者厘清“状态-动作-奖励”闭环中的张量变换与梯度计算逻辑，让你明白 PPO 算法中裁剪机制为何能有效抑制策略更新步长，避免训练过程中的不稳定震荡。这种从原理到代码的贯通，是单纯阅读论文或调参所无法提供的工程视角。

入门门槛与建议学习顺序

基础要求与路径规划

该课程适合具备扎实的 Python 编程能力，熟悉 NumPy 矩阵运算，并对监督学习中的损失函数、反向传播及梯度下降概念有基本认知的开发者。无需深厚的微积分背景，但需具备跟随公式推导并转化为代码逻辑的耐心。建议首先观看第一章，重点建立对强化学习工作流程的整体直觉，理解计算机如何定义“状态”与“动作”空间，这一步是后续所有算法实现的基石。随后应立即进入第二章，集中精力攻克 PPO 算法的公式推导部分，详细分析目标函数的构成及各项参数的物理意义，这是连接理论与工程的关键节点。
在完成理论推导后，再结合课程中的代码实战部分进行复现。建议采取“逐章验证”的策略，每学完一个理论模块，立即在本地环境运行对应代码，尝试修改奖励函数或网络结构，观察训练曲线的变化。这种“理论-代码-实验”的闭环学习法，能帮助你深刻理解超参数调整对最终策略性能的具体影响，避免陷入盲目调参的误区。

学完产出与资料配合实践

独立开发能力与资料利用

学完本系列课程后，你将具备独立搭建强化学习训练管线的能力。你不再仅仅是调用高级 API 的“调包侠”，而是能够针对特定场景（如简单的网格世界或连续控制任务）编写自定义环境接口，实现 PPO 算法的核心更新逻辑，并具备诊断常见问题（如策略熵坍塌、奖励稀疏导致收敛慢）的工程手段。资料包中的代码实战部分是学习的关键抓手，建议将其作为练习场而非仅仅是参考示例。你可以将这些代码模块拆解为独立的工具类，例如封装一个通用的“经验回放池”或“策略网络前向传播”模块，然后在不同的测试案例中复用它们。通过对比不同网络架构下的训练效率，或调整学习率对收敛速度的影响，你可以积累起一套属于自己的强化学习工程直觉。这种从代码阅读到模块重构，再到独立项目实战的递进过程，正是将知识转化为实际生产力的关键路径。

课程介绍

强化.png (92.35 KB, 下载次数: 0) 2023-9-2 09:50 上传课程简介：强化学习系列课程主要包括经典算法原理讲解与案例实战两大部分。通俗讲解当下主流强化学习算法思想，结合实例解读算法整理应用流程并结合案例展开代码实战。整体风格通俗易懂，适合准备入门强化学习并进阶提升的同学们。课程目录：第1章强化学习简介及其应用(39分钟7节) 1-1课程介绍[02:54] 1-2一张图通俗解释强化学习[04:47] 1-3强化学习的指导依据[07:07] 1-4强化学习AI游戏DEMO[04:48] 1-5应用领域简介[06:28] 1-6强化学习工作流程[05:48] 1-7计算机眼中的状态与行为[07:25] 第2章PPO算法与公式推导(1小时11分钟8节) 2-1基本情况介绍[11:17] 2-2与环境交互得到所需数据[08:30] 2-3要完成的目标分析[10:4

课程目录

强化.png (92.35 KB, 下载次数: 0) 2023-9-2 09:50 上传 课程简介： 强化学习系列课程主要包括经典算法原理讲解与案例实战两大部分。通俗讲解当下主流强化学习算法思想，结合实例解读算法整理应用流程并结合案例展开代码实战。整体风格通俗易懂，适合准备入门强化学习并进阶提升的同学们。 课程目录：
第1章强化学习简介及其应用(39分钟7节) 1-1课程介绍[02:54] 1-2一张图通俗解释强化学习[04:47] 1-3强化学习的指导依据[07:07] 1-4强化学习AI游戏DEMO[04:48] 1-5应用领域简介[06:28] 1-6强化学习工作流程[05:48] 1-7计算机眼中的状态与行为[07:25]
第2章PPO算法与公式推导(1小时11分钟8节) 2-1基本情况介绍[11:17] 2-2与环境交互得到所需数据[08:30] 2-3要完成的目标分析[10:40] 2-4策略梯度推导[09:01] 2-5baseline方法[06:10] 2-6OnPolicy与OffPolicy策略[07:44] 2-7importance sampling的作用[08:31] 2-8PPO算法整体思路解析[09:19]
第3章策略梯度实战-月球登陆器训练实例(56分钟6节) 3-1Critic的作用与效果[10:39] 3-2PPO2版本公式解读[11:45] 3-3参数与网络结构定义[08:04] 3-4得到动作结果[07:17] 3-5奖励获得与计算[08:08] 3-6参数迭代与更新[11:03]
第4章Q-learning算法(39分钟5节) 4-1算法原理通俗解读[07:11] 4-2目标函数与公式解析[10:07] 4-3Qlearning算法实例解读[07:45] 4-4Q值迭代求解[08:59] 4-5DQN简介[05:07]
第5章DQN算法实例演示(25分钟4节) 5-1整体任务流程演示[05:21] 5-2探索与action获取[06:58] 5-3计算target值[05:17] 5-4训练与更新[08:12]
第6章DQN改进与应用技巧(33分钟5节) 6-1DoubleDqn要解决的问题[06:47] 6-2DuelingDqn改进方法[06:26] 6-3Dueling整体网络架构分析[08:27] 6-4MultiSetp策略[03:45] 6-5连续动作处理方法[08:23]
第7章Actor-Critic算法分析(A3C)(34分钟5节) 7-1AC算法回顾与知识点总结[07:18] 7-2优势函数解读与分析[07:12] 7-3计算流程实例[05:50] 7-4A3C整体架构分析[06:01] 7-5损失函数整理[08:32]
第8章A3C算法玩转超级马里奥(48分钟6节) 8-1整体流程与环境配置[05:38] 8-2启动游戏环境[06:59] 8-3初始化局部模型并加载参数[08:05] 8-4要计算的指标回顾[09:01] 8-5与环境交互得到训练数据[09:31] 8-6训练网络模型[09:39]
第9章算法补充-卷积神经网络原理与参数解读(1小时25分钟12节) 9-1卷积神经网络应用领域[07:24] 9-2卷积的作用[09:23] 9-3卷积特征值计算方法[08:07] 9-4得到特征图表示[06:58] 9-5步长与卷积核大小对结果的影响[08:11] 9-6边缘填充方法[06:30] 9-7特征图尺寸计算与参数共享[07:02] 9-8池化层的作用[05:38] 9-9整体网络架构[06:20] 9-10VGG网络架构[06:16] 9-11残差网络Resnet[07:41] 9-12感受野的作用[05:46]
第10章基础补充-PyTorch框架基本处理操作(1小时8分钟8节) 10-1PyTorch框架发展趋势简介[08:25] 10-2框架安装方法（CPU与GPU版本）[05:13] 10-3PyTorch基本操作简介[09:25] 10-4自动求导机制[10:59] 10-5线性回归DEMO-数据与参数配置[08:56] 10-6线性回归DEMO-训练回归模型[10:08] 10-7常见tensor格式[07:10] 10-8Hub模块简介[08:25]
第11章基础补充-PyTorch图像识别实例(2小时4分钟16节) 11-1卷积网络参数定义[07:21] 11-2网络流程解读[07:26] 11-3Vision模块功能解读[05:10] 11-4分类任务数据集定义与配置[06:27] 11-5图像增强的作用[04:51] 11-6数据预处理与数据增强模块[09:25] 11-7Batch数据制作[08:37] 11-8迁移学习的目标[05:31] 11-9迁移学习策略[07:11] 11-10加载训练好的网络模型[09:54] 11-11优化器模块配置[05:14] 11-12实现训练模块[08:15] 11-13训练结果与模型保存[09:31] 11-14加载模型对测试数据进行预测[09:10] 11-15额外补充-Resnet论文解读[11:47] 11-16额外补充-Resnet网络架构解读开始学习