github.com/changyeyu/LLM-RL-Visualized @main

  

---

简 介

🎉 原创 100+ 架构图，系统讲解大模型、强化学习，涵盖：LLM / VLM 等大模型原理、训练算法（RL、RLHF、GRPO、DPO、SFT 与 CoT 蒸馏等）、效果优化与 RAG 等。

🎉 关于架构图更详细的解读可参考：《大模型算法：强化学习、微调与对齐》 (豆瓣高分，多次京东AI图书Top 5 ！)

🎉 本仓库长期勘误、追加，欢迎点击仓库顶部的 Star ⭐ 关注，感谢鼓励✨

🎉 单击图片可看高清大图，或浏览仓库目录中的 .svg 格式矢量图（活图，可无限缩放、可选择文字）

---

目 录

第1部分：大模型、强化学习的技术全景图

• 大模型算法总体架构（以LLM、VLM为主）
• 强化学习算法图谱 (rl‑algo‑map).pdf——全网最大！
• LLM结构总图——全网最大！
• 策略梯度(Policy Gradient)-强化学习(PPO&GRPO等)之根基.pdf

第2部分：大模型基础

• LLM（Large Language Model）结构
• LLM生成与解码（Decoding）过程
• LLM输入层
• LLM输出层
• 多模态模型结构（VLM、MLLM …）
• LLM训练流程

第3部分：SFT（有监督微调）

• 微调（Fine‑Tuning）技术分类
• LoRA（1 of 2）
• LoRA（2 of 2）
• Prefix‑Tuning
• TokenID与词元的映射关系
• SFT的Loss（交叉熵）
• 指令数据的来源
• 多个数据的拼接（Packing）

第4部分：DPO（直接偏好优化）

• RLHF与DPO的训练架构对比
• Prompt的收集
• DPO（Direct Preference Optimization）
• DPO训练全景图
• β参数对DPO的影响
• 隐式奖励差异对参数更新幅度的影响

第5部分：免训练的大模型优化技术

• CoT（Chain of Thought）与传统问答的对比
• CoT、Self‑consistency CoT、ToT、GoT
• 穷举搜索（Exhaustive Search）
• 贪婪搜索（Greedy Search）
• 波束搜索（Beam Search）
• 多项式采样（Multinomial Sampling）
• Top‑K采样（Top‑K Sampling）
• Top‑P采样（Top‑P Sampling）
• RAG（检索增强生成, Retrieval‑Augmented Generation）
• 功能调用（Function Calling）

第6部分：强化学习（RL）基础

• 强化学习(Reinforcement Learning, RL)的发展历程
• 三大机器学习范式
• 强化学习的基础架构
• 强化学习的运行轨迹
• 马尔可夫链 vs 马尔可夫决策过程（MDP）
• 探索与利用问题（Exploration and Exploitation）
• Ɛ‑贪婪策略下使用动态的Ɛ值
• 强化学习训练范式的对比
• 强化学习算法分类
• 回报（累计奖励，Return）
• 反向迭代并计算回报 G
• 奖励（Reward）、回报（Return）、价值（Value）的关系
• 价值函数 Qπ 与 Vπ 的关系
• 蒙特卡洛（Monte Carlo，MC）法预估状态 St 的价值
• TD 目标与 TD 误差的关系（TD target and TD error）
• TD(0)、多步 TD 与蒙特卡洛的关系
• 蒙特卡洛方法与 TD 方法的特性
• 蒙特卡洛、TD、DP、穷举搜索的关系
• 两种输入输出结构的 DQN（Deep Q-Network）模型
• DQN 的实际应用示例
• DQN 的“高估”问题
• 基于价值 vs 策略（Value-Based vs Policy-Based）
• 策略梯度（Policy Gradient）
• 多智能体强化学习（MARL，Multi-agent reinforcement learning）
• 多智能体 DDPG
• 模仿学习（IL，Imitation Learning）
• 行为克隆（BC，Behavior Cloning）
• 逆向强化学习（IRL，Inverse RL）
• 有模型（Model-Based） vs 无模型（Model-Free）
• 封建等级强化学习（Feudal RL）
• 分布价值强化学习（Distributional RL）

第7部分：策略优化架构及衍生算法

• Actor‑Critic 架构
• 引入基线与优势函数 A （Advantage）的作用
• GAE（广义优势估计,Generalized Advantage Estimation）算法
• PPO（Proximal Policy Optimization）算法的演进
• TRPO（Trust Region Policy Optimization）及其置信域
• 重要性采样（Importance sampling）
• PPO‑Clip
• PPO训练中策略模型的更新过程
• PPO 伪代码
• PPO 与 GRPO
• 确定性 vs 随机性策略（Deterministic policy vs. Stochastic policy）
• 确定性策略梯度（DPG）
• DDPG（Deep Deterministic Policy Gradient）

第8部分：RLHF 与 RLAIF

• 语言模型的强化学习建模
• RLHF 的两阶段式训练流程
• 奖励模型（RM）结构
• 奖励模型的输入输出
• 预测偏差与 Loss 的关系
• 奖励模型的训练
• PPO 中四种模型的合作关系
• PPO 中四种模型的结构与初始化
• 双头结构的价值模型
• 共享底座的四种模型
• PPO 输入与输出
• PPO 中的 KL 距离计算
• 基于 PPO 的 RLHF 原理图
• 拒绝采样（Rejection Sampling）微调
• RLAIF 与 RLHF 的区别
• Claude模型应用的宪法AI（CAI）原理
• OpenAI RBR（基于规则的奖励）

第9部分：逻辑推理（Reasoning）能力优化

• 基于 CoT 的知识蒸馏（Knowledge Distillation）
• 基于 DeepSeek 进行蒸馏
• ORM 和 PRM（结果奖励模型和过程奖励模型）
• MCTS 每次迭代的四个关键步骤
• MCTS 的运行过程
• 语言场景下的搜索树示例
• BoN（Best‑of‑N）采样
• 多数投票（Majority Vote）方法
• AlphaGo Zero 性能增长趋势

第10部分：大模型基础拓展

• 大模型性能优化技术图谱
• ALiBi 位置编码
• 传统的知识蒸馏
• 数值表示、量化（Quantization）
• 常规训练的前向/反向过程
• 梯度累积（Gradient Accumulation）
• Gradient Checkpoint（梯度重计算）
• Full recomputation(完全重计算)
• LLM Benchmark
• MHA、GQA、MQA、MLA
• RNN
• Pre‑norm 与 Post‑norm
• BatchNorm 与 LayerNorm
• RMSNorm
• 剪枝（Prune）
• 温度系数的作用
• SwiGLU
• AUC、PR、F1、Precision、Recall
• RoPE 位置编码
• RoPE 对序列位置与各维度的作用

第11部分：附录与引用

• 所有架构图的文字详解✍️、更多架构图🖼️
• 书籍参考文献
• 用于参考文献（引用格式）
• BibTeX（引用格式）

---

大模型算法总体架构（以LLM、VLM为主）

强化学习算法图谱 (rl-algo-map).pdf——全网最大！

• 本人历时数天、呕心沥血之作，点击本仓库右上角 ↗ 的 Star ⭐ ，就是对我最大的鼓励啦！
• 下图仅为预览图，高清图见： 强化学习算法图谱 (rl-algo-map).pdf

【LLM基础】LLM结构总图——全网最大！

• 本人历时几十个小时、呕心沥血之作，点击本仓库右上角 ↗ 的 Star ⭐ ，就是对我最大的鼓励啦！
• LLM主要有Decoder-Only（仅解码器）或MoE（Mixture of Experts, 专家混合模型）两种形式，两者在整体架构上较为相似，主要区别为MoE在FFN（前馈网络）部分引入了多个专家网络。

策略梯度(Policy Gradient)-强化学习(PPO&GRPO等)之根基.pdf

• 手撕推导 RL 核心理论之一 ，图灵奖得主 Sutton 提出。
• 大模型训练算法之根基（被ChatGPT、DeepSeek 等广泛使用的 PPO 和 GRPO 算法都是基于策略梯度）。
• 很重要 但常常被混淆的一部分内容，我重新推导公式、画原理图解释了一下（窄版排版） : 策略梯度(Policy Gradient)-强化学习(PPO&GRPO等)之根基.pdf

【LLM基础】LLM（Large Language Model）结构

• LLM主要有Decoder-Only（仅解码器）或MoE（Mixture of Experts, 专家混合模型）两种形式，两者在整体架构上较为相似，主要区别为MoE在FFN（前馈网络）部分引入了多个专家网络。
• 一个典型的LLM结构，可分为三部分——输入层、多层Decoder堆叠结构和输出层（包括语言模型头与解码模块）

【LLM基础】LLM生成与解码（Decoding）过程

• 解码策略是决定最终输出文本流畅性、多样性及整体表现的核心因素。常见的解码算法包括：贪婪搜索、波束搜索（Beam Search）及其衍生算法、多项式采样、Top-K采样、Top-P采样、对比搜索（Contrastive Search）、投机解码（Speculative Decoding）、前瞻解码（Lookahead Decoding）、DoLa解码等。
• LLM的输出层负责根据概率分布，应用解码算法确定最终预测的下一个/N个词元。
• 根据概率分布，应用解码策略（例如随机采样或选择最大概率）确定最终预测的下一个词元。例如，在贪婪搜索解码策略下，选择概率最高的词元“我”作为预测结果。
• 每一个token（词元）的生成都需要重新走一遍所有层Transformer结构。
• 这里只展示了每次预测一个词元的方案，也有一次性预测多个词元的方案，详见《大模型算法：强化学习、微调与对齐》第四章。

【LLM基础】LLM输入层

• LLM的输入层将输入文本转换为多维数值矩阵（Tensor，张量），以便送往模型主体结构进行计算。

【LLM基础】LLM输出层

LLM的输出层负责根据隐藏状态（多维数值矩阵）预测下一个词元（文本）。处理流程如图所示： - （1）输入隐藏状态：Decoder最后一层的隐藏状态（Hidden States）作为LLM输出层的输入。如图中所示维度为3×896的数值矩阵，包含了前缀序列的所有语义信息。 - （2）语言模型头（LM Head）：通常是一个全连接层，用于将隐藏状态转换为Logits（推理时只计算最后一个位置的Logits）。如图所示，Logits的形状为3×151936，对应于词表中每个词元的得分。 - （3）提取最后位置的Logits：预测下一个词元仅依赖于前缀序列最后一个位置的Logits，因此需要从所有位置的Logits中提取最后一个位置的Logits。如图所示，提取得到一个151936维的向量 [2.0, 3.1, −1.7, ... , −1.7]，用于后续预测。 - （4）转换为概率分布（Softmax）：通过Softmax函数将Logits转换为概率分布，得到词表中每个词元的概率。例如，生成的151936维概率向量为[0.01, 0.03, 0.001, ... , 0.001]，该向量内所有概率之和为1。概率值越大，表示该词元作为下一个词元的可能性越高。例如，“我”的概率为0.34。 - （5）解码（Decoding）：根据概率分布，应用解码策略（例如随机采样或选择最大概率）确定最终预测的下一个词元。例如，在贪婪搜索解码策略下，选择概率最高的词元“我”作为预测结果。

【LLM基础】多模态模型结构（VLM、MLLM ...）

多模态模型根据侧重不同，通常有以下多种称呼： - VLM（Vision-Language Model，视觉语言模型） - MLLM（Multimodal Large Language Model，多模态大语言模型） - VLA（Vision-Language-Action Model，视觉语言动作模型）

【LLM基础】LLM训练流程

• 大模型的训练主要分为两个阶段——预训练（Pre-Training）和后训练（Post-Training）。在每个阶段，所使用的训练数据、训练范式（算法）、训练目标和超参数均有所不同。
• 预训练阶段包括初期训练（基于海量数据的短上下文训练）、中期训练（长文本/长上下文训练）以及退火（Annealing）训练等。此阶段以自监督学习为主，使用的数据量最大，同时也是最消耗算力的环节。
• 后训练阶段则包含多种可选的训练范式（算法），包括但不限于SFT（监督微调）、蒸馏、RSFT（拒绝采样微调）、RLHF（基于人类反馈的强化学习）、DPO（直接偏好优化），以及其他强化学习方法，例如GRPO（群体相对策略优化）、PPO（近端策略优化）等。其中，某些环节也可进行多轮迭代训练，例如多轮拒绝采样微调（Rejection Sampling Fine-Tuning, RSFT）。

【SFT】微调（Fine-Tuning）技术分类

• 可用于SFT的微调技术种类多样，如下图的分类图所示：前两种方法仅需基于预训练模型主体进行微调，开发成本较低；而并联低秩微调和Adapter Tuning则需要引入额外的新模块，实施过程相对复杂一些。这些方法均是针对模型参数进行微调，而基于Prompt的微调则另辟蹊径，从模型的输入着手进行微调。

【SFT】LoRA（1 of 2）

• LoRA（Low-Rank Adaptation, 低秩适配微调）由微软的研究团队于2021年发表。由于其高效的微调方式和良好的效果，在各类模型中得到广泛的应用。LoRA的核心思想在于——微调前后模型的参数差异∆W具有低秩性。
• 一个矩阵具有低秩性，意味着它包含较多的冗余信息，将其分解为多个低维矩阵后，不会损失过多有用信息。例如，如图所示，一个1024×1024的矩阵可以被近似分解为一个1024×2矩阵与一个2×1024矩阵的乘积，从而将参数量约减少至原来的0.4%。

【SFT】LoRA（2 of 2）

• A和B的初始化方式：
• （1）矩阵A使用随机数初始化，如kaiming初始化；
• （2）矩阵B使用全0初始化，或使用极小的随机数初始化。
• 目的在于——确保在训练初期，插入的LoRA模块不会对模型整体输出造成过大的扰动。

【SFT】Prefix-Tuning

• Prefix-Tuning由斯坦福大学的研究团队提出，可以用于对语言模型进行轻量级微调。
• 如图所示，该方法在输入的起始位置插入一段连续的、可训练的向量（Embedding），称为前缀（Prefix）。在处理后续的Token时，Transformer将这些向量视为 虚拟Token，并参与Attention计算。

【SFT】TokenID与词元的映射关系