github.com/agentscope-ai/Trinity-RFT @v0.6.0

English Homepage | 中文文档 | 常见问题

Trinity-RFT: A General-Purpose and Unified Framework for Reinforcement Fine-Tuning of Large Language Models

💡 什么是 Trinity-RFT ?

Trinity-RFT 是一个通用、灵活、用户友好的大语言模型（LLM）强化微调（RFT）框架。 其将 RFT 流程解耦为三个协同运行的关键模块：

• Explorer 负责执行智能体-环境交互，并生成经验数据；

• Trainer 在经验数据上最小化损失函数，以此更新模型参数；

• Buffer 负责协调整个 RFT 生命周期中的数据处理流水线。

Trinity-RFT 面向不同背景和目标的用户提供相应功能：

• 🤖 智能体应用开发者: 训练智能体应用，以增强其在特定领域中完成任务的能力 [教程]

• 🧠 强化学习算法研究者: 通过定制化简洁、可插拔的模块，设计、实现与验证新的强化学习算法 [教程]

• 📊 数据工程师: 设计针对任务定制的数据集，构建处理流水线以支持数据清洗、增强以及人类参与场景 [教程]

🚀 新闻

• [2026-06] [发布说明] Trinity-RFT v0.6.0 发布：支持 SGLang，优化全异步参数同步以及调度策略以减少空泡，优化 MoE 模型训练稳定性，升级到 verl 0.8.0。
• [2026-06] 🎉 两篇论文被 ICML 2026 接收：Learn-to-Ask 和 LLM-RL 熵动力学。
• [2026-04] [发布说明] Trinity-RFT v0.5.2 发布：支持 Qwen3.5 系列，修复 Bug 并进行多项优化。
• [2026-03] 🤖 Trinity-RFT 助力 CoPaw-Flash 训练，打造更懂本地化场景的智能体小模型。欢迎到 CoPaw 试用 CoPaw-Flash，模型下载请见 ModelScope 和 HuggingFace（新闻）。
• [2026-02] [发布说明] Trinity-RFT v0.5.1 发布：增强 VLM 支持，改进日志系统，修复若干 Bug。
• [2026-02] [发布说明] Trinity-RFT v0.5.0 发布：单 GPU 场景下的 colocate 模式，trainer 驱动的权重同步，自动并行设置建议等新功能。
• [2026-01] 🎉 三篇论文被 ICLR 2026 接收：CHORD、BOTS 和 Group-relative REINFORCE 系列变种。在 Trinity-RFT 中尝试这些新算法吧！
• [2026-01] [发布说明] Trinity-RFT v0.4.1 发布：升级 verl 至 v0.7.0，Tinker 后端支持 OpenAI API，修复若干 Bug。
• [2026-01] 推出 R3L：基于反思-重试的强化学习机制，由自然语言反馈引导高效探索，并达成稳定的 off-policy 学习（论文）。
• [2025-12] [发布说明] Trinity-RFT v0.4.0 发布：新增Tinker 后端以支持在 无 GPU 的设备上训练，增加更多基准测试，增强在线 RL 等功能。
• [2025-12] Trinity-RFT 助力淘宝闪购医药健康业务，让 AI 智能体能够理解模糊症状、主动询问后续问题，并提供精准推荐（新闻）。
• [2025-11] [发布说明] Trinity-RFT v0.3.3 发布：修复若干 Bug。
• [2025-11] 推出 Learn-to-Ask：利用离线专家数据，训练具备主动问询能力的对话智能体（论文）。

More...

• [2025-11] 推出 [BOTS](https://github.com/agentscope-ai/Trinity-RFT/tree/main/examples/bots)：在线 RL 任务选择，实现高效 LLM 微调（[论文](https://arxiv.org/pdf/2510.26374)）。
• [2025-09] 我们的 [论文](https://arxiv.org/pdf/2509.24203) 揭示了 group-relative REINFORCE 及其变种（如 GRPO 和 AsymRE）的 off-policy 解释（[代码](https://github.com/agentscope-ai/Trinity-RFT/tree/main/examples/rec_gsm8k)）。
• [2025-08] 推出 [CHORD](https://github.com/agentscope-ai/Trinity-RFT/tree/main/examples/mix_chord)：动态 SFT + RL 集成，实现进阶 LLM 微调（[论文](https://arxiv.org/pdf/2508.11408)）。
• [2025-11] Trinity-RFT v0.3.2 发布：修复若干 Bug 并支持进阶的任务选择和调度。
• [2025-10] Trinity-RFT v0.3.1 发布：多阶段训练支持、改进的智能体 RL 示例、LoRA 支持、调试模式和全新 RL 算法。
• [2025-09] Trinity-RFT v0.3.0 发布：增强的 Buffer、FSDP2 & Megatron 支持，多模态模型，以及全新 RL 算法/示例。
• [2025-08] Trinity-RFT v0.2.1 发布。
• [2025-07] Trinity-RFT v0.2.0 发布。
• [2025-07] 技术报告（arXiv v2）更新，包含新功能、示例和实验：[链接](https://arxiv.org/abs/2505.17826)。
• [2025-06] Trinity-RFT v0.1.1 发布。
• [2025-05] Trinity-RFT v0.1.0 发布，同时发布 [技术报告](https://arxiv.org/abs/2505.17826)。
• [2025-04] Trinity-RFT 开源。

🔨 教程与指南

• Off-policy RFT

• 全异步 RFT

• 通过 DPO 或 SFT 进行离线学习

• 在无GPU环境下运行RFT训练（Tinker 后端） | | 多轮智能体强化学习 | + 拼接多轮任务

• 通用多轮任务

• 调用智能体框架中的 ReAct 工作流

• 例子：训练一个网络搜索智能体 | | 全生命周期的数据流水线 | + Rollout 任务混合与选取

• 在线任务选择 (📝 论文)

• 研究项目：learn-to-ask (📝 论文)

• 经验回放机制

• 高级数据处理能力 & Human-in-the-loop | | 强化学习算法开发 | + 使用 Trinity-RFT 进行 RL 算法开发 (📝 论文)

• 研究项目: R3L (基于反思-重试的强化学习) (📝 论文)

• 研究项目: group-relative REINFORCE (📝 论文)

• 不可验证的领域: RULER, 可训练 RULER, rubric-as-reward | | 基准测试 | + 基准测试工具 (快速验证与实验)

• Guru-Math 测试 & 对比 veRL

• FrozenLake 测试 & 对比 rLLM

• Alfworld 测试 & 对比 rLLM | | 深入了解 Trinity-RFT | + 完整配置指南

• GPU 资源与训练配置对应指南

• 训练多模态模型

• 理解 explorer-trainer 同步逻辑

• 如何与 verl 对齐配置 |

[!TIP] 推荐阅读顺序

🆕 新手入门： 安装 → 快速开始 (GSM8K) → 参数配置指南 → GPU 资源配置指南

🔬 算法研究者： 开发者指南 → 算法开发指南 → CHORD 算法示例

🤖 Agent 开发者： 开发者指南 → Workflow 开发 → 通用多轮 Workflow 示例

[!NOTE] 更多教程请参考 Trinity-RFT 文档。

🌟 核心特性

• 灵活的 RFT 模式：
• 支持同步/异步、on-policy/off-policy 以及在线/离线强化学习
• 采样与训练可分离运行，并可在多设备上独立扩展
• 支持经验回放，进一步提升样本与时间效率

• Agentic RL 支持：
• 支持拼接式多轮和通用多轮交互
• 能够直接训练使用 AgentScope 等智能体框架开发的 Agent 应用

• 全生命周期的数据流水线：
• 支持 rollout 任务和经验数据的流水线处理
• 贯穿 RFT 生命周期的主动数据管理（优先级排序、清洗、增强等）
• 原生支持多任务联合训练与课程学习

• 用户友好的框架设计：
• 即插即用模块与解耦式架构，便于快速上手和二次开发
• 丰富的图形界面，支持低代码使用

🔨 算法支持

下表列出了 Trinity-RFT 支持的算法，更多算法请参考 算法模块。您也可以通过自定义不同的模块来构建新算法，参见 教程。