github.com/hiyouga/LlamaFactory @v0.9.5 sqlite

获得亚马逊、英伟达、阿里云等的应用。

赞助商 ❤️

|

Warp，面向开发者的智能终端

适用于 MacOS、Linux 和 Windows

---

使用零代码命令行与 Web UI 轻松微调百余种大模型

👋 加入我们的微信群和 NPU 用户群。

[ English | 中文 ]

微调大模型可以像这样轻松…

https://github.com/user-attachments/assets/43b700c6-a178-41db-b1f8-8190a5d3fcfc

开始本地训练： - 请见如何使用

开始云端训练： - Colab（免费）：https://colab.research.google.com/drive/1d5KQtbemerlSDSxZIfAaWXhKr30QypiK?usp=sharing - PAI-DSW（免费试用）：https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory

阅读技术文档： - 入门教程：https://zhuanlan.zhihu.com/p/695287607 - 微调视频教程：https://www.bilibili.com/video/BV1djgRzxEts/ - 框架文档：https://llamafactory.readthedocs.io/zh-cn/latest/ - 框架文档（昇腾 NPU）：https://ascend.github.io/docs/sources/llamafactory/ - 官方博客：https://blog.llamafactory.net/

[!NOTE] 除上述链接以外的其他网站均为未经许可的第三方网站，请小心甄别。

目录

• 项目特色
• 官方博客
• 更新日志
• 模型
• 训练方法
• 数据集
• 软硬件依赖
• 如何使用
• 安装 LLaMA Factory
• 数据准备
• 快速开始
• LLaMA Board 可视化微调
• 构建 Docker
• 利用 vLLM 部署 OpenAI API
• 从魔搭社区下载
• 从魔乐社区下载
• 使用 W&B 面板
• 使用 SwanLab 面板
• 使用了 LLaMA Factory 的项目
• 协议
• 引用
• 致谢

项目特色

• 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen3、Qwen3-VL、DeepSeek、Gemma、GLM、Phi 等等。
• 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
• 多种精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
• 先进算法：GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 PiSSA。
• 实用技巧：FlashAttention-2、Unsloth、Liger Kernel、KTransformers、RoPE scaling、NEFTune 和 rsLoRA。
• 广泛任务：多轮对话、工具调用、图像理解、视觉定位、视频识别和语音理解等等。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等等。
• 极速推理：基于 vLLM 或 SGLang 的 OpenAI 风格 API、浏览器界面和命令行接口。

最新模型的 Day-N 微调适配

适配时间	模型名称
Day 0	Qwen3 / Qwen2.5-VL / Gemma 3 / GLM-4.1V / InternLM 3 / MiniCPM-o-2.6
Day 1	Llama 3 / GLM-4 / Mistral Small / PaliGemma2 / Llama 4

官方博客

[!TIP] 我们现在拥有了 LLaMA Factory 的专属博客！

网站地址：https://blog.llamafactory.net/

• 💡 KTransformers Fine-Tuning × LLaMA Factory: 用2张4090级的GPU+CPU 微调 1000B规模的超大模型 (中文)
• 💡 Easy Dataset × LLaMA Factory: 让大模型高效学习领域知识（中文）
• 基于 LLaMA-Factory 和 EasyR1 打造一站式无代码大模型强化学习和部署平台 LLM Model Hub（中文）
• 通过亚马逊 SageMaker HyperPod 上的 LLaMA-Factory 增强多模态模型银行文档的视觉信息提取（英文）

全部博客

• LLaMA Factory：微调 DeepSeek-R1-Distill-Qwen-7B 模型实现新闻标题分类器（中文）
• 基于 Amazon SageMaker 和 LLaMA-Factory 打造一站式无代码模型微调部署平台 Model Hub（中文）
• LLaMA Factory 多模态微调实践：微调 Qwen2-VL 构建文旅大模型（中文）
• LLaMA Factory：微调 Llama3 模型实现角色扮演（中文）

更新日志

[25/10/26] 我们支持了Megatron-core作为训练后端和适配了mcore_adapter。查看PR #9237以使用。

[25/08/22] 我们支持了 OFT 和 OFTv2 模型的微调。查看 examples 以使用。

[25/08/20] 我们支持了 Intern-S1-mini 模型的微调。查看 PR #8976 以使用。

[25/08/06] 我们支持了 GPT-OSS 模型的微调。查看 PR #8826 以使用。

展开日志

[25/07/02] 我们支持了 GLM-4.1V-9B-Thinking 模型的微调。

[25/04/28] 我们支持了 Qwen3 系列模型的微调。

[25/04/21] 我们支持了 Muon 优化器。详细用法请参照 examples。感谢 @tianshijing 的 PR。

[25/04/16] 我们支持了 InternVL3 模型的微调。查看 PR #7258 以使用。

[25/04/14] 我们支持了 GLM-Z1 和 Kimi-VL 模型的微调。

[25/04/06] 我们支持了 Llama 4 模型的微调。查看 PR #7611 以使用。

[25/03/31] 我们支持了 Qwen2.5 Omni 模型的微调。查看 PR #7537 以使用。

[25/03/15] 我们支持了 SGLang 推理后端，请使用 infer_backend: sglang 启用。

[25/03/12] 我们支持了 Gemma 3 模型的微调。

[25/02/24] 我们宣布开源 EasyR1，一个高效可扩展的多模态强化学习框架，支持高效的 GRPO 训练。

[25/02/11] 我们支持了在导出模型时保存 Ollama 配置文件。详细用法请参照 examples。

[25/02/05] 我们支持了在语音理解任务上微调 Qwen2-Audio 和 MiniCPM-o-2.6 模型。

[25/01/31] 我们支持了 DeepSeek-R1 和 Qwen2.5-VL 模型的微调。

[25/01/15] 我们支持了 APOLLO 优化器。详细用法请参照 examples。

[25/01/14] 我们支持了 MiniCPM-o-2.6 和 MiniCPM-V-2.6 模型的微调。 感谢 @BUAADreamer 的 PR.

[25/01/14] 我们支持了 InternLM 3 模型的微调。感谢 @hhaAndroid 的 PR。

[25/01/10] 我们支持了 Phi-4 模型的微调。

[24/12/21] 我们支持了使用 SwanLab 跟踪与可视化实验。详细用法请参考 此部分。

[24/11/27] 我们支持了 Skywork-o1 模型的微调和 OpenO1 数据集。

[24/10/09] 我们支持了从 魔乐社区 下载预训练模型和数据集。详细用法请参照 此教程。

[24/09/19] 我们支持了 Qwen2.5 模型的微调。

[24/08/30] 我们支持了 Qwen2-VL 模型的微调。感谢 @simonJJJ 的 PR。

[24/08/27] 我们支持了 Liger Kernel。请使用 enable_liger_kernel: true 来加速训练。

[24/08/09] 我们支持了 Adam-mini 优化器。详细用法请参照 examples。感谢 @relic-yuexi 的 PR。

[24/07/04] 我们支持了无污染打包训练。请使用 neat_packing: true 参数。感谢 @chuan298 的 PR。

[24/06/16] 我们支持了 PiSSA 算法。详细用法请参照 examples。

[24/06/07] 我们支持了 Qwen2 和 GLM-4 模型的微调。

[24/05/26] 我们支持了 SimPO 偏好对齐算法。详细用法请参照 examples。

[24/05/20] 我们支持了 PaliGemma 系列模型的微调。注意 PaliGemma 是预训练模型，你需要使用 paligemma 模板进行微调使其获得对话能力。

[24/05/18] 我们支持了 KTO 偏好对齐算法。详细用法请参照 examples。

[24/05/14] 我们支持了昇腾 NPU 设备的训练和推理。详情请查阅安装部分。

[24/04/26] 我们支持了多模态模型 LLaVA-1.5 的微调。详细用法请参照 examples。

[24/04/22] 我们提供了在免费 T4 GPU 上微调 Llama-3 模型的 Colab 笔记本。Hugging Face 社区公开了两个利用 LLaMA Factory 微调的 Llama-3 模型，详情请见 Llama3-8B-Chinese-Chat 和 Llama3-Chinese。

[24/04/21] 我们基于 AstraMindAI 的仓库支持了 混合深度训练。详细用法请参照 examples。

[24/04/16] 我们支持了 BAdam 优化器。详细用法请参照 examples。

[24/04/16] 我们支持了 unsloth 的长序列训练（24GB 可训练 Llama-2-7B-56k）。该方法相比 FlashAttention-2 提供了 117% 的训练速度和 50% 的显存节约。更多数据请见此页面。

[24/03/31] 我们支持了 ORPO。详细用法请参照 examples。

[24/03/21] 我们的论文 "LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models" 可在 arXiv 上查看！

[24/03/20] 我们支持了能在 2x24GB GPU 上微调 70B 模型的 FSDP+QLoRA。详细用法请参照 examples。

[24/03/13] 我们支持了 LoRA+。详细用法请参照 examples。

[24/03/07] 我们支持了 GaLore 优化器。详细用法请参照 examples。

[24/03/07] 我们集成了 vLLM 以实现极速并发推理。请使用 infer_backend: vllm 来获得 270% 的推理速度。

[24/02/28] 我们支持了 DoRA 微调。请使用 use_dora: true 参数进行 DoRA 微调。

[24/02/15] 我们支持了 LLaMA Pro 提出的块扩展方法。详细用法请参照 examples。

[24/02/05] Qwen1