From Minimind to More 🚀

感谢Minimind原作者的无私开源！

深入探索大语言模型：从底层基石到高层架构，从理论原理到工程实践。

📖 项目简介 | Introduction

本项目是我个人基于https://github.com/jingyaogong/minimind 的学习笔记与思考。我从Minimind出发，系统性梳理了其中涉及到的知识点，并附带了相关的其他要点。我希望本项目能够不仅让读者看懂Minimind，更能对大模型的技术体系建立一个全面的insight。

这里不仅包含了我对Minimind用到的技术的详细解析，源码的超详细注释，也整理了面向求职的面试题库。无论你是想深入了解 Minimind 架构与训练的细节，还是准备相关领域的面试，希望这里的内容能最大化减少你到处找资料的次数，并给你带来启发。

🚧 当前状态：项目持续更新中，目前主要覆盖架构与基础部分，[优化篇]正在撰写中，[面试篇]已经在小红书更新...

网页对md的解析可能有错误，如遇公式或者图片的问题请下载到本地查看。

📢 最近更新 | News

点击展开查看历史更新日志

• 2026-04-17

  • 完成了《算法篇：Minimind的SPO》。前段时间太忙断更了一段时间，现已恢复更新。

• 2026-03-22

  • 面试相关内容已经在小红书更新

  • 最近忙于论文和面试。我会先更新面试相关信息，回头把SPO的算法解析补了。

  • 2026-03-05
  • 集中修复了一些描述上的错误，并把《算法篇：Minimind的GRPO》做了改进，优化了其他算法的讲解。
  • 2026-02-24
  • 完成了《算法篇：Minimind的GRPO》。包含源码解析以及其他算法变体讲解。
  • 2026-02-22
  • 完成了《算法篇：Minimind的PPO》。篇幅较长，请耐心阅读，但你一定能看懂。
  • 2026-02-15
  • 最近在过年，可能更新得慢一点，后面会爆肝的😇
  • 2026-02-09:
  • 完成了《算法篇：Minimind的DPO》
  • 2026-02-05：

  • 对《基石：关于 Tokenizer 你所需要知道的一切》中的小错误进行了修复

  • 正在更新DPO算法

  • 2026-02-04：
  • 完成了《算法篇：大模型强化学习算法概览》
  • 2026-02-03：
  • 完成了《算法篇：Minimind的SFT》章节。
  • 2026-02-02:
  • 完成了《架构篇：超级拼装》章节。
  • 完成了《算法篇：Minimind的Pretrain》章节。

  • 2026-01-30:

  • 初次更新，完成《基石》以及《架构篇》大部分内容。

📚 内容导航 | Table of Contents

🏗️ 第一部分：基石与原理 (Foundations)

万丈高楼平地起，这里是理解 LLM 的起点。 - [x] Tokenization：基石：关于 Tokenizer 你所需要知道的一切 - [x] 整体设计：基石：Minimind 的设计目录 - [x] Embeddings：基石：语义的几何与时空的折叠：Embedding与位置编码

🏛️ 第二部分：核心架构 (Architecture)

深入 Transformer 及其变体的内部构造，解析最前沿的模型设计。 - [x] 归一化技术：架构篇：大语言模型归一化技术：原理、演进与前沿架构 - [x] 性能优化：架构篇：最常见的大模型优化方法：从KV Cache到Flash Attention - [x] 混合专家模型：架构篇：混合专家模型（MoE）：架构演进、核心算法与工程实践 - [x] 搭建我们自己的大模型：架构篇：超级拼装 - [x] (可选阅读)：大规模语言模型推理与训练优化机制

🧠 第三部分：算法与演进 (Algorithms) - Updating

本章节正在撰写中，将涵盖预训练算法、微调策略（SFT/RLHF）等核心算法细节。 - [x] 预训练算法：算法篇：Minimind的Pretrain - [x] SFT算法：算法篇：Minimind的SFT - [x] 大模型RL算法概览：算法篇：大模型强化学习算法概览 - [x] DPO算法：算法篇：Minimind的DPO - [x] PPO算法：算法篇：Minimind的PPO - [x] GRPO算法及其变体（Dr.GRPO,DAPO,GSPO,SAPO,GTPO）：算法篇：Minimind的GRPO及其变体 - [x] SPO算法：算法篇：Minimind的SPO

🚀 第四部分：模型优化与压缩 - Coming soon

• [ ] LoRA：优化篇：常用LoRA类算法全解
• [ ] 知识蒸馏：优化篇：知识蒸馏

🎓 第五部分：求职与实战 (Career & Practice)

本章节已完成，讲涵盖我个人对大模型求职的笔记与经验，请移步小红书https://www.xiaohongshu.com/user/profile/6535eb17000000000301f11e查阅。

• [x] 面试八股：大模型八股 100 问
• [x] 面试题库：已经在小红书更新

📅 更新计划 | Roadmap

• Phase 1 (Completed): 完成基础组件（Tokenizer, Embeddings）与核心架构（MoE, Normalization, KV Cache）的解析。
• Phase 2 (Completed): 完善 [算法篇]，深入探讨训练机制等算法细节。
• Phase 3 (Completed): 面试相关内容已经在小红书更新。
• Phase 4 (In progress): 完善 [优化篇]，讲解常用大模型训练优化方案

🤝 交流与致谢

如果你发现文章中有任何错误，或者有更好的见解，欢迎提交 Issue 或 PR。

再次感谢Minimind原作者的无私开源。同时，感谢https://github.com/hans0809/MiniMind-in-Depth ，我从该项目中学到了很多。

我的更多内容，欢迎关注小红书“天上的彤云”