github.com/open-mmlab/mmpretrain @v1.2.0 sqlite

 

<b><font size="5">OpenMMLab 官网</font></b>
<sup>
  <a href="https://openmmlab.com">
    <i><font size="4">HOT</font></i>
  </a>
</sup>
&nbsp;&nbsp;&nbsp;&nbsp;
<b><font size="5">OpenMMLab 开放平台</font></b>
<sup>
  <a href="https://platform.openmmlab.com">
    <i><font size="4">TRY IT OUT</font></i>
  </a>
</sup>

 

📘 中文文档 | 🛠️ 安装教程 | 👀 模型库 | 🆕 更新日志 | 🤔 报告问题

English | 简体中文

Introduction

MMPreTrain 是一款基于 PyTorch 的开源深度学习预训练工具箱，是 OpenMMLab 项目的成员之一

主分支代码目前支持 PyTorch 1.8 以上的版本。

主要特性

• 支持多样的主干网络与预训练模型
• 支持多种训练策略（有监督学习，无监督学习，多模态学习等）
• 提供多种训练技巧
• 大量的训练配置文件
• 高效率和高可扩展性
• 功能强大的工具箱，有助于模型分析和实验
• 支持多种开箱即用的推理任务
• 图像分类
• 图像描述（Image Caption）
• 视觉问答（Visual Question Answering）
• 视觉定位（Visual Grounding）
• 检索（图搜图，图搜文，文搜图）

https://github.com/open-mmlab/mmpretrain/assets/26739999/e4dcd3a2-f895-4d1b-a351-fbc74a04e904

更新日志

🌟 2024/01/04 发布了 v1.2.0 版本

• 支持了 LLaVA 1.5
• 实现了一个 RAM 模型的 gradio 推理例程

🌟 2023/10/12 发布了 v1.1.0 版本

• 支持 Mini-GPT4 训练并提供一个基于 Baichuan-7B 的中文模型
• 支持基于 CLIP 的零样本分类。

🌟 2023/7/4 发布了 v1.0.0 版本

• 支持更多多模态算法的推理, 例如 LLaVA, MiniGPT-4, Otter 等。
• 支持约 10 个多模态数据集!
• 添加自监督学习算法 iTPN, SparK。
• 提供新配置文件和 DeepSpeed/FSDP 的样例。这是新配置文件 和 DeepSpeed/FSDP with FlexibleRunner 的文档链接。

🌟 从 MMClassification 升级到 MMPreTrain

• 整合来自 MMSelfSup 的自监督学习算法，例如 MAE, BEiT 等
• 支持了 RIFormer，简单但有效的视觉主干网络，却移除了 token mixer
• 重构数据管道可视化
• 支持了 LeViT, XCiT, ViG, ConvNeXt-V2, EVA, RevViT, EfficientnetV2, CLIP, TinyViT 和 MixMIM 等骨干网络结构

这个版本引入一个全新的，可扩展性强的训练和测试引擎，但目前仍在开发中。欢迎根据 文档 进行试用。

同时，新版本中存在一些与旧版本不兼容的修改。请查看 迁移文档 来详细了解这些变动。

发布历史和更新细节请参考 更新日志。

安装

以下是安装的简要步骤：

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip3 install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

更详细的步骤请参考 安装指南 进行安装。

如果需要多模态模型，请使用如下方式安装额外的依赖：

mim install -e ".[multimodal]"

基础教程

我们为新用户提供了一系列基础教程：

• 学习配置文件
• 准备数据集
• 使用现有模型推理
• 训练
• 测试
• 下游任务

关于更多的信息，请查阅我们的 相关文档。

模型库

相关结果和模型可在 模型库 中获得。

概览

支持的主干网络	自监督学习	多模态算法	其它
VGG ResNet ResNeXt SE-ResNet SE-ResNeXt RegNet ShuffleNet V1 ShuffleNet V2 MobileNet V2 MobileNet V3 Swin-Transformer Swin-Transformer V2 RepVGG Vision-Transformer Transformer-in-Transformer Res2Net MLP-Mixer DeiT DeiT-3 Conformer T2T-ViT Twins EfficientNet EdgeNeXt ConvNeXt HRNet VAN ConvMixer CSPNet PoolFormer Inception V3 MobileOne EfficientFormer MViT HorNet MobileViT DaViT RepLKNet BEiT MixMIM RevViT ConvNeXt V2 ViG XCiT LeViT RIFormer GLIP ViT SAM EVA02 DINO V2 HiViT	MoCo V1 (CVPR'2020) SimCLR (ICML'2020) MoCo V2 (arXiv'2020) BYOL (NeurIPS'2020) SwAV (NeurIPS'2020) DenseCL (CVPR'2021) SimSiam (CVPR'2021) Barlow Twins (ICML'2021) MoCo V3 (ICCV'2021) BEiT (ICLR'2022) MAE (CVPR'2022) SimMIM (CVPR'2022) MaskFeat (CVPR'2022) CAE (arXiv'2022) MILAN (arXiv'2022) BEiT V2 (arXiv'2022) EVA (CVPR'2023) MixMIM (arXiv'2022) iTPN (CVPR'2023) SparK (ICLR'2023) MFF (ICCV'2023)	BLIP (arxiv'2022) BLIP-2 (arxiv'2023) OFA (CoRR'2022) Flamingo (NeurIPS'2022) Chinese CLIP (arxiv'2022) MiniGPT-4 (arxiv'2023) LLaVA (arxiv'2023) Otter (arxiv'2023)	图像检索任务： ArcFace (CVPR'2019) 训练和测试 Tips: RandAug AutoAug RepeatAugSampler TTA ...

参与贡献

我们非常欢迎任何有助于提升 MMPreTrain 的贡献，请参考 贡献指南 来了解如何参与贡献。

致谢

MMPreTrain 是一款由不同学校和公司共同贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者，以及提供宝贵反馈的用户。 我们希望该工具箱和基准测试可以为社区提供灵活的代码工具，供用户复现现有算法并开发自己的新模型，从而不断为开源社区提供贡献。

引用

如果你在研究中使用了本项目的代码或者性能基准，请参考如下 bibtex 引用 MMPreTrain。

@misc{2023mmpretrain,
    title={OpenMMLab's Pre-training Toolbox and Benchmark},
    author={MMPreTrain Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmpretrain}},
    year={2023}
}

许可证

该项目开源自 Apache 2.0 license.

OpenMMLab 的其他项目

• MMEngine: OpenMMLab 深度学习模型训练基础库
• MMCV: OpenMMLab 计算机视觉基础库
• MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
• MMEval: 统一开放的跨框架算法评测库
• MMPreTrain: OpenMMLab 深度学习预训练工具箱
• MMDetection: OpenMMLab 目标检测工具箱
• MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
• MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
• [MMYOLO](https://github.com/open