github.com/open-mmlab/mmdetection @v3.3.0 sqlite

 

<b><font size="5">OpenMMLab 官网</font></b>
<sup>
  <a href="https://openmmlab.com">
    <i><font size="4">HOT</font></i>
  </a>
</sup>
&nbsp;&nbsp;&nbsp;&nbsp;
<b><font size="5">OpenMMLab 开放平台</font></b>
<sup>
  <a href="https://platform.openmmlab.com">
    <i><font size="4">TRY IT OUT</font></i>
  </a>
</sup>

 

📘使用文档 | 🛠️安装教程 | 👀模型库 | 🆕更新日志 | 🚀进行中的项目 | 🤔报告问题

English | 简体中文

简介

MMDetection 是一个基于 PyTorch 的目标检测开源工具箱。它是 OpenMMLab 项目的一部分。

主分支代码目前支持 PyTorch 1.8 及其以上的版本。

主要特性

• 模块化设计

MMDetection 将检测框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的检测模型

• 支持多种检测任务

MMDetection 支持了各种不同的检测任务，包括目标检测，实例分割，全景分割，以及半监督目标检测。

• 速度快

基本的框和 mask 操作都实现了 GPU 版本，训练速度比其他代码库更快或者相当，包括 Detectron2, maskrcnn-benchmark 和 SimpleDet。

• 性能高

MMDetection 这个算法库源自于 COCO 2018 目标检测竞赛的冠军团队 MMDet 团队开发的代码，我们在之后持续进行了改进和提升。 新发布的 RTMDet 还在实时实例分割和旋转目标检测任务中取得了最先进的成果，同时也在目标检测模型中取得了最佳的的参数量和精度平衡。

除了 MMDetection 之外，我们还开源了深度学习训练库 MMEngine 和计算机视觉基础库 MMCV，它们是 MMDetection 的主要依赖。

最新进展

亮点

v3.3.0 版本已经在 2024.1.5 发布：

MM-Grounding-DINO: 轻松涨点，数据到评测全面开源

Grounding DINO 是一个统一了 2d 开放词汇目标检测和 Phrase Grounding 的检测预训练模型，应用广泛，但是其训练部分并未开源，为此提出了 MM-Grounding-DINO。其不仅作为 Grounding DINO 的开源复现版，MM-Grounding-DINO 基于重新构建的数据类型出发，在探索了不同数据集组合和初始化策略基础上实现了 Grounding DINO 的性能极大提升，并且从多个维度包括 OOD、REC、Phrase Grounding、OVD 和 Finetune 等方面进行评测，充分挖掘 Grounding 预训练优缺点，希望能为后续工作提供启发。

arxiv 技术报告：https://arxiv.org/abs/2401.02361

代码地址: mm_grounding_dino/README.md

我们很高兴向大家介绍我们在实时目标识别任务方面的最新成果 RTMDet，包含了一系列的全卷积单阶段检测模型。 RTMDet 不仅在从 tiny 到 extra-large 尺寸的目标检测模型上实现了最佳的参数量和精度的平衡，而且在实时实例分割和旋转目标检测任务上取得了最先进的成果。 更多细节请参阅技术报告。 预训练模型可以在这里找到。

Task	Dataset	AP	FPS(TRT FP16 BS1 3090)
Object Detection	COCO	52.8	322
Instance Segmentation	COCO	44.6	188
Rotated Object Detection	DOTA	78.9(single-scale)/81.3(multi-scale)	121

安装

请参考快速入门文档进行安装。

教程

请阅读概述对 MMDetection 进行初步的了解。

为了帮助用户更进一步了解 MMDetection，我们准备了用户指南和进阶指南，请阅读我们的文档：

• 用户指南

• 训练 & 测试

  • 学习配置文件
  • 使用已有模型在标准数据集上进行推理
  • 数据集准备
  • 测试现有模型
  • 在标准数据集上训练预定义的模型
  • 在自定义数据集上进行训练
  • 在标准数据集上训练自定义模型
  • 模型微调
  • 提交测试结果
  • 权重初始化
  • 将单阶段检测器作为 RPN
  • 半监督目标检测

• 实用工具

• 进阶指南

• 基础概念

• 组件定制
• How to

我们提供了检测的 colab 教程 和 实例分割的 colab 教程

同时，我们还提供了 MMDetection 中文解读文案汇总

若需要将2.x版本的代码迁移至新版，请参考迁移文档。

基准测试和模型库

测试结果和模型可以在模型库中找到。

算法架构

Object Detection	Instance Segmentation	Panoptic Segmentation	Other
Fast R-CNN (ICCV'2015) Faster R-CNN (NeurIPS'2015) RPN (NeurIPS'2015) SSD (ECCV'2016) RetinaNet (ICCV'2017) Cascade R-CNN (CVPR'2018) YOLOv3 (ArXiv'2018) CornerNet (ECCV'2018) Grid R-CNN (CVPR'2019) Guided Anchoring (CVPR'2019) FSAF (CVPR'2019) CenterNet (CVPR'2019) Libra R-CNN (CVPR'2019) TridentNet (ICCV'2019) FCOS (ICCV'2019) RepPoints (ICCV'2019) FreeAnchor (NeurIPS'2019) CascadeRPN (NeurIPS'2019) Foveabox (TIP'2020) Double-Head R-CNN (CVPR'2020) ATSS (CVPR'2020) NAS-FCOS (CVPR'2020) CentripetalNet (CVPR'2020) AutoAssign (ArXiv'2020) Side-Aware Boundary Localization (ECCV'2020) Dynamic R-CNN (ECCV'2020) DETR (ECCV'2020) PAA (ECCV'2020) VarifocalNet (CVPR'2021) Sparse R-CNN (CVPR'2021) YOLOF (CVPR'2021) YOLOX (CVPR'2021) Deformable DETR (ICLR'2021) TOOD (ICCV'2021) DDOD (ACM MM'2021) RTMDet (ArXiv'2022) Conditional DETR (ICCV'2021) DAB-DETR (ICLR'2022) DINO (ICLR'2023) GLIP (CVPR'2022) DDQ (CVPR'2023) DiffusionDet (ArXiv'2023) EfficientDet (CVPR'2020) ViTDet (ECCV'2022) Detic (ECCV'2022) CO-DETR (ICCV'2023)