github.com/open-mmlab/mmdetection3d @v1.4.0 sqlite

 

<b><font size="5">OpenMMLab 官网</font></b>
<sup>
  <a href="https://openmmlab.com">
    <i><font size="4">HOT</font></i>
  </a>
</sup>
&nbsp;&nbsp;&nbsp;&nbsp;
<b><font size="5">OpenMMLab 开放平台</font></b>
<sup>
  <a href="https://platform.openmmlab.com">
    <i><font size="4">TRY IT OUT</font></i>
  </a>
</sup>

 

📘使用文档 | 🛠️安装教程 | 👀模型库 | 🆕更新日志 | 🚀进行中的项目 | 🤔报告问题

English | 简体中文

简介

MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱，下一代面向 3D 检测的平台。它是 OpenMMlab 项目的一部分。

主分支代码目前支持 PyTorch 1.8 以上的版本。

主要特性

• 支持多模态/单模态的检测器

支持多模态/单模态检测器，包括 MVXNet，VoteNet，PointPillars 等。

• 支持户内/户外的数据集

支持室内/室外的 3D 检测数据集，包括 ScanNet，SUNRGB-D，Waymo，nuScenes，Lyft，KITTI。对于 nuScenes 数据集，我们也支持 nuImages 数据集。

• 与 2D 检测器的自然整合

MMDetection 支持的 300+ 个模型，40+ 的论文算法，和相关模块都可以在此代码库中训练或使用。

• 性能高

训练速度比其他代码库更快。下表可见主要的对比结果。更多的细节可见基准测评文档。我们对比了每秒训练的样本数（值越高越好）。其他代码库不支持的模型被标记为 ✗。

Methods	MMDetection3D	OpenPCDet	votenet	Det3D
VoteNet	358	✗	77	✗
PointPillars-car	141	✗	✗	140
PointPillars-3class	107	44	✗	✗
SECOND	40	30	✗	✗
Part-A2	17	14	✗	✗

和 MMDetection，MMCV 一样，MMDetection3D 也可以作为一个库去支持各式各样的项目。

最新进展

亮点

在1.4版本中，MMDetecion3D 重构了 Waymo 数据集, 加速了 Waymo 数据集的预处理、训练/测试启动、验证的速度。并且在 Waymo 上拓展了对 单目/BEV 等基于相机的三维目标检测模型的支持。在这里提供了对 Waymo 数据信息的详细解读。

此外，在1.4版本中，MMDetection3D 提供了 Waymo-mini 来帮助社区用户上手 Waymo 并用于快速迭代开发。

v1.4.0 版本已经在 2024.1.8 发布：

• 在 projects 中支持了 DSVT 的训练
• 在 projects 中支持了 Nerf-Det
• 重构了 Waymo 数据集

v1.3.0 版本已经在 2023.10.18 发布：

• 在 projects 中支持 CENet
• 使用新的 3D inferencers 增强演示代码效果

v1.2.0 版本已经在 2023.7.4 发布：

• 在 mmdet3d/configs中支持 新Config样式
• 在 projects 中支持 DSVT 的推理
• 支持通过 mim 从 OpenDataLab 下载数据集

v1.1.1 版本已经在 2023.5.30 发布：

• 在 projects 中支持 TPVFormer
• 在 projects 中支持 BEVFusion 的训练
• 支持基于激光雷达的 3D 语义分割基准

安装

请参考快速入门文档进行安装。

教程

用户指南

• 训练 & 测试
• 学习配置文件
• 坐标系
• 数据预处理
• 自定义数据预处理流程
• 在标注数据集上测试和训练
• 推理
• 在自定义数据集上进行训练
• 实用工具

进阶教程

• 数据集
• KITTI 数据集
• NuScenes 数据集
• Lyft 数据集
• Waymo 数据集
• SUN RGB-D 数据集
• ScanNet 数据集
• S3DIS 数据集
• SemanticKITTI 数据集
• 支持的任务
• 基于激光雷达的 3D 检测
• 基于视觉的 3D 检测
• 基于激光雷达的 3D 语义分割
• 自定义项目
• 自定义数据集
• 自定义模型
• 自定义运行时配置

基准测试和模型库

测试结果和模型可以在模型库中找到。

模块组件

主干网络	检测头	特性
PointNet (CVPR'2017) PointNet++ (NeurIPS'2017) RegNet (CVPR'2020) DGCNN (TOG'2019) DLA (CVPR'2018) MinkResNet (CVPR'2019) MinkUNet (CVPR'2019) Cylinder3D (CVPR'2021)	FreeAnchor (NeurIPS'2019)	Dynamic Voxelization (CoRL'2019)

算法模型

激光雷达 3D 目标检测	相机 3D 目标检测	多模态 3D 目标检测	3D 语义分割
室外 SECOND (Sensor'2018) PointPillars (CVPR'2019) SSN (ECCV'2020) 3DSSD (CVPR'2020) SA-SSD (CVPR'2020) PointRCNN (CVPR'2019) Part-A2 (TPAMI'2020) CenterPoint (CVPR'2021) PV-RCNN (CVPR'2020) CenterFormer (ECCV'2022) 室内 VoteNet (ICCV'2019) H3DNet (ECCV'2020) Group-Free-3D (ICCV'2021) FCAF3D (ECCV'2022) TR3D (ArXiv'2023)	室外 ImVoxelNet (WACV'2022) SMOKE (CVPRW'2020) FCOS3D (ICCVW'2021) PGD (CoRL'2021) MonoFlex (CVPR'2021) DETR3D (CoRL'2021) PETR (ECCV'2022) Indoor ImVoxelNet (WACV'2022)	室外 MVXNet (ICRA'2019) BEVFusion (ICRA'2023)