他の言語のバージョン 英語 中国語

Unique3D

Unique3D: 単一画像からの高品質かつ効率的な3Dメッシュ生成の公式実装。

Kailu Wu, Fangfu Liu, Zhihan Cai, Runjie Yan, Hanyang Wang, Yating Hu, Yueqi Duan, Kaisheng Ma

論文 | プロジェクトページ | Huggingfaceデモ | オンラインデモ

• デモ推論速度: Gradioデモ > Huggingfaceデモ > Huggingfaceデモ2 > オンラインデモ

Gradioデモが残念ながらハングアップしたり、非常に混雑している場合は、aiuni.aiのオンラインデモを使用できます。これは無料で試すことができます（登録招待コードを取得するには、Discordに参加してください: https://discord.gg/aiuni）。ただし、オンラインデモはGradioデモとは少し異なり、推論速度が遅く、生成結果が安定していない可能性がありますが、素材の品質は良いです。

<img src="https://github.com/AiuniAI/Unique3D/raw/main/assets/teaser_safe.jpg">

Unique3Dは、野生の単一画像から高忠実度および多様なテクスチャメッシュを30秒で生成します。

より多くの機能

リポジトリはまだ構築中です。ご理解いただきありがとうございます。 - [x] 重みのアップロード。 - [x] ローカルGradioデモ。 - [ ] 詳細なチュートリアル。 - [x] Huggingfaceデモ。 - [ ] 詳細なローカルデモ。 - [x] Comfyuiサポート。 - [x] Windowsサポート。 - [ ] Dockerサポート。 - [ ] ノーマルでより安定した再構築。 - [ ] トレーニングコードのリリース。

推論の準備

Linuxシステムセットアップ

Ubuntu 22.04.4 LTSおよびCUDA 12.1に適応。

conda create -n unique3d python=3.11
conda activate unique3d

pip install ninja
pip install diffusers==0.27.2

pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu121/torch2.3.1/index.html

pip install -r requirements.txt

oak-barryは、こちらでtorch210+cu121の別のセットアップスクリプトを提供しています。

Windowsセットアップ

• jtydhr88によるWindowsインストール方法に非常に感謝します！issues/15を参照してください。

issues/15によると、コマンドを実行するバッチスクリプトを実装したので、以下の手順に従ってください。 1. Visual Studio Build ToolsからVisual Studio Build Toolsが必要になる場合があります。 2. conda envを作成し、アクティブにします。 1. conda create -n unique3d-py311 python=3.11 2. conda activate unique3d-py311 3. triton whlをダウンロードし、このプロジェクトに配置します。 4. install_windows_win_py311_cu121.batを実行します。 5. onnxruntimeおよびonnxruntime-gpuのアンインストールを求められた場合は、yと回答します。 6. ドライバールートの下にtmp\gradioフォルダを作成します（例：F:\tmp\gradio）。 7. python app/gradio_local.py --port 7860

詳細はissues/15を参照してください。

インタラクティブ推論：ローカルGradioデモを実行する

1. huggingface spacesまたはTsinghua Cloud Driveから重みをダウンロードし、ckpt/*に抽出します。

Unique3D
    ├──ckpt
        ├── controlnet-tile/
        ├── image2normal/
        ├── img2mvimg/
        ├── realesrgan-x4.onnx
        └── v1-inference.yaml

1. インタラクティブ推論をローカルで実行します。

python app/gradio_local.py --port 7860

ComfyUIサポート

jtydhr88からのComfyUI-Unique3Dの実装に感謝します！

より良い結果を得るためのヒント

1. Unique3Dは入力画像の向きに敏感です。トレーニングデータの分布により、正面を向いた直交画像は常に良い再構築につながります。
2. 遮蔽のある画像は、4つのビューがオブジェクトを完全にカバーできないため、再構築が悪化します。遮蔽の少ない画像は、より良い結果につながります。
3. 可能な限り高解像度の画像を入力として使用してください。

謝辞

以下のリポジトリからコードを大量に借用しました。コードを共有してくれた著者に感謝します。 - Stable Diffusion - Wonder3d - Zero123Plus - Continues Remeshing - Depth from Normals

コラボレーション

私たちの使命は、3Dの概念を持つ4D生成モデルを作成することです。これは私たちの最初のステップであり、前途はまだ長いですが、私たちは自信を持っています。あらゆる形態の潜在的なコラボレーションを探求し、議論に参加することを心から歓迎します。私たちと連絡を取りたい、またはパートナーシップを結びたい方は、メールでお気軽にお問い合わせください (wkl22@mails.tsinghua.edu.cn)。

• 最新情報を入手するには、Twitterをフォローしてください: https://x.com/aiuni_ai
• DiscordでAIGC 3D/4D生成コミュニティに参加してください: https://discord.gg/aiuni
• 研究協力については、ai@aiuni.aiまでご連絡ください。

引用

Unique3Dが役立つと思われる場合は、私たちのレポートを引用してください：

@misc{wu2024unique3d,
      title={Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image}, 
      author={Kailu Wu and Fangfu Liu and Zhihan Cai and Runjie Yan and Hanyang Wang and Yating Hu and Yueqi Duan and Kaisheng Ma},
      year={2024},
      eprint={2405.20343},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}