DB-GPT: データベースとの対話を革新するプライベートLLM技術

<a href="https://github.com/eosphoros-ai/DB-GPT">
    <img alt="stars" src="https://img.shields.io/github/stars/eosphoros-ai/db-gpt?style=social" />
</a>
<a href="https://github.com/eosphoros-ai/DB-GPT">
    <img alt="forks" src="https://img.shields.io/github/forks/eosphoros-ai/db-gpt?style=social" />
</a>
<a href="http://dbgpt.cn/">
    <img alt="Official Website" src="https://img.shields.io/badge/Official%20website-DB--GPT-blue?style=flat&labelColor=3366CC" />
</a>
<a href="https://opensource.org/licenses/MIT">
  <img alt="License: MIT" src="https://img.shields.io/github/license/eosphoros-ai/db-gpt?style=flat&labelColor=009966&color=009933" />
</a>
 <a href="https://github.com/eosphoros-ai/DB-GPT/releases">
  <img alt="Release Notes" src="https://img.shields.io/github/v/release/eosphoros-ai/db-gpt?style=flat&labelColor=FF9933&color=FF6633" />
</a>
<a href="https://github.com/eosphoros-ai/DB-GPT/issues">
  <img alt="Open Issues" src="https://img.shields.io/github/issues-raw/eosphoros-ai/db-gpt?style=flat&labelColor=666666&color=333333" />
</a>
<a href="https://x.com/DBGPT_AI">
  <img alt="X (formerly Twitter) Follow" src="https://img.shields.io/twitter/follow/DBGPT_AI" />
</a>
<a href="https://medium.com/@dbgpt0506">
  <img alt="Medium Follow" src="https://badgen.net/badge/Medium/DB-GPT/333333?icon=medium&labelColor=666666" />
</a>
<a href="https://space.bilibili.com/3537113070963392">
  <img alt="Bilibili Space" src="https://img.shields.io/badge/dynamic/json?url=https%3A%2F%2Fapi.bilibili.com%2Fx%2Frelation%2Fstat%3Fvmid%3D3537113070963392&query=data.follower&style=flat&logo=bilibili&logoColor=white&label=Bilibili%20Fans&labelColor=F37697&color=6495ED" />
</a>
<a href="https://join.slack.com/t/slack-inu2564/shared_invite/zt-29rcnyw2b-N~ubOD9kFc7b7MDOAM1otA">
  <img alt="Slack" src="https://img.shields.io/badge/Slack-Join%20us-5d6b98?style=flat&logo=slack&labelColor=7d89b0" />
</a>
<a href="https://codespaces.new/eosphoros-ai/DB-GPT">
  <img alt="Open in GitHub Codespaces" src="https://github.com/codespaces/badge.svg" />
</a>

ドキュメント | チームに連絡します | コミュニティ | 論文

DB-GPTとは何か？

🤖 DB-GPTは、AWEL（エージェントワークフロー式言語）とエージェントを備えたオープンソースのAIネイティブデータアプリ開発フレームワークです。

大規模モデルの分野でのインフラを構築することを目的としており、SMMF（マルチモデル管理）、Text2SQL効果の最適化、RAGフレームワークと最適化、マルチエージェントフレームワークの協力、AWEL（エージェントワークフローのオーケストレーション）など、複数の技術機能の開発を通じて、データを使用した大規模モデルアプリケーションをよりシンプルで便利にします。

🚀 データ3.0時代には、モデルとデータベースを基盤として、企業や開発者がより少ないコードで独自のアプリケーションを構築できます。

紹介

DB-GPTのアーキテクチャは以下の図に示されています：

コア機能には以下の部分が含まれます：

• RAG（Retrieval Augmented Generation）：現在、RAGは最も実用的に実装され、緊急に必要とされる領域です。DB-GPTは、RAGの機能を使用して知識ベースのアプリケーションを構築できるようにする、RAGに基づくフレームワークをすでに実装しています。

• GBI（Generative Business Intelligence）：Generative BIはDB-GPTプロジェクトのコア機能の1つであり、企業のレポート分析とビジネスインサイトを構築するための基本的なデータインテリジェンス技術を提供します。

• ファインチューニングフレームワーク：モデルのファインチューニングは、任意の企業が垂直およびニッチなドメインで実装するために不可欠な機能です。DB-GPTは、DB-GPTプロジェクトとシームレスに統合される完全なファインチューニングフレームワークを提供します。最近のファインチューニングの取り組みでは、Spiderデータセットに基づいて82.5%の実行精度を達成しています。

• データ駆動型マルチエージェントフレームワーク：DB-GPTは、データに基づいて継続的に意思決定を行い、実行するためのデータ駆動型自己進化型マルチエージェントフレームワークを提供します。

• データファクトリー：データファクトリーは、主に大規模モデルの時代における信頼できる知識とデータのクリーニングと処理に関するものです。

• データソース：DB-GPTのコア機能に生産ビジネスデータをシームレスに接続するために、さまざまなデータソースを統合します。

サブモジュール

• DB-GPT-Hub 大規模言語モデル（LLM）上での教師ありファインチューニング（SFT）を適用することにより、高性能なText-to-SQLワークフロー。

• dbgpts dbgptsは、DB-GPT上で構築されたいくつかのデータアプリ、AWELオペレータ、AWELワークフローテンプレート、およびエージェントを含む公式リポジトリです。

DeepWiki

• DB-GPT
• DB-GPT-HUB
• dbgpts

Text2SQLファインチューニング

• SFT精度 2023年10月10日現在、このプロジェクトを使用して130億パラメータのオープンソースモデルをファインチューニングすることにより、SpiderデータセットでGPT-4を超える実行精度を達成しました！

Text2SQLファインチューニングに関する詳細情報

• DB-GPT-Plugins Auto-GPTプラグインを直接実行できるDB-GPTプラグイン
• GPT-Vis 可視化プロトコル

AIネイティブデータアプリ

• 🔥🔥🔥 V0.7.0 リリース | 重要なアップグレードのセット
• サポート MCP Protocol
• サポート DeepSeek R1
• サポート QwQ-32B
• 基本モジュールをリファクタリングする
  • dbgpt-app
  • dbgpt-core
  • dbgpt-serve
  • dbgpt-client
  • dbgpt-accelerator
  • dbgpt-ext

なぜDB-GPTなのか？

1. エージェント型データ分析

タスクを計画し、作業をステップに分解し、ツールを呼び出して、分析ワークフローをエンドツーエンドで完了します。

2. 自律型SQL + コード実行

SQLとコードを生成してデータをクエリし、データセットをクリーン化し、メトリクスを計算し、出力を生成します。

3. マルチソースデータアクセス

構造化データと非構造化データの両方で動作し、データベース、スプレッドシート、ドキュメント、ナレッジベースが含まれます。

4. スキル駆動の拡張性

ドメイン知識、分析方法、実行ワークフローを再利用可能なスキルとしてパッケージ化します。

5. サンドボックス実行

分離された環境でコードとツールを実行して、より安全で可靠性の高い分析を実現します。

インストール

使用チュートリアル - インストール - Docker - ソースコード - クイックスタート - アプリケーション - アプリの使用 - AWELフローの使用 - デバッグ - 高度な使用法 - SMMF - ファインチューニング - AWEL

特徴

現在、私たちはいくつかの主要な機能を紹介して、現在の能力を示しています： - プライベートドメインQ&A＆データ処理

DB-GPTプロジェクトは、知識ベースの構築を改善し、構造化および非構造化データの両方の効率的なストレージと検索を可能にする一連の機能を提供します。これらの機能には、複数のファイル形式のアップロードのサポート、カスタムデータ抽出プラグインの統合、および大量の情報を効果的に管理するための統一されたベクトルストレージと検索機能が含まれます。

• マルチデータソース＆GBI（Generative Business Intelligence）

DB-GPTプロジェクトは、Excel、データベース、データウェアハウスなどのさまざまなデータソースとの自然言語のシームレスな対話を容易にします。これらのソースから情報を照会および取得するプロセスを簡素化し、直感的な会話を行い、洞察を得ることができます。さらに、DB-GPTは分析レポートの生成をサポートし、ユーザーに貴重なデータの要約と解釈を提供します。

• マルチエージェント＆プラグイン

さまざまなタスクを実行するためのカスタムプラグインのサポートを提供し、Auto-GPTプラグインモデルをネイティブにサポートしています。エージェントプロトコルは、エージェントプロトコル標準に準拠しています。

• 自動ファインチューニングText2SQL

私たちはまた、大規模言語モデル（LLM）、Text2SQLデータセット、LoRA/QLoRA/Pturningなどのファインチューニング方法を中心に、自動ファインチューニングの軽量フレームワークを開発しました。このフレームワークは、Text-to-SQLファインチューニングをアセンブリラインのように簡単にします。DB-GPT-Hub

• SMMF（サービス指向マルチモデル管理フレームワーク）

私たちは、LLaMA/LLaMA2、Baichuan、ChatGLM、Wenxin、Tongyi、Zhipuなど、オープンソースおよびAPIエージェントからの数十の大規模言語モデル（LLM）を含む幅広いモデルをサポートしています。

• ニュース