GPT-Load

English | 中文 | 日本語

複数のAIサービスを統合する必要がある企業や開発者向けに特別に設計された、高性能でエンタープライズグレードのAI APIトランスペアレントプロキシサービス。Goで構築され、インテリジェントなキー管理、ロードバランシング、包括的な監視機能を備え、高並行性の本番環境向けに設計されています。

詳細なドキュメントについては、公式ドキュメントをご覧ください。

スポンサー

	Unity2.aiによる本プロジェクトへのスポンサー支援に感謝します！Unity2.aiは、個人開発者、チーム、企業向けの高性能AIモデルAPI中継プラットフォームです。中国国内の大手企業に長期的にサービスを提供しており、1日あたり300億token超の呼び出しを処理し、5000 RPM級の高並行性をサポートします。残高課金、初回チャージ特典、組み合わせサブスクリプション、企業向け請求書発行、専属連携サポートに対応しています。こちらのリンクから登録すると$2の残高を受け取れ、公式グループ参加でさらに$10の残高、最大$12の無料枠を受け取れます。
	LINUX DOコミュニティからのサポートに心より感謝いたします！
	このプロジェクトはDigitalOceanの支援を受けています。

特徴

• トランスペアレントプロキシ: ネイティブAPIフォーマットの完全な保持、OpenAI、Google Gemini、Anthropic Claudeなどのフォーマットをサポート
• インテリジェントキー管理: グループベース管理、自動ローテーション、障害復旧を備えた高性能キープール
• ロードバランシング: サービスの可用性を向上させる複数のアップストリームエンドポイント間の重み付けロードバランシング
• スマート障害処理: サービスの継続性を確保する自動キーブラックリスト管理と復旧メカニズム
• 動的設定: システム設定とグループ設定は再起動不要のホットリロードをサポート
• エンタープライズアーキテクチャ: 水平スケーリングと高可用性をサポートする分散リーダー・フォロワーデプロイメント
• モダンな管理: Vue 3ベースの直感的で使いやすいWeb管理インターフェース
• 包括的な監視: リアルタイム統計、ヘルスチェック、詳細なリクエストログ
• 高性能設計: ゼロコピーストリーミング、接続プール再利用、アトミック操作
• 本番対応: グレースフルシャットダウン、エラー復旧、包括的なセキュリティメカニズム
• デュアル認証: 管理とプロキシの分離認証、プロキシ認証はグローバルおよびグループレベルのキーをサポート

サポートされているAIサービス

GPT-Loadは、さまざまなAIサービスプロバイダーのネイティブAPIフォーマットを完全に保持するトランスペアレントプロキシサービスとして機能します：

• OpenAIフォーマット: 公式OpenAI API、Azure OpenAI、その他のOpenAI互換サービス
• Google Geminiフォーマット: Gemini Pro、Gemini Pro VisionなどのモデルのネイティブAPI
• Anthropic Claudeフォーマット: Claudeシリーズモデル、高品質な会話とテキスト生成をサポート

クイックスタート

システム要件

• Go 1.24+（ソースビルド用）
• Docker（コンテナ化デプロイメント用）
• MySQL、PostgreSQL、またはSQLite（データベースストレージ用）
• Redis（キャッシュと分散調整用、オプション）

方法1: Dockerクイックスタート

docker run -d --name gpt-load \
    -p 3001:3001 \
    -e AUTH_KEY=your-secure-key-here \
    -v "$(pwd)/data":/app/data \
    ghcr.io/tbphp/gpt-load:latest

your-secure-key-hereを強力なパスワードに変更してください（デフォルト値は絶対に使用しないでください）。その後、管理インターフェースにログインできます：http://localhost:3001

方法2: Docker Composeを使用（推奨）

インストールコマンド：

# ディレクトリを作成
mkdir -p gpt-load && cd gpt-load

# 設定ファイルをダウンロード
wget https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/docker-compose.yml
wget -O .env https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/.env.example

# .envファイルを編集し、AUTH_KEYを強力なパスワードに変更します。デフォルトやsk-123456のような単純なキーは絶対に使用しないでください。

# サービスを開始
docker compose up -d

デプロイメント前に、デフォルトの管理キー（AUTH_KEY）を必ず変更してください。推奨フォーマット：sk-prod-[32文字のランダム文字列]。

デフォルトのインストールは、軽量な単一インスタンスアプリケーションに適したSQLiteバージョンを使用します。

MySQL、PostgreSQL、Redisをインストールする必要がある場合は、docker-compose.ymlファイルで必要なサービスのコメントを解除し、対応する環境変数を設定して、再起動してください。

その他のコマンド：

# サービスステータスを確認
docker compose ps

# ログを表示
docker compose logs -f

# サービスを再起動
docker compose down && docker compose up -d

# 最新バージョンに更新
docker compose pull && docker compose down && docker compose up -d

デプロイメント後：

• Web管理インターフェースにアクセス：http://localhost:3001
• APIプロキシアドレス：http://localhost:3001/proxy

変更したAUTH_KEYを使用して管理インターフェースにログインしてください。

方法3: ソースビルド

ソースビルドには、ローカルにインストールされたデータベース（SQLite、MySQL、またはPostgreSQL）とRedis（オプション）が必要です。

# クローンとビルド
git clone https://github.com/tbphp/gpt-load.git
cd gpt-load
go mod tidy

# 設定を作成
cp .env.example .env

# .envファイルを編集し、AUTH_KEYを強力なパスワードに変更します。デフォルトやsk-123456のような単純なキーは絶対に使用しないでください。
# .envでDATABASE_DSNとREDIS_DSNの設定を変更
# REDIS_DSNはオプションです。設定されていない場合、メモリストレージが有効になります

# 実行
make run

デプロイメント後：

• Web管理インターフェースにアクセス：http://localhost:3001
• APIプロキシアドレス：http://localhost:3001/proxy

変更したAUTH_KEYを使用して管理インターフェースにログインしてください。

方法4: クラスターデプロイメント

クラスターデプロイメントでは、すべてのノードが同じMySQL（またはPostgreSQL）とRedisに接続する必要があり、Redisは必須です。統一された分散MySQLとRedisクラスターの使用を推奨します。

デプロイメント要件：

• すべてのノードは同一のAUTH_KEY、DATABASE_DSN、REDIS_DSNを設定する必要があります
• リーダー・フォロワーアーキテクチャで、フォロワーノードは環境変数を設定する必要があります：IS_SLAVE=true

詳細については、クラスターデプロイメントドキュメントを参照してください。

設定システム

設定アーキテクチャの概要

GPT-Loadは二層設定アーキテクチャを採用しています：

1. 静的設定（環境変数）

• 特性: アプリケーション起動時に読み込まれ、実行時は不変、有効にするにはアプリケーションの再起動が必要
• 用途: データベース接続、サーバーポート、認証キーなどのインフラストラクチャ設定
• 管理: .envファイルまたはシステム環境変数を介して設定

2. 動的設定（ホットリロード）

• システム設定: データベースに保存され、アプリケーション全体に統一された動作標準を提供
• グループ設定: 特定のグループ用にカスタマイズされた動作パラメータ、システム設定を上書き可能
• 設定優先度: グループ設定 > システム設定 > 環境設定
• 特性: ホットリロードをサポート、変更後はアプリケーションの再起動なしで即座に有効

静的設定（環境変数）

サーバー設定：

セキュリティ設定：

データベース設定：

パフォーマンス＆CORS設定：

ログ設定：

プロキシ設定：

GPT-Loadは、アップストリームAIプロバイダーへのリクエストを行うために環境変数からプロキシ設定を自動的に読み取ります。

サポートされているプロキシプロトコルフォーマット：

• HTTP: http://user:pass@host:port
• HTTPS: https://user:pass@host:port
• SOCKS5: socks5://user:pass@host:port

動的設定（ホットリロード）

基本設定：

リクエスト設定：

キー設定：

データ暗号化移行

GPT-LoadはAPIキーの暗号化保存をサポートしています。いつでも暗号化を有効化、無効化、または暗号化キーを変更できます。

データ暗号化移行の詳細を表示

移行シナリオ

• 暗号化を有効化: プレーンテキストデータを暗号化して保存 - --to <新しいキー>を使用
• 暗号化を無効化: 暗号化されたデータをプレーンテキストに復号化 - --from <現在のキー>を使用
• 暗号化キーを変更: 暗号化キーを置き換える - --from <現在のキー> --to <新しいキー>を使用

操作手順

Docker Composeデプロイメント

```bash

1. イメージを更新（最新バージョンを使用していることを確認）

docker compose pull

2. サービスを停止

docker compose down

3. データベースをバックアップ（強く推奨）

移行前