GPROXY

单个 Rust 二进制的高性能、多供应商 LLM 代理 —— 内嵌 React 控制台、多租户鉴权, 同一套引擎可原生 / Docker / 边缘(WebAssembly) 三种形态运行。

English · 简体中文

• 🪪 许可证: AGPL-3.0-or-later · 🐳 镜像: ghcr.io/leenhawk/gproxy
• 🦀 构建目标: 原生二进制 · Docker · 边缘 wasm(Cloudflare / Deno / Netlify / Supabase / EdgeOne / Appwrite)
• 🖥️ 控制台: 内置,路径 /console

它做什么

GPROXY 在众多上游 LLM 供应商之上,暴露统一的 OpenAI / Anthropic / Gemini 兼容 HTTP 接口,并补齐把它当共享服务运行所需的一切:

• 多供应商路由 —— OpenAI、Anthropic、Gemini/Vertex、DeepSeek、Groq、OpenRouter、 NVIDIA、Vercel AI Gateway、Claude Code、Codex,以及任意 OpenAI 兼容自定义端点。
• 两种路由模式 —— 聚合 /v1/...(供应商写在模型名里)与限定 /{provider}/v1/... (供应商写在 URL 里)。
• 跨协议转换 —— OpenAI 客户端可打 Claude 上游(反之亦然);同方言走极简解析快路径。
• 多租户鉴权 —— 用户、API key、glob 模型权限、RPM/RPD/token 限速、USD 配额; Claude 提示缓存、改写规则、熔断。
• 可插拔存储 —— SQLite / PostgreSQL / MySQL,可选静态加密。
• 内置控制台 —— 无需单独部署前端。

部署

🐳 一键(Docker,推荐)

完全自包含:内嵌控制台、文件式 SQLite、无需外部服务。

docker run -p 8787:8787 -e GPROXY_ADMIN_PASSWORD=change-me-min12char ghcr.io/leenhawk/gproxy
# 然后打开 http://localhost:8787/console (admin / change-me-min12char)

管理员密码至少 12 个字符 —— 过短容器启动即以 GPROXY_ADMIN_PASSWORD rejected 报错退出。

用非 localhost 地址(局域网 IP、服务器 IP、隧道)经明文 HTTP 访问控制台? 会话 cookie 默认带 Secure,浏览器会把它丢弃,于是即使密码正确,控制台登录后也会立刻弹回登录页。加上 -e GPROXY_INSECURE_COOKIES=1,或在前面挂 HTTPS 反代。http://localhost:8787 则直接可用。

☁️ Serverless 边缘(WebAssembly)

同一套路由可作为 wasm 边缘函数跑在六个平台上。预构建、即点即部署的产物在 deploy 分支(平台侧没有 cargo, 无需工具链)。边缘函数需要外部 Turso 控制面库(+ 可选 Upstash 缓存);完整步骤见 docs/edge-deploy.md。

Cloudflare 和 Netlify 按钮会在部署前要求填写必需的 TURSO_URL 和 TURSO_TOKEN secrets。这里要填 Turso 的 HTTP URL(https://<db>.turso.io)， 不要填 libsql:// URL。可选的 Upstash cache 和 GPROXY_MASTER_KEY secrets 可以在 worker/site 创建后再补。Cloudflare Workers、Netlify Edge、Deno Deploy 和 EdgeOne Pages 会在同一个部署里带上 Console 静态资产。设置 GPROXY_ADMIN_USER 和 至少 12 个字符的 GPROXY_ADMIN_PASSWORD，部署后打开 /console。

📦 原生二进制

每个 release 都提供预编译二进制 (linux/macOS/windows,x86_64 + aarch64)。或自行 cargo build --release。

配置

GPROXY 用环境变量配置;运行期配置进数据库,通过 /console 管理。

从 v1 升级? 把 v2 二进制指向你现有的 v1 SQLite 库,首启动会就地迁移(旧库备份为 *.v1.bak)。

第一个请求

# 聚合 —— 供应商/模型写在 body 里
curl http://127.0.0.1:8787/v1/chat/completions \
  -H "Authorization: Bearer <your-key>" -H "Content-Type: application/json" \
  -d '{"model":"openai-main/gpt-4.1-mini","messages":[{"role":"user","content":"Hello"}]}'

运维端点(/healthz、/version、/metrics)走 admin 鉴权。

文档

• 边缘部署 · 架构设计 · 开发者指南

许可证

AGPL-3.0-or-later · 作者:LeenHawk