Alephant AI Gateway

开源、兼容 OpenAI 的 AI 网关：支持 50+ 家提供商、320+ 款模型及自定义模型后端。

在一个对开发者友好的接入点上完成流量路由、提供商 API 适配、响应缓存、策略执行与全链路观测。

快速开始 · 官网 · 功能 · IDE · 架构 · 截图 · 对比 · 更新日志 · 社区 · 文档

开始使用 → · English

什么是 Alephant AI Gateway

Alephant AI Gateway 是面向生产级 AI 应用的 OpenAI 兼容控制层，既可作为托管 SaaS（Alephant Cloud）使用，也可自托管网关。开发者只需对接一套稳定的 API，由网关负责各家提供商的适配、模型路由、策略执行、分层缓存、重试与回退、用量元数据、请求日志与审计轨迹。

应用无需再逐个直连各家提供商；团队一次接入，即可在 50+ 提供商、320+ 模型与自定义后端之间路由。可从 Alephant Cloud 托管工作区起步；若需要私有基础设施、自带密钥（BYO keys）与直接运维控制，则自托管网关。

import OpenAI from "openai"

const openai = new OpenAI({
  baseURL: "https://ai.alephant.io/v1",
  defaultHeaders: {
    Authorization: `Bearer ${process.env.ALEPHANT_API_KEY}`,
    "Alephant-Session-Id": "session-xxx", // 可选
  }
})

项目状态

Alephant AI Gateway 当前处于 beta（0.2.0-beta.30）。Alephant Cloud 为托管 SaaS 路径；本仓库提供用于自托管及与平台对接部署的网关运行时。在稳定版 1.0 发布前，公开 API、配置项与内部构建模式仍可能演进。

为什么需要它

AI 应用正从单模型原型走向会调用多家提供商、Agent、工具与自定义后端的生产系统。没有网关时，每个团队都会重复搭建同一套运维层：提供商适配、路由规则、密钥管理、用量元数据、重试、缓存与请求日志。

Alephant AI Gateway 将上述能力收敛到一套 OpenAI 兼容 API 之后：开发者获得稳定的集成面；平台团队在访问上游前可做策略、在重复调用前可缓存、在故障前可回退、在事故前可留审计。

目标很简单：让 AI 流量可观测、可治理、可依赖，同时尽量不拖慢开发者。了解更多 →

功能

开发者接口

架构与请求生命周期

每个请求都经过同一套网关生命周期：全局中间件、路由、提供商映射、派发、缓存、回退与异步日志。入口路径取决于你希望的控制粒度：

多提供商适配

同一套 OpenAI 风格请求可覆盖 50+ 提供商与 320+ 模型，包括 OpenAI 兼容 API、Anthropic Messages、Gemini、Bedrock、Ollama、OpenRouter 式目录与自定义后端。客户端通过 model=provider/model_id 选择运行时；Alephant 解析提供商、应用对应适配器、映射各家专有字段，并返回归一化的 OpenAI 风格响应。

README 不枚举全部模型，本节强调契约：一种请求进，一种一致响应出。提供商与模型目录可独立演进，无需强制改应用代码。

主流模型	GPT-4o · GPT-4.1 · o3 · Claude 3.5/3.7 Sonnet · Claude Opus · Gemini 1.5/2.0 · Llama 3/4 · Mistral Large · Command R+
提供商生态	OpenAI · Anthropic · Google Gemini · AWS Bedrock · Azure OpenAI · OpenRouter · Together AI · Fireworks · Groq · Cohere · Mistral · Perplexity · DeepSeek · xAI · Ollama
Agent 客户端兼容	Cursor · Codex · opencode · Antigravity

IDE 适配

Alephant AI Gateway 在仓库内为支持 AI 辅助开发的 IDE 提供工程化配置。

快速开始

使用 Alephant Cloud（托管 SaaS）

继续使用现有 OpenAI SDK，只需修改 base URL 与鉴权头。应用仍用熟悉的 OpenAI 风格调用，由 Alephant Cloud 提供托管工作区、网关端点、提供商解析、路由、缓存、日志与回退。

设置网关密钥：

export ALEPHANT_API_KEY="vk-..."

使用 curl 冒烟测试：

curl https://ai.alephant.io/v1/chat/completions \
  -H "Authorization: Bearer $ALEPHANT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o",
    "messages": [
      { "role": "user", "content": "用一句话解释 Alephant AI Gateway。" }
    ]
  }'

或使用 OpenAI SDK：

import OpenAI from "openai"

const openai = new OpenAI({
  baseURL: "https://ai.alephant.io/v1",
  defaultHeaders: {
    Authorization: `Bearer ${process.env.ALEPHANT_API_KEY}`,
    "Alephant-Session-Id": "demo-session", // 可选：将请求归入同一条 trace/会话
  }
})

const response = await openai.chat.completions.create({
  model: "openai/gpt-4o",
  messages: [
    { role: "user", content: "用一句话解释 Alephant AI Gateway。" }
  ]
})

console.log(response.choices[0]?.message?.content)

开始使用 →

从源码自托管

Alephant AI Gateway 可作为独立的自托管 Rust 服务运行。可将自有应用指向本地网关，对接 PostgreSQL / Redis / Qdrant / S3 兼容基础设施，并在部署侧控制提供商密钥、路由器配置、缓存行为与日志目的地。

当你需要在自有网络内运行网关、完全掌控上游凭证，或在接入 Alephant Cloud 之前验证适配与路由行为时，自托管尤为合适。

前置条件

构建 ai-gateway 时，--features external 与 --features internal 必须且仅能启用其一。

构建

cargo build -p ai-gateway --features external

external 面向公开/开放部署模式；internal 适用于带有内部 KV/后端假设的环境。请勿同时启用两套 feature。

本地运行

cargo run -p ai-gateway --features external -- -c ./ai-gateway/config/local.yaml

配置文件控制数据库连接、提供商设置、缓存服务、可观测性与运行时行为。本地开发可从 ai-gateway/config/local.yaml 起步并按你的服务调整。

配置

网关读取 YAML 配置文件，并支持对环境敏感项使用环境变量覆盖。尽量勿将提供商密钥、S3 凭证、Redis URL 等秘密提交进 YAML。

常用起点：

环境变量覆盖遵循配置加载器的 AI_GATEWAY__... 约定，例如 AI_GATEWAY__S3__ACCESS_KEY、AI_GATEWAY__S3__SECRET_KEY、AI_GATEWAY__REQUEST_LOG__LOG_QUEUE_REDIS_URL。

验证

保持本地网关进程运行。冒烟测试默认指向本地网关地址 http://localhost:8080。

cargo run -p test

也可将 OpenAI 兼容 SDK 指向自托管网关：

import OpenAI from "openai"

const openai = new OpenAI({
  baseURL: "http://localhost:8080/v1",
  defaultHeaders: {
    Authorization: `Bearer ${process.env.ALEPHANT_VIRTUAL_KEY}`,
  }
})

集成测试

cargo test -p ai-gateway --tests --features "external integration"

安全与隐私

Alephant AI Gateway 同时面向托管 SaaS 与自托管场景，后者通常需要自主控制提供商凭证、请求元数据与部署边界。

运行时内部机制

截图

围绕网关探索 Alephant 工作区体验：用量总览、请求日志、会话、缓存可见性、洞察与治理控制。

总览	请求日志

_{工作区级用量、请求量、延迟、token 与缓存健康度。} |

_{按请求查看状态、模型、来源、token、费用与上游结果。} |

会话	缓存

_{追踪 Agent 与应用在多步中的旅程、耗时、花费与状态。} |

_{监控缓存命中、节省、重复 prompt 与高频复用响应。} |

洞察	治理

_{从网关流量中呈现可靠性、花费与效率信号。} |

_{配置用量上限、预算控制、限流与策略规则。} |

对比

Portkey、Alephant 与 LiteLLM 都是优秀项目，但侧重点不同。Alephant 面向交付 Agent 类 AI 产品的团队：托管 SaaS 工作区 + 自托管网关路径，覆盖 Agent 开发、成本控制、提供商路由、治理与运维可见性。

Alephant 的差异化在于组合：托管 SaaS、自托管 Rust 网关、Agent 优先的开发者兼容、成本控制工作流、BYO 密钥治理、显式提供商适配与工作区级 AI FinOps。

仓库结构

alephant-ai-gateway/
├── ai-gateway/                 # 网关服务 crate
├── crates/                     # 共享库与 harness
├── docs/                       # 仓库内说明；精选文档见 https://developers.alephant.io/
├── scripts/                    # CI 与本地自动化
├── infrastructure/             # 部署与可观测性基础设施
├── test/                       # 集成与运行时测试辅助
├── AGENTS.md                   # Agent 协作约定
├── CLAUDE.md                   # 命令与架构参考
└── CHANGELOG.md                # 项目变更日志

社区

• 官网：alephant.io
• 文档：developers.alephant.io
• Discord：discord.gg/tRQghcXhaH
• Telegram：t.me/alephantai
• X：x.com/alephantai

贡献

欢迎通过 issue 与 pull request 参与贡献。

有价值的贡献方向：

• 提供商适配器正确性与 API 映射。
• 路由、回退与韧性行为。
• 可观测性与诊断质量。
• 测试 harness 覆盖与文档清晰度。

若为较大改动，请附上可复现的验证步骤与 feature flag 上下文（external 或 internal）。

许可

基于 GPL License 3.0 授权。 在适用情况下保留上游许可连续性。