Vector DB Bench

大模型后端代码能力评测系统。让 LLM 从零实现向量数据库，以搜索 QPS 量化后端工程能力。

工作原理

1. 提供 Rust 骨架代码（HTTP API + 空实现桩）
2. LLM 通过 Tool Call Agent 读写文件、编译、测试、profiling
3. 50 次 tool call 内完成实现和优化
4. 最终以 SIFT1M 数据集 benchmark，recall ≥ 95% 的前提下按 QPS 排名

排行榜

快速开始

MODEL_NAME={model_name} \
CPU_CORES=0-3 \
THINKING_MODE=openai \
API_INTERVAL_MS=10000 \
WORK_DIR=./leaderboard/{model_name} \
API_URL={api_address} \
API_KEY={your_api_key} \
MODEL_ID={model_name} \
bash scripts/run_eval.sh 

详细使用说明见 USAGE.md。

如果显式设置了 REASONING_EFFORT，且当前 THINKING_MODE 支持 effort 风格推理参数，排行榜显示名、结果文件名以及重建 leaderboard 时读取到的模型名会自动追加后缀，例如 gpt-5.4-pro(xhigh)。

测试项标签

本基准测试从以下维度考察大模型的编码能力和计算机科学知识：

技术栈

• Rust — 骨架代码、Benchmark Client、Agent 框架
• Python — 数据预处理脚本
• SIFT1M — 128 维 × 100 万条标准向量检索数据集

项目结构

skeleton/    骨架代码（模型实现 db.rs + distance.rs）
benchmark/   Benchmark Client（QPS / recall / 反作弊）
agent/       Tool Call Agent 框架（LLM 交互运行时）
scripts/     数据下载、转换、ground truth 生成、评测编排
leaderboard/ 测试数据和报告

License

MIT