检查模型是否在健康检测屏蔽清单中 支持层级屏蔽逻辑： 1. 精确匹配：如果模型名称直接在屏蔽清单中，则被屏蔽 2. 层级屏蔽：如果是多模态模型(_mm后缀)，还需检查其基础模型是否被屏蔽 Args: model_name

记录测试结果

Generate a unique request ID based on content and finish time.

Send API key usage information to the API key manager.

维护两套策略, 一套是以便宜为导向, 一套是以时间最少为导向的. Args: model_name (str): 模型名称 mode (str): 模式，可以是"cheap_first"或"fast_f

从API密钥管理服务获取API密钥，失败时使用备用方案 Args: source_name (str): 源名称 Returns: str: API密钥

从多个模型中选择最优的一个进行文本生成 Args: model_list (list): 候选模型名称列表 prompt (str): 输入提示 mode (str): 选择策略，"cheap_

获取实际模型名称，处理多模态模型 Args: source_name (str): 源名称 model_name (str): 模型名称 Returns:

基于预设排名获取源和模型配置 当健康检查数据为空时，基于预设的源排名获取配置。 Args: model_name (str): 模型名称 Returns:

检查模型是否在源上有效 Args: source_name (str): 源名称 model_name (str): 模型名称 Returns: boo

获取有效的可用源列表（过滤掉空的源）

Remove thinking chains from text content. Args: text (str): Input text that may contain thinking chains. Returns:

检查健康数据是否为空 检查指定模型在所有源上的健康数据是否全部为空数组。 对于健康检测屏蔽清单中的模型，始终返回True以强制使用预设排名。 Args: model_name (str): 要

通知服务关于API密钥的使用情况。 参数: api_key: 使用的API密钥 model_name: 模型名称 source_name: 接口供应商名称 create_

记录API密钥使用情况

Build image URL content that supports both formats: 1. Direct format: "image_url": "url_string" 2. Nested format: "image_url"

Verify that model mappings are valid and not None

计算汇总统计

从本地健康检查服务获取API健康状态数据 Returns: dict: 包含时间戳、检查间隔和健康数据的字典

创建简洁的错误摘要 Args: error_message: 原始错误消息 error_type: 错误类型 source_name: 源名称 model_name: 模型名称 Return

获取指定源的API密钥

从一批模型中选择帕累托最优的模型 Args: model_list (list): 模型名称列表 mode (str): 选择模式，"fast_first"或"cheap_first" inpu

根据错误类型确定日志级别和消息 Args: error_message (str): 错误消息 error_type (str): 错误类型 source_name (str): 源名称 model_name (str

Validate that the model is in the allowed list for function_calling method

Validate that the model is in the allowed list for generate method

Validate that the model is in the allowed list for generate_mm method

过滤和清理日志记录

使用自定义默认超时值的函数

使用自定义超时参数名的函数

使用带有timeout参数的函数

生成测试报告汇总

获取特定源的API密钥。 参数: source_name: 接口供应商名称 返回: API密钥，如果请求失败则返回None

动态获取可用的源列表

打印测试菜单

运行单个测试脚本

运行指定的测试

测试并发负载

测试响应时间分布

定时任务：更新失败的API密钥缓存

等待直到允许进行调用

根据不同供应商构建正确格式的多模态消息 Args: prompt (str): 文本提示 test_image_base64 (str): Base64编码的测试图像 source_name (str): 供应商名称

Download an image from URL and convert it to base64. Args: img_url (str): The URL of the image to download

生成失败密钥的汇总报告

生成健康检查的详细汇总报告

判断是否为商业性错误（如余额不足、配额超限等） Args: error_message (str): 错误消息 Returns: bool: 如果是商业性错误返回True，技术性错误返回False

判断是否为超时错误 Args: error_message (str): 错误消息 Returns: bool: 如果是超时错误返回True

Validate that the model is in the allowed list for embedding method

Validate that the model is in the allowed list for generate_doc method

Validate that the model is in the allowed list for reranker method

Validate that the model is available on Google source

分析边界测试结果

分析性能测试结果

分析测试结果

计算成本节省

检查API服务的健康状态

检查各源的可用性

统计每个模型在多少个源（供应商）中可用 考虑多模态模型和非多模态模型的映射关系： - 如果多模态模型值为None，则使用对应的非多模态模型 - 统计每个模型实际可用的源数量 返回: - model_source_count: 字典

创建所有数据库表，如果表已存在则跳过，并处理表结构迁移

端到端场景测试

使用默认超时值的函数

使用PDF文档处理模型生成响应（仅支持Google源的模型） 使用requests直接调用Google的generateContent API Args: model_name (str): 模型名称（必须是Google源支

从多个多模态模型中选择最优的一个进行生成 Args: model_list (list): 候选多模态模型名称列表 prompt (str): 文本提示 img_base64 (str): Ba

生成改进建议

生成唯一的请求ID，基于时间戳和随机数的MD5哈希

生成测试报告

融合两个不同指标的排序 将两个不同指标的排序结果按给定权重融合为一个新的排序结果。 Args: ranking_1 (dict): 第一个指标的排序结果 ranking_2 (dict

获取数据库会话

尝试创建数据库引擎并处理连接错误

主函数

主函数

主函数

主函数

主函数

生成性能图表

打印每个模型的源可用性统计信息 按模型类型分组显示，并提供详细的统计信息

记录所有源和所有API密钥的使用情况

运行所有测试

运行所有测试

运行所有边界测试

运行所有性能测试

快速测试（用于验证基本功能）

运行压力测试

运行压力测试 Args: num_processes: 进程数 num_threads: 每个进程的线程数 requests_per_worker: 每个工作线程的请求数 sources: 要测试的源列表，如

设置优化的日志配置 Args: log_level: 日志级别 console_format: 控制台输出格式 ('simple', 'detailed', 'structured') file_format: 文件输出格式

显示简化总结

显示使用示例

并发请求压力测试