MCPcopy Index your code
hub / github.com/SkyworkAI/DeepResearchAgent / eval

Method eval

src/benchmark/leetcode.py:1211–1230  ·  view source on GitHub ↗

评测任务 - 现在使用批量队列模式。 将任务加入队列,当队列满时自动批量评测。 调用方需要在所有任务完成后调用 flush_eval_queue() 处理剩余任务。 时间记录: - inference_time: 推理耗时(由调用方设置) - submit_time: 浏览器提交耗时 - spend_time: 总处理时间 = inference_time + submit_time

(self, task: Task)

Source from the content-addressed store, hash-verified

1209 return batch_tasks
1210
1211 async def eval(self, task: Task) -> Optional[Task]:
1212 """
1213 评测任务 - 现在使用批量队列模式。
1214
1215 将任务加入队列,当队列满时自动批量评测。
1216 调用方需要在所有任务完成后调用 flush_eval_queue() 处理剩余任务。
1217
1218 时间记录:
1219 - inference_time: 推理耗时(由调用方设置)
1220 - submit_time: 浏览器提交耗时
1221 - spend_time: 总处理时间 = inference_time + submit_time
1222 """
1223 await self.queue_for_eval(task)
1224
1225 # 检查任务是否已被评测(队列满时会自动触发评测)
1226 if task in self._tasks:
1227 return task
1228
1229 # 任务还在队列中,返回未评测状态
1230 return task
1231
1232 async def stats(self) -> Optional[Stats]:
1233 total = len(self._data_records)

Callers

nothing calls this directly

Calls 1

queue_for_evalMethod · 0.95

Tested by

no test coverage detected