Function inference_and_queue_worker

examples/run_leetcode_agent.py:326–358

推理工作器：完成推理后直接入队。 队列满 batch_size 时自动触发 push + 评测。 使用 benchmark 内部的队列锁确保同一时间只有一个 task 入队。

(task: Task)

              f"Errors: {stats['direct_saved']}", end="", flush=True)
    
    async def inference_and_queue_worker(task: Task):
        """
        推理工作器：完成推理后直接入队。
        队列满 batch_size 时自动触发 push + 评测。
        使用 benchmark 内部的队列锁确保同一时间只有一个 task 入队。
        """
        # 1. 执行推理
        inferred_task = await inference_single_task(task, save_dir, inference_semaphore)
        
        # 2. 更新统计并入队
        async with stats_lock:
            stats["inference_done"] += 1
            
            if not inferred_task.result:
                # 推理失败，直接保存结果，不入队列
                stats["direct_saved"] += 1
                if hasattr(benchmark, 'save_error_result_directly'):
                    await benchmark.save_error_result_directly(inferred_task, prediction="response_error")
                logger.info(f"| ⚠️ [Task {inferred_task.task_id}] No code, saved directly")
            else:
                # 推理成功，入队列（benchmark 内部有锁）
                stats["queued"] += 1
                
        # 入队操作放在 stats_lock 外面，避免死锁
        # benchmark.queue_for_eval 内部有自己的锁
        if inferred_task.result:
            triggered_eval = await benchmark.queue_for_eval(inferred_task)
            if triggered_eval:
                async with stats_lock:
                    stats["batches_evaluated"] += 1
        
        print_status()
        return inferred_task
    
    # ==========================================
    # 启动流水线：所有推理任务并发执行