Method get_available_instance

tools/utils.py:171–176

使用轮询策略获取一个可用的实例

(self)

        

    def get_available_instance(self):
        """使用轮询策略获取一个可用的实例"""
        with self.lock:
            instance = self.instances[self.current_instance]
            self.current_instance = (self.current_instance + 1) % len(self.instances)
            return instance["port"]  # 返回端口

    def generate_text(self, prompt,system_prompt=None, history_messages=[], **kwargs):
        """发送请求到选择的实例"""