Clean an input string by removing HTML escapes, control characters, and other unwanted characters.

Clean an input string by removing HTML escapes, control characters, and other unwanted characters.

初始化并返回一个日志记录器。 该函数确保所有日志记录器共享相同的处理程序，包括： - 基于时间戳的日志文件 - latest.log 文件 - 控制台输出（带颜色） 参数: - logger_name: 日志记录器的名称 - le

Split a string by multiple markers

Convert response string to JSON, with error handling and fallback to non-standard JSON extraction.

使用轮询策略获取一个可用的实例

使用轮询策略获取一个可用的实例

删除字符串中括号及其中的内容。 包括括号 () 和中文括号（）。 :param line: 原始字符串 :return: 删除括号内容后的字符串

读取jsonl文件，并返回包含每行JSON对象的列表。 :param file_path: .jsonl文件的路径 :return: 包含每行JSON对象的列表

Truncate a list of data by token size

使用多线程写入大CSV文件。 参数: - file_path (str): 文件路径。 - data (DataFrame): 要写入的CSV数据。 - mode (str): 写入模式，默认为 'a'（追加模式），可以选择 'w'（覆盖模式）。

Enclose a string with quotes

Enclose a string with quotes

为三元组抽取描述（支持多线程加速）

Extract the first complete JSON object from the string using a stack to track braces.

Extract the first complete JSON object from the string using a stack to track braces.

从流式响应中提取文本.

Extract key values from a non-standard or malformed JSON string, handling nested objects.

Extract key values from a non-standard or malformed JSON string, handling nested objects.

发送请求到选择的实例

从大模型的回答中获得三元组，并分析异常情况

解析描述响应，生成六元组字符串

解析三元组字符串为结构化字典 :param triple_str: "Head|relation|Tail" 格式的字符串 :return: {"head":..., "relation":..., "tail":...}

Convert a string value to its appropriate type (int, float, bool, None, or keep as string). Work as a more broad 'eval()

Convert a string value to its appropriate type (int, float, bool, None, or keep as string). Work as a more broad 'eval()

处理单个文件的三元组抽取

读取CSV文件。 参数: - file_path (str): 文件路径。 - chunk_size (int): 当文件大于此大小时，使用多线程读取。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回:

使用多线程读取大CSV文件。 参数: - file_path (str): 文件路径。 - chunk_size (int): 文件大小阈值，单位为字节。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回:

读取JSON文件。 参数: - file_path (str): 文件路径。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回: - dict: 读取的JSON文件内容。

读取JSONL文件，支持多线程处理。 参数: - file_path (str): 文件路径。 - chunk_size (int): 文件大小阈值，单位为字节。 - line_threshold (int): 行数阈值，超过此值使用多线程。 -

使用多线程读取大JSONL文件。 参数: - file_path (str): 文件路径。 - chunk_size (int): 文件大小阈值，单位为字节。 - num_lines (int): 文件行数。 - encoding (str): 文

读取Markdown文件。 参数: - file_path (str): 文件路径。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回: - str: 读取的Markdown文件内容。

读取文本文件。 参数: - file_path (str): 文件路径。 - chunk_size (int): 当文件大于此大小时，使用多线程读取。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回: -

使用多线程读取大文本文件。 参数: - file_path (str): 文件路径。 - chunk_size (int): 文件大小阈值，单位为字节。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回:

读取Excel文件。 参数: - file_path (str): 文件路径。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回: - DataFrame: 读取的Excel文件内容。

读取YAML文件。 参数: - file_path (str): 文件路径。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回: - dict: 读取的YAML文件内容。

从已排序的文本文件中去除重复行。 Args: input_file: 已排序的输入文件路径。 output_file: 输出无重复行的文件路径。

批量处理三元组（多线程加速） :return: 处理后的三元组列表

:param jsonl_line: JSONL格式的输入数据 :return: 包含所有打分结果的字典