Function read_jsonl

tools/io_file.py:296–318

读取JSONL文件，支持多线程处理。 参数: - file_path (str): 文件路径。 - chunk_size (int): 文件大小阈值，单位为字节。 - line_threshold (int): 行数阈值，超过此值使用多线程。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回: - list: 读取的JSONL文件内容。

(file_path, chunk_size, line_threshold, encoding='utf-8')

def read_jsonl(file_path, chunk_size, line_threshold, encoding='utf-8'):
    """
    读取JSONL文件，支持多线程处理。

    参数:
    - file_path (str): 文件路径。
    - chunk_size (int): 文件大小阈值，单位为字节。
    - line_threshold (int): 行数阈值，超过此值使用多线程。
    - encoding (str): 文件编码格式，默认为 'utf-8'。

    返回:
    - list: 读取的JSONL文件内容。
    """
    file_size = os.path.getsize(file_path)
    num_lines = sum(1 for _ in open(file_path, 'r', encoding=encoding))

    if file_size > chunk_size or num_lines > line_threshold:
        logger.info(f"文件 {file_path} 较大，启用多线程读取")
        return read_jsonl_multithread(file_path, chunk_size, num_lines, encoding)
    else:
        logger.info(f"读取JSONL文件: {file_path}")
        with open(file_path, 'r', encoding=encoding) as f:
            return [json.loads(line) for line in f]


def read_jsonl_multithread(file_path, chunk_size, num_lines, encoding='utf-8'):