Function write_jsonl

tools/io_file.py:427–447

写入JSONL文件，支持多线程处理。 参数: - file_path (str): 文件路径。 - data (list): 要写入的JSON数据。 - mode (str): 写入模式，默认为 'a'（追加模式），可以选择 'w'（覆盖模式）。 - chunk_size (int): 数据大小阈值，单位为字节。 - encoding (str): 写入文件的编码格式，默认为 'utf-8'。

(file_path, data, mode, chunk_size, encoding='utf-8')

def write_jsonl(file_path, data, mode, chunk_size, encoding='utf-8'):
    """
    写入JSONL文件，支持多线程处理。

    参数:
    - file_path (str): 文件路径。
    - data (list): 要写入的JSON数据。
    - mode (str): 写入模式，默认为 'a'（追加模式），可以选择 'w'（覆盖模式）。
    - chunk_size (int): 数据大小阈值，单位为字节。
    - encoding (str): 写入文件的编码格式，默认为 'utf-8'。
    """
    data_size = len(data)
    if data_size > chunk_size:
        logger.info(f"数据较大，启用多线程写入")
        write_jsonl_multithread(file_path, data, mode, chunk_size, encoding)
    else:
        logger.info(f"写入JSONL文件: {file_path}")
        with open(file_path, mode, encoding=encoding) as f:
            for entry in data:
                json.dump(entry, f, ensure_ascii=False)
                f.write('\n')


def write_jsonl_multithread(file_path, data, mode, chunk_size, encoding='utf-8'):