Function write

tools/io_file.py:58–94

根据文件扩展名写入数据到文件，并自动判断是否使用多线程。 TODO: 修正多线程保存功能，暂不可用，所以阈值设置的很大 参数: - file_path (str): 文件路径。 - data (any): 要写入的数据。 - mode (str): 写入模式，默认为 'a'（追加模式），也可以选择 'w'（覆盖模式）。 - chunk_size (int): 当数据量较大时，使用多线程写入，单位为字节，默认为 10MB。 - encoding (str): 写入文件的编码格式，默认为 'utf-8'。

(file_path, data, mode='a', chunk_size=1024*1024*100000, encoding='utf-8')

def write(file_path, data, mode='a', chunk_size=1024*1024*100000, encoding='utf-8'):
    """
    根据文件扩展名写入数据到文件，并自动判断是否使用多线程。
    TODO: 修正多线程保存功能，暂不可用，所以阈值设置的很大

    参数:
    - file_path (str): 文件路径。
    - data (any): 要写入的数据。
    - mode (str): 写入模式，默认为 'a'（追加模式），也可以选择 'w'（覆盖模式）。
    - chunk_size (int): 当数据量较大时，使用多线程写入，单位为字节，默认为 10MB。
    - encoding (str): 写入文件的编码格式，默认为 'utf-8'。
    """

    create_if_not_exist(file_path)
        
    file_ext = os.path.splitext(file_path)[1].lower()

    try:
        if file_ext == '.txt':
            write_txt(file_path, data, mode, chunk_size, encoding)
        elif file_ext == '.csv':
            write_csv(file_path, data, mode, chunk_size, encoding)
        elif file_ext == '.json':
            write_json(file_path, data, mode, encoding)
        elif file_ext == '.yaml' or file_ext == '.yml':
            write_yaml(file_path, data, mode, encoding)
        elif file_ext == '.xlsx':
            write_xlsx(file_path, data, encoding)
        elif file_ext == '.md':
            write_markdown(file_path, data, mode, encoding)
        elif file_ext == '.jsonl':
            write_jsonl(file_path, data, mode, chunk_size, encoding)
        else:
            raise ValueError(f"不支持的文件格式: {file_ext}")
    except Exception as e:
        logger.error(f"写入文件 {file_path} 时出错: {e}")
        raise