Function read

tools/io_file.py:20–55

根据文件扩展名读取文件内容，并自动判断是否使用多线程。 TODO: 修正多线程读取功能，暂不可用，所以阈值设置的很大 参数: - file_path (str): 文件路径。 - chunk_size (int): 当文件大于此大小时，使用多线程读取，单位为字节，默认为 10000MB。 - line_threshold (int): 当文件行数大于此值时，使用多线程读取，默认为 1000000 行。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回: - list 或 str: 读取

(file_path, chunk_size=1024*1024*10000, line_threshold=1000000, encoding='utf-8')

def read(file_path, chunk_size=1024*1024*10000, line_threshold=1000000, encoding='utf-8'):
    """
    根据文件扩展名读取文件内容，并自动判断是否使用多线程。
    TODO: 修正多线程读取功能，暂不可用，所以阈值设置的很大

    参数:
    - file_path (str): 文件路径。
    - chunk_size (int): 当文件大于此大小时，使用多线程读取，单位为字节，默认为 10000MB。
    - line_threshold (int): 当文件行数大于此值时，使用多线程读取，默认为 1000000 行。
    - encoding (str): 文件编码格式，默认为 'utf-8'。

    返回:
    - list 或 str: 读取的文件内容。
    """
    file_ext = os.path.splitext(file_path)[1].lower()

    try:
        if file_ext == '.txt':
            return read_txt(file_path, chunk_size, encoding)
        elif file_ext == '.csv':
            return read_csv(file_path, chunk_size, encoding)
        elif file_ext == '.json':
            return read_json(file_path, encoding)
        elif file_ext == '.yaml' or file_ext == '.yml':
            return read_yaml(file_path, encoding)
        elif file_ext == '.xlsx':
            return read_xlsx(file_path, encoding)
        elif file_ext == '.md':
            return read_markdown(file_path, encoding)
        elif file_ext == '.jsonl':
            return read_jsonl(file_path, chunk_size, line_threshold, encoding)
        else:
            raise ValueError(f"不支持的文件格式: {file_ext}")
    except Exception as e:
        logger.error(f"读取文件 {file_path} 时出错: {e}")
        raise


def write(file_path, data, mode='a', chunk_size=1024*1024*100000, encoding='utf-8'):