Function read_csv_multithread

tools/io_file.py:190–215

使用多线程读取大CSV文件。 参数: - file_path (str): 文件路径。 - chunk_size (int): 文件大小阈值，单位为字节。 - encoding (str): 文件编码格式，默认为 'utf-8'。 返回: - DataFrame: 拼接后的CSV文件内容。

(file_path, chunk_size, encoding='utf-8')

def read_csv_multithread(file_path, chunk_size, encoding='utf-8'):
    """
    使用多线程读取大CSV文件。

    参数:
    - file_path (str): 文件路径。
    - chunk_size (int): 文件大小阈值，单位为字节。
    - encoding (str): 文件编码格式，默认为 'utf-8'。

    返回:
    - DataFrame: 拼接后的CSV文件内容。
    """
    file_size = os.path.getsize(file_path)
    num_chunks = (file_size // chunk_size) + 1
    logger.info(f"分割文件为 {num_chunks} 个块进行多线程读取")

    cpu_count = os.cpu_count() // 2  # 限制使用一半的CPU核心数
    num_threads = min(cpu_count, num_chunks)

    data_chunks = []
    with ThreadPoolExecutor(max_workers=num_threads) as executor:
        futures = [executor.submit(read_csv_chunk, file_path, i * chunk_size, (i + 1) * chunk_size, encoding) for i in range(num_chunks)]
        for future in tqdm(futures, desc="读取CSV进度"):
            data_chunks.append(future.result())

    return pd.concat(data_chunks, ignore_index=True)


def read_csv_chunk(file_path, start, end, encoding='utf-8'):