Function remove_text_in_brackets

tools/tools.py:37–80

(input_file, output_file, strong_clean_flag = False)

def remove_text_in_brackets(input_file, output_file, strong_clean_flag = False):
    def process(line):
        """  
        删除字符串中括号及其中的内容。
        包括括号 () 和中文括号（）。
        :param line: 原始字符串
        :return: 删除括号内容后的字符串
        """
        # 使用正则表达式匹配括号及其中的内容
        # 匹配圆括号 () 或中文括号（），以及其中的内容
        return re.sub(r"[\(\（][^\)\）]*[\)\）]", "", line)

    def remove_non_alpha(string):
        # 使用正则表达式删除首尾非字母字符
        cleaned_string = re.sub(r'^[^a-zA-Z]+|[^a-zA-Z]+$', '', string)
        return cleaned_string

    # 确保输入文件存在
    if not os.path.exists(input_file):
        print(f"输入文件 {input_file} 不存在！")
        return

    try:
        # 打开输入文件和输出文件
        with open(input_file, "r", encoding="utf-8") as infile, open(
            output_file, "w", encoding="utf-8"
        ) as outfile:
            cnt = 0
            # 按行读取输入文件
            for line in infile:
                cnt += 1       
                # 删除当前行中括号及其中的内容
                line_wo_bracket = process(line)
                if strong_clean_flag == True:
                    # 删除前后的数字和符号
                    processed_line = remove_non_alpha(line_wo_bracket)
                # 写入到输出文件
                outfile.write(processed_line + "\n")
                if cnt % 10000 == 0:
                    print(f"处理进度: {cnt}")

        print(f"处理完成！结果已保存到 {output_file}")
    except Exception as e:
        print(f"处理文件时出现错误：{e}")


def sort_large_file(