Class FormulaProcessor

modules/text/processors/formula.py:40–366

公式处理器 处理流程： 1. 从 Pix2Text 结果提取有效公式 2. 计算公式与 layout OCR 文字块的重叠 3. 用公式替换被覆盖的文字块 4. 保留未被覆盖的 layout OCR 文字块

class FormulaProcessor:
    """
    公式处理器

    处理流程：
    1. 从 Pix2Text 结果提取有效公式
    2. 计算公式与 layout OCR 文字块的重叠
    3. 用公式替换被覆盖的文字块
    4. 保留未被覆盖的 layout OCR 文字块
    """
    
    # 数学符号指示器
    MATH_INDICATORS = [
        '\\frac', '\\sum', '\\int', '\\prod', '\\approx', '\\equiv',
        '\\neq', '\\leq', '\\geq', '=', '\\mathbb', '\\mathbf',
        '\\pi', '\\theta', '\\sigma', '_', '^', '\\sqrt',
        '_t', '_i', '_j', '_{'
    ]
    
    # 无效模式（Pix2Text 误识别）
    INVALID_PATTERNS = [
        '\\Updownarrow',
        '\\dagger', '\\hat{\\varUpsilon}',
        '\\underline', '\\underbrace', '\\overbrace',
        '\\varPsi', '\\vdots', '\\Im',
        '\\widehat{\\left\\{',  # 误识别的图形元素
    ]
    
    # 重复模式检测（如 \b=\b=\b= 或 \\Xi}\\Xi}）
    REPETITIVE_PATTERN = re.compile(r'(.{2,10}?)\1{3,}')
    
    # LaTeX 命令替换
    LATEX_REPLACEMENTS = [
        ('\\boldsymbol', '\\mathbf'),
        ('\\cfrac', '\\frac'),
        (r'\ ', ' '),
        ('\\mathrm{o l d}', '\\text{old}'),
        # 修复误识别的圈乘符号
        ('\\circledR', '\\otimes'),
        ('\\copyright', '\\otimes'),
        ('\\textcircled{x}', '\\otimes'),
        ('\\textcircled{\\times}', '\\otimes'),
        ('\\textcircled{r}', '\\otimes'),
        ('\\textcircled{R}', '\\otimes'),
    ]
    
    def __init__(self, overlap_threshold: float = 0.2, text_similarity_threshold: float = 0.8):
        """
        初始化公式处理器
        
        Args:
            overlap_threshold: 覆盖率阈值
            text_similarity_threshold: 文本相似度阈值
        """
        self.overlap_threshold = overlap_threshold
        self.text_similarity_threshold = text_similarity_threshold
    
    def merge_ocr_results(