Function smart_split_paragraph

apps/common/utils/split_model.py:297–344

智能分段:在limit前找到合适的分割点(句号、回车等) :param content: 需要分段的文本 :param limit: 最大字符限制 :return: 分段后的文本列表

(content: str, limit: int)

def smart_split_paragraph(content: str, limit: int):
    """
    智能分段:在limit前找到合适的分割点(句号、回车等)
    :param content: 需要分段的文本
    :param limit: 最大字符限制
    :return: 分段后的文本列表
    """
    if len(content) <= limit:
        return [content]

    result = []
    start = 0

    while start < len(content):
        end = start + limit

        if end >= len(content):
            # 剩余文本不超过限制,直接添加
            result.append(content[start:])
            break

        # 在limit范围内寻找最佳分割点
        best_split = end

        # 优先级:句号 > 感叹号/问号 > 回车
        split_chars = [
            ('。', 0), ('.', 0),  # 中英文句号
            ('!', 0), ('!', 0),  # 中英文感叹号
            ('?', 0), ('?', 0),  # 中英文问号
        ]

        # 从后往前找分割点
        for i in range(end - 1, start + limit // 2, -1):  # 至少保留一半内容
            for char, offset in split_chars:
                if content[i] == char:
                    best_split = i + 1  # 包含分隔符在当前段
                    break
            if best_split != end:
                break

        # 如果找不到合适分割点,使用原始limit
        if best_split == end and end < len(content):
            best_split = end

        result.append(content[start:best_split])
        start = best_split

    return [text for text in result if text.strip()]


replace_map = {