All ``*.txt`` under ``data/corpus/``, sorted by path.

All ``*.txt`` under ``data/corpus/``, sorted by path.

Prefer repo-local shared libraries, then common Weasel install locations.

Deletes internal `message_id`.

一键从 wanxiang.schema.yaml 提取有用开关

get (create if necessary) and then restore `tqdm_class`'s lock

全量结巴词界吸附提取算法（解决生硬截断与错误集中问题）

从 ARPA 文件中提取 n-gram 计数。

从 ARPA 文件中提取 n-grams。

过滤并合并五笔码表，保持按词长排序

Intelligent scientific notation (.3g). Parameters ---------- n : int or float or Numeric A Number.

调用 KenLM 生成 ARPA 文件，并使用指定的用户临时缓存目录。

递归匹配：将汉字和非汉字块对齐到拼音分段。 返回每个拼音分段对应的辅助码（无辅码则为空字符串），若无法对齐返回 None。

获取单个拼音中的韵母. :param pinyin: 单个拼音，无声调拼音 :type pinyin: unicode :param strict: 是否严格遵照《汉语拼音方案》来处理声母和韵母 :return: 韵母 :rtype: unicode

将汉字转换为拼音 + 辅助码编码（可选）

获取远程资源更新日期

获取分词函数。 :return: 分词函数

将汉字转换为虎码编码

获取词组的无声调拼音，作为唯一性判断标准。

将汉字转换为五笔编码

将汉字转换为五笔编码

交互式模式：直接调用 rime_api_console.exe

将汉字转换为拼音，返回不包含多音字结果的拼音列表. 与 :py:func:`~pypinyin.pinyin` 的区别是每个汉字的拼音是个字符串， 并且每个字只包含一个读音. :param hans: 汉字字符串( ``'你好吗'`` )或列表(

加载基础词库，构建双引擎： 1. base_set: 极速存取集合 2. word_rank_map: 词条身份牌（记录该词在它的同音家族里，最高混到了老几）

加载停用词文件夹中的所有停用词。

Context manager redirecting console logging to `tqdm.write()`, leaving other logging handlers (e.g. log files) unaffected. Parameters

主程序：处理语料和 n-gram 数据。

Parameters (internal use only) --------- fp : file-like object for tqdm argv : list (default: sys.argv[1:])

Create or update {schema_id}.custom.yaml so translator user dict is off.

合并多个 n-gram 文件，并将结果写入一个输出文件，支持流式处理降低内存占用。

普通词表行拼音修正；保留后缀 (;xx / [xx])

处理完没有拼音的字符串后会调用 ``post_handle_nopinyin`` 方法。 如果返回值不为 ``None`` 会使用返回的结果作为处理没有拼音的字符串的结果。 :param chars: 待处理的没有拼音的字符串 :param err

对字符串进行分词后将调用 ``post_seg`` 方法对分词后的结果做处理。 默认原样返回传入的 ``seg_data``。 如果这个方法的返回值类型是 ``list``，表示对分词结果做了二次处理，此时， ``seg`` 方法将以这个返回的数据

在把原始带声调的拼音按拼音风格转换前会调用 ``pre_convert_style`` 方法。 如果返回值不为 ``None`` 会使用返回的结果代替 ``orig_pinyin`` 来进行后面的风格转换。 :param han: 要处理的汉字

处理没有拼音的字符串前会调用 ``pre_handle_nopinyin`` 方法。 如果返回值不为 ``None`` 会使用返回的结果作为处理没有拼音字符串的结果， 不再使用内置方法进行处理。 :param chars: 待处理的没有拼音的字符串

对字符串进行分词前将调用 ``pre_seg`` 方法对未分词的字符串做预处理。 默认原样返回传入的 ``hans``。 如果这个方法的返回值类型是 ``list``，表示返回的是一个分词后的结果，此时， ``seg`` 方法中将不再调用 ``se

处理多个输入目录中的文件，并按块写入磁盘，优化内存使用。

清洗语料，切割成纯汉字短句

Returns (lines_changed, bytes_written_or_would_write).

边读边写：单文件处理后立刻覆盖原文件，并直接追加输出未重复项