build a logger with colorized output and a log file, for example: logger = build_logger("api") logger.info("<green>some message</green>"

获取默认嵌入模型

保存向量库:FAISS保存到磁盘，milvus保存到数据库。PGVector暂未支持

Load data into document objects.

从知识库删除文件

向知识库添加文档子类实自己逻辑

创建知识库

上下文管理器用于自动获取 Session, 避免错误

向知识库添加文件 如果指定了docs，则不再将文本向量化，并将数据库对应条目标为custom_docs=True

删除向量库中所有内容

利用多线程批量将磁盘文件转化成langchain Document. 如果传入参数是Tuple，形式为(filename, kb_name) 生成器返回值为 status, (kb_name, file_name, docs | error)

清洗文档内容，移除控制字符和特殊 Unicode

generate yaml template with default object sub_comments indicate how to populate comments for sub models, it could be nested.

Embed search docs. Args: texts: List of text to embed. Returns: List of embeddings.

you can override this to customize class comments

you can override this to customize field comments model_obj is the instance that field_name belongs to

根据用户标识符获取用户信息

列出某知识库某文件对应的所有Document。 返回形式：[{"id": str, "metadata": dict}, ...]

在线程池中批量运行任务，并将运行结果以生成器的形式返回。 请确保任务中的所有操作是线程安全的，任务函数请全部使用关键字参数。

使用content中的文件更新向量库 如果指定了docs，则使用自定义docs，并将数据库对应条目标为custom_docs=True

对应知识库目录中的文件，必须是磁盘上存在的才能进行向量化等操作。

the sesstings is cached, and refreshed when configuration files changed

helper method to convert settings instance to ruamel.YAML object

通过多线程将上传的文件保存到对应知识库目录内。 生成器返回保存结果：{"code":200, "msg": "xxx", "data": {"knowledge_base_name":"xxx", "file_name": "xxx"}}

将某知识库某文件对应的所有Document信息添加到数据库。 doc_infos形式：[{"id": str, "metadata": dict}, ...]

保存对话消息到数据库

添加用户记忆 :param session: 数据库会话 :param user_id: 用户ID :param memory_text: 记忆内容摘要 :param importance: 重要程度 1-5 :param metadata: 元数据

从对话历史创建记忆（供后台任务或定期汇总使用） :param session: 数据库会话 :param user_id: 用户ID :param conversation_summary: 对话摘要 :param kb_name: 使用的知识库名称

删除某知识库某文件对应的所有Document，并返回被删除的Document。 返回形式：[{"id": str, "metadata": dict}, ...]

从知识库删除全部向量子类实自己逻辑

创建知识库子类实自己逻辑

从知识库删除文档子类实自己逻辑

删除知识库子类实自己逻辑

搜索知识库子类实自己逻辑

删除知识库

将知识库检索结果格式化为参考文档的格式