5 Commits

Author	SHA1	Message	Date
liunux4odoo	c8d8727783	更新migrate.py和init_database.py，加强知识库迁移工具： (#1498) ... 1. 添加--update-in-db参数，按照数据库信息，从本地文件更新向量库 2. 添加--increament参数，根据本地文件增量更新向量库 3. 添加--prune-db参数，删除本地文件后，自动清理相关的向量库 4. 添加--prune-folder参数，根据数据库信息，清理无用的本地文件 5. 取消--update-info-only参数。数据库中存储了向量库信息，该操作意义不大 6. 添加--kb-name参数，所有操作支持指定操作的知识库，不指定则为所有本地知识库 7. 添加知识库迁移的测试用例 8. 删除milvus_kb_service的save_vector_store方法	2023-09-16 09:09:27 +08:00
liunux4odoo	3acbf4d5d1	增加数据库字段，重建知识库使用多线程 (#1280) ... * close #1172: 给webui_page/utils添加一些log信息，方便定位错误 * 修复：重建知识库时页面未实时显示进度 * skip model_worker running when using online model api such as chatgpt * 修改知识库管理相关内容: 1.KnowledgeFileModel增加3个字段：file_mtime(文件修改时间),file_size(文件大小),custom_docs(是否使用自定义docs)。为后面比对上传文件做准备。 2.给所有String字段加上长度，防止mysql建表错误(pr#1177) 3.统一[faiss/milvus/pgvector]_kb_service.add_doc接口，使其支持自定义docs 4.为faiss_kb_service增加一些方法，便于调用 5.为KnowledgeFile增加一些方法，便于获取文件信息，缓存file2text的结果。 * 修复/chat/fastchat无法流式输出的问题 * 新增功能： 1、KnowledgeFileModel增加"docs_count"字段，代表该文件加载到向量库中的Document数量，并在WEBUI中进行展示。 2、重建知识库`python init_database.py --recreate-vs`支持多线程。 其它： 统一代码中知识库相关函数用词：file代表一个文件名称或路径，doc代表langchain加载后的Document。部分与API接口有关或含义重叠的函数暂未修改。 --------- Co-authored-by: liunux4odoo <liunux@qq.com>, hongkong9771	2023-08-28 13:50:35 +08:00
liunux4odoo	c571585ffd	optimize recreate vector store: save vector store once after all docs parsed for FAISS	2023-08-21 08:50:15 +08:00
imClumsyPanda	353d9fc72b	update init_database.py	2023-08-13 10:25:02 +08:00
liunux4odoo	a261fda20b	add tools to migrate knowledge base	2023-08-11 08:33:05 +08:00