weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,530 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

23 Commits

Author SHA1 Message Date
zR 94d4304638
更新了chatglm3 6b agent的文档，提示词 (#2041) 
更新了chatglm3 6b agent的文档，提示词
修复代理no_proxy格式问题 #1838 的问题，感谢多次复现和验证
修改了pg清理知识库后还会引用之前知识库的问题
 2023-11-13 16:30:09 +08:00
liunux4odoo 65592a45c3
支持在线 Embeddings, Lite 模式支持所有知识库相关功能 (#1924) 
新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）
- 对于 FAISS 知识库，支持多向量库，默认位置：{KB_PATH}/vector_store/{embed_model}
- Lite 模式支持所有知识库相关功能。此模式下最主要的限制是：
  - 不能使用本地 LLM 和 Embeddings 模型
  - 知识库不支持 PDF 文件
- init_database.py 重建知识库时不再默认情况数据库表，增加 clear-tables 参数手动控制。
- API 和 WEBUI 中 score_threshold 参数范围改为 [0, 2]，以更好的适应在线嵌入模型

问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误

开发者：
- 统一向量库的识别：以（kb_name,embed_model）为判断向量库唯一性的依据，避免 FAISS 知识库缓存加载逻辑错误
- KBServiceFactory.get_service_by_name 中添加 default_embed_model 参数，用于在构建新知识库时设置 embed_model
- 优化 kb_service 中 Embeddings 操作：
  - 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
  - 统一文本嵌入接口：server.knowledge_base.kb_service.base.[embed_texts, embed_documents]
- 重写 normalize 函数，去除对 scikit-learn/scipy 的依赖
 2023-10-31 14:26:50 +08:00
liunux4odoo deed92169f
支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api (#1907) 
* 新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）

问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误

开发者：
- 优化 kb_service 中 Embeddings 操作：
  - 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
  - 统一文本嵌入接口：server.embedding_api.[embed_texts, embed_documents]
 2023-10-28 23:37:30 +08:00
liunux4odoo f7c73b842a
优化configs (#1474) 
* remove llm_model_dict

* optimize configs

* fix get_model_path

* 更改一些默认参数，添加千帆的默认配置

* Update server_config.py.example
 2023-09-15 17:52:22 +08:00
liunux4odoo efd6d4a251
修复milvus_kb_service中一些bug，添加文档后将数据同步到数据库 (#1452) 2023-09-12 22:34:03 +08:00
zqt e21ca447af milvus/pg kb_service需要实现get_doc_by_id方法 2023-09-04 16:40:05 +08:00
liunux4odoo 0bc9d5c8ee
Merge branch 'dev' into opt_add_doc 2023-09-03 21:38:45 +08:00
liunux4odoo 6cb1bdf623
添加切换模型功能，支持智谱AI在线模型 (#1342) 
* 添加LLM模型切换功能，需要在server_config中设置可切换的模型
* add tests for api.py/llm_model/*
* - 支持模型切换
- 支持智普AI线上模型
- startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a
  (--all-webui), --all-api`时默认开启该选项
* 修复被fastchat覆盖的标准输出
* 对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
* 修正chatglm api的对话模板


Co-authored-by: liunux4odoo <liunu@qq.com>
 2023-09-01 23:58:09 +08:00
liunux4odoo 55e417a263 升级注意 
数据库表发生变化，需要重建知识库

 新功能
- 增加FileDocModel库表，存储知识文件与向量库Document ID对应关系以及元数据，便于检索向量库
- 增加FileDocModel对应的数据库操作函数（这些函数主要是给KBService调用，用户一般无需使用）：
  - list_docs_from_db: 根据知识库名称、文件名称、元数据检索对应的Document IDs
  - delete_docs_from_db: 根据知识库名称、文件名称删除对应的file-doc映射
  - add_docs_to_db: 添加对应的file-doc映射
- KBService增加list_docs方法，可以根据文件名、元数据检索Document。当前仅支持FAISS，待milvus/pg实现get_doc_by_id方法后即自动支持。
- 去除server.utils对torch的依赖

 待完善
- milvus/pg kb_service需要实现get_doc_by_id方法
 2023-09-01 22:54:57 +08:00
liunux4odoo b1201a5f23
优化LLM和Embedding模型运行设备配置，可设为auto自动检测；修复：重建知识库时FAISS未保存 (#1330) 
* 避免configs对torch的依赖；
* webui自动从configs获取api地址(close #1319)
* bug fix: 重建知识库时FAISS未保存
* 优化LLM和Embedding模型运行设备配置，可设为auto自动检测
 2023-08-31 17:44:48 +08:00
liunux4odoo 16fb19d2c3 优化LLM和Embedding模型运行设备配置，可设为auto自动检测 2023-08-31 17:41:09 +08:00
liunux4odoo ca0ae29fef
运行startup.py时，如果不加参数直接显示配置和帮助信息后退出 (#1284) 
* 统一XX_kb_service.add_doc/do_add_doc接口，不再需要embeddings参数

* 运行startup.py时，如果不加参数直接显示配置和帮助信息后退出

---------

Co-authored-by: liunux4odoo <liunu@qq.com>
 2023-08-28 16:03:53 +08:00
liunux4odoo 3acbf4d5d1
增加数据库字段，重建知识库使用多线程 (#1280) 
* close #1172: 给webui_page/utils添加一些log信息，方便定位错误

* 修复：重建知识库时页面未实时显示进度

* skip model_worker running when using online model api such as chatgpt

* 修改知识库管理相关内容:
1.KnowledgeFileModel增加3个字段：file_mtime(文件修改时间),file_size(文件大小),custom_docs(是否使用自定义docs)。为后面比对上传文件做准备。
2.给所有String字段加上长度，防止mysql建表错误(pr#1177)
3.统一[faiss/milvus/pgvector]_kb_service.add_doc接口，使其支持自定义docs
4.为faiss_kb_service增加一些方法，便于调用
5.为KnowledgeFile增加一些方法，便于获取文件信息，缓存file2text的结果。

* 修复/chat/fastchat无法流式输出的问题

* 新增功能：
1、KnowledgeFileModel增加"docs_count"字段，代表该文件加载到向量库中的Document数量，并在WEBUI中进行展示。
2、重建知识库`python init_database.py --recreate-vs`支持多线程。

其它：
统一代码中知识库相关函数用词：file代表一个文件名称或路径，doc代表langchain加载后的Document。部分与API接口有关或含义重叠的函数暂未修改。

---------

Co-authored-by: liunux4odoo <liunux@qq.com>, hongkong9771
 2023-08-28 13:50:35 +08:00
zqt 1fa4e906c7 适配score_threshold 2023-08-27 11:21:10 +08:00
zqt 2604341e9e 调整KBService 接口函数do_search 并适配pg 2023-08-24 22:35:30 +08:00
liunux4odoo 351b62f7a7 fix part of #1206: add/delete/update_doc() get unexpected keyword argument 'not_refresh_vs_cache` 2023-08-23 15:26:52 +08:00
zqt 16542f20b4 修复pg和milvus kbservice代码 2023-08-22 16:52:04 +08:00
陈鹏 95d9fb0ee9
fix bug 1159 
修复使用使用pg存储向量时，向量检索错误 {TypeError}TypeError("'Document' object is not subscriptable")
 2023-08-18 14:41:11 +08:00
liunux4odoo 67b8ebef52 update api and webui: 
1. 增加search_docs接口，返回原始知识库检索文档，close #1103
2. 为FAISS检索增加score_threshold参数。milvus和PG暂不支持
 2023-08-16 13:18:58 +08:00
imClumsyPanda afc6aa968d update webui layout 2023-08-11 23:40:41 +08:00
imClumsyPanda 8a4d9168fa update import pkgs and format 2023-08-10 21:26:05 +08:00
liunux4odoo 17ddee38a4 fix conflict between def_fastchat and pr1037 2023-08-10 15:02:41 +08:00
zqt d4f728dfa2 添加向量数据库pg支持，和向量库docker-compose.ym环境文件 2023-08-10 11:16:52 +08:00