weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,731 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

108 Commits

Author SHA1 Message Date
wvivi2023 4acc5e7ad9 modify logo 
modify logo
 2024-02-19 09:49:44 +08:00
wvivi2023 7b7a180323 merge 0.2.6 
merge 0.2.6
 2024-01-02 10:10:41 +08:00
wvivi2023 60a12c05f6 0.2.6 enhance 
0.2.6 enhance
 2023-11-13 09:20:19 +08:00
liunux4odoo 65592a45c3
支持在线 Embeddings, Lite 模式支持所有知识库相关功能 (#1924) 
新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）
- 对于 FAISS 知识库，支持多向量库，默认位置：{KB_PATH}/vector_store/{embed_model}
- Lite 模式支持所有知识库相关功能。此模式下最主要的限制是：
  - 不能使用本地 LLM 和 Embeddings 模型
  - 知识库不支持 PDF 文件
- init_database.py 重建知识库时不再默认情况数据库表，增加 clear-tables 参数手动控制。
- API 和 WEBUI 中 score_threshold 参数范围改为 [0, 2]，以更好的适应在线嵌入模型

问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误

开发者：
- 统一向量库的识别：以（kb_name,embed_model）为判断向量库唯一性的依据，避免 FAISS 知识库缓存加载逻辑错误
- KBServiceFactory.get_service_by_name 中添加 default_embed_model 参数，用于在构建新知识库时设置 embed_model
- 优化 kb_service 中 Embeddings 操作：
  - 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
  - 统一文本嵌入接口：server.knowledge_base.kb_service.base.[embed_texts, embed_documents]
- 重写 normalize 函数，去除对 scikit-learn/scipy 的依赖
 2023-10-31 14:26:50 +08:00
liunux4odoo 03e55e11c4
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话 (#1860) 
* move get_default_llm_model from webui to ApiRequest

增加API接口及其测试用例：
- /server/get_prompt_template: 获取服务器配置的 prompt 模板
- 增加知识库多线程访问测试用例

支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话

* fix bug in server.api

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-10-25 08:30:23 +08:00
liunux4odoo d316efe8d3
release 0.2.6 (#1815) 
## 🛠 新增功能

- 支持百川在线模型 (@hzg0601 @liunux4odoo in #1623)
- 支持 Azure OpenAI 与 claude 等 Langchain 自带模型 (@zRzRzRzRzRzRzR in #1808)
- Agent 功能大量更新，支持更多的工具、更换提示词、检索知识库 (@zRzRzRzRzRzRzR in #1626 #1666 #1785)
- 加长 32k 模型的历史记录 (@zRzRzRzRzRzRzR in #1629 #1630)
- *_chat 接口支持 max_tokens 参数 (@liunux4odoo in #1744)
- 实现 API 和 WebUI 的前后端分离 (@liunux4odoo in #1772)
- 支持 zlilliz 向量库 (@zRzRzRzRzRzRzR in #1785)
- 支持 metaphor 搜索引擎 (@liunux4odoo in #1792)
- 支持 p-tuning 模型 (@hzg0601 in #1810)
- 更新完善文档和 Wiki (@imClumsyPanda @zRzRzRzRzRzRzR @glide-the in #1680 #1811)

## 🐞 问题修复

- 修复 bge-* 模型匹配超过 1 的问题 (@zRzRzRzRzRzRzR in #1652)
- 修复系统代理为空的问题 (@glide-the in #1654)
- 修复重建知识库时 `d == self.d assert error` (@liunux4odoo in #1766)
- 修复对话历史消息错误 (@liunux4odoo in #1801)
- 修复 OpenAI 无法调用的 bug (@zRzRzRzRzRzRzR in #1808)
- 修复 windows下 BIND_HOST=0.0.0.0 时对话出错的问题 (@hzg0601 in #1810)
 2023-10-20 23:16:06 +08:00
liunux4odoo b9b42991f6 - 支持metaphor搜索引擎（无需代理，key申请简单，目前不支持中文） 
- 增加默认知识库和默认搜索引擎的配置项
- 修复WEBUI弹出当前模型错误
 2023-10-18 23:02:20 +08:00
liunux4odoo 9ce328fea9
实现Api和WEBUI的前后端分离 (#1772) 
* update ApiRequest: 删除no_remote_api本地调用模式；支持同步/异步调用
* 实现API和WEBUI的分离：
- API运行服务器上的配置通过/llm_model/get_model_config、/server/configs接口提供，WEBUI运行机器上的配置项仅作为代码内部默认值使用
- 服务器可用的搜索引擎通过/server/list_search_engines提供
- WEBUI可选LLM列表中只列出在FSCHAT_MODEL_WORKERS中配置的模型
- 修改WEBUI中默认LLM_MODEL获取方式，改为从api端读取
- 删除knowledge_base_chat中`local_doc_url`参数

其它修改：
- 删除多余的kb_config.py.exmaple(名称错误)
- server_config中默认关闭vllm
- server_config中默认注释除智谱AI之外的在线模型
- 修改requests从系统获取的代理，避免model worker注册错误

* 修正：
- api.list_config_models返回模型原始配置
- api.list_config_models和api.get_model_config中过滤online api模型的敏感信息
- 将GPT等直接访问的模型列入WEBUI可选模型列表

其它：
- 指定langchain==0.3.313, fschat==0.2.30, langchain-experimental==0.0.30
 2023-10-17 16:52:07 +08:00
liunux4odoo 22ff073309
修改Embeddings和FAISS缓存加载方式，知识库相关API接口支持多线程并发 (#1434) 
* 修改Embeddings和FAISS缓存加载方式，支持多线程，支持内存FAISS

* 知识库相关API接口支持多线程并发

* 根据新的API接口调整ApiRequest和测试用例

* 删除webui.py失效的启动说明
 2023-09-11 20:41:41 +08:00
liunux4odoo 4e73e561fd 避免configs对torch的依赖；webui自动从configs获取api地址(close #1319) 2023-08-31 16:08:16 +08:00
imClumsyPanda 52837429d2 update configs.__init__, webui.py and api.py 2023-08-17 22:19:37 +08:00
liunux4odoo f64affc930 update llm_api and api server: 
1. fastchat's controller/model_worker/api_server use swagger UI offline.
2. add custom title and icon.
3. remove fastapi-offline dependence
 2023-08-16 14:20:09 +08:00
liunux4odoo cc08e2cb96 update api and webui: 
1. add download_doc to api
2. return local path or http url in kowledge_base_chat depends on
   no_remote_api
3. change assistant avater in webui
 2023-08-14 11:46:36 +08:00
imClumsyPanda 837c4dbf25 update README.md 2023-08-13 23:55:51 +08:00
imClumsyPanda b543f49278 update webui design 2023-08-13 22:25:01 +08:00
imClumsyPanda 77364c046e withdraw conversation management func 2023-08-13 17:53:59 +08:00
liunux4odoo 5df3de8dd0 fix webui: keep chat session sequence when delete session, again 2023-08-13 14:58:14 +08:00
liunux4odoo 6359f5e883 fix webui: keep chat session sequence when delete session 2023-08-13 13:13:30 +08:00
liunux4odoo 9974bf33a0 fix webui: switch to created chat session automatically 2023-08-13 12:59:06 +08:00
liunux4odoo b59b34eaf7 fix webui: switch to created chat session automatically 2023-08-12 22:58:13 +08:00
liunux4odoo 1535059d2c fix webui: create and rename chat session 2023-08-12 22:30:21 +08:00
liunux4odoo 9514ec1944 fix webui: rename new chat session error 2023-08-12 20:17:36 +08:00
liunux4odoo e4c541ed0e update webui: switch to new chat after created it 2023-08-12 17:17:04 +08:00
imClumsyPanda 79d87d3344 update webui.py 2023-08-12 15:44:46 +08:00
imClumsyPanda f4a42b8ccb update webui.py and README.md 2023-08-12 15:02:14 +08:00
imClumsyPanda 2ad33e010d update webui.py and README.md 2023-08-12 14:08:21 +08:00
imClumsyPanda 90d385cb92 update webui.dialogue layout 2023-08-12 02:30:50 +08:00
imClumsyPanda 844b15a6f7 update webui.knowledge_base layout 2023-08-12 01:26:17 +08:00
liunux4odoo a08fe994c2 更新API与ApiReuest： 
1. 重新整理webui_pages/utils与server/knowledge_base间的工具依赖
2.
将delete_knowledge_base与delete_doc接口从delete改为post.delete不支持body参数
3. 修复update_doc
4. 修复部分bug
 2023-08-11 08:45:26 +08:00
imClumsyPanda 3c44cf65cd update webui layout 2023-08-10 23:51:10 +08:00
imClumsyPanda ef098111dc update webui and utils 2023-08-10 23:04:05 +08:00
imClumsyPanda 8b1c5bcf9e update webui.py 2023-08-10 22:32:56 +08:00
liunux4odoo 9ed91f0e8a automatically init vector store info to database when run api.py & webui.py 2023-08-10 14:12:02 +08:00
liunux4odoo f5024245a7 make api.py and webui.py working offline 2023-08-10 13:33:40 +08:00
liunux4odoo 3318cef751 update streamlit ui: support latest knowledge base and search engine 
chat api; export messages to markdown.
 2023-08-04 12:52:58 +08:00
imClumsyPanda 82aa805bf3 update requirements.txt 2023-08-03 23:42:55 +08:00
liunux4odoo e1698ce12e webui中增加多会话功能 2023-08-03 15:06:10 +08:00
liunux4odoo 4651b50176 WEB UI中对话功能已完成。目前很多参数还不支持，待API接口完善后再加入。 2023-08-03 13:41:31 +08:00
imClumsyPanda 5ce2484af0 update webui.py 2023-08-01 15:08:19 +08:00
imClumsyPanda bcfd3f5af5 add webui_pages 2023-08-01 14:47:38 +08:00
imClumsyPanda c8a75ab11f update llm_api.py and webui.py 2023-08-01 14:33:18 +08:00
liunux4odoo 2c5b6bb0ad streamlit ui 实现LLM流式对话 2023-08-01 14:18:30 +08:00
imClumsyPanda 59442dcd4a update webui.py 2023-07-28 06:58:34 +08:00
imClumsyPanda dcf49a59ef v0.2.0 first commit 2023-07-27 23:22:07 +08:00
liunux4odoo a6f42e7c8e fix iss#889: 
when init_model on startup, set llm model's history_len to LLM_HISTORY_LEN from model_config.
 2023-07-21 23:07:50 +08:00
glide-the c5bc21781c 修改模型生成的调用方式，兼容Chain调用 
修改模型切换的bug
 2023-07-12 23:09:28 +08:00
kztao c564c91a82
fix:The knowledge base name cannot be empty. (#793) 
* fix:The knowledge base name cannot be empty.

* Update webui.py

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-07-11 19:18:24 +08:00
imClumsyPanda 3d95706d5c fix bugs in webui.py 2023-06-15 01:00:45 +08:00
imClumsyPanda 5f652183f4 fix bugs in webui.py 2023-06-15 00:38:38 +08:00
imClumsyPanda ed7c54858a add delete knowledge base and delete files from knowledge base to webui 2023-06-15 00:21:41 +08:00