weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,534 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

36 Commits

Author SHA1 Message Date
liunux4odoo 3b3d948d27
添加文件对话模式 (#2071) 
开发者：
- 添加 /chat/file_chat, /knowledge_base/upload_temp_docs API 接口
- 添加 CACHED_MEMO_VS_NUM, BASE_TEMP_DIR 配置项
 2023-11-16 07:39:27 +08:00
liunux4odoo 2adfa4277c
在webui模型列表中包括：非model worker启动的在线模型（如openai-api）；已经下载的本地模型 (#2060) 2023-11-14 21:17:32 +08:00
zR 21b079d751
GLM3支持传入提示词 (#2058) 
支持传入提示词的Agent ChatGLM3-6B
 2023-11-14 17:45:22 +08:00
zR 94d4304638
更新了chatglm3 6b agent的文档，提示词 (#2041) 
更新了chatglm3 6b agent的文档，提示词
修复代理no_proxy格式问题 #1838 的问题，感谢多次复现和验证
修改了pg清理知识库后还会引用之前知识库的问题
 2023-11-13 16:30:09 +08:00
liunux4odoo b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 (#2002) 
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库

依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误

修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
 2023-11-09 22:15:52 +08:00
zR 57612d5232
修复一些bug (#1965) 
* 修改一些bug

* 更新掉了一部分之前的bug
 2023-11-03 18:56:27 +08:00
liunux4odoo 65592a45c3
支持在线 Embeddings, Lite 模式支持所有知识库相关功能 (#1924) 
新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）
- 对于 FAISS 知识库，支持多向量库，默认位置：{KB_PATH}/vector_store/{embed_model}
- Lite 模式支持所有知识库相关功能。此模式下最主要的限制是：
  - 不能使用本地 LLM 和 Embeddings 模型
  - 知识库不支持 PDF 文件
- init_database.py 重建知识库时不再默认情况数据库表，增加 clear-tables 参数手动控制。
- API 和 WEBUI 中 score_threshold 参数范围改为 [0, 2]，以更好的适应在线嵌入模型

问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误

开发者：
- 统一向量库的识别：以（kb_name,embed_model）为判断向量库唯一性的依据，避免 FAISS 知识库缓存加载逻辑错误
- KBServiceFactory.get_service_by_name 中添加 default_embed_model 参数，用于在构建新知识库时设置 embed_model
- 优化 kb_service 中 Embeddings 操作：
  - 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
  - 统一文本嵌入接口：server.knowledge_base.kb_service.base.[embed_texts, embed_documents]
- 重写 normalize 函数，去除对 scikit-learn/scipy 的依赖
 2023-10-31 14:26:50 +08:00
liunux4odoo deed92169f
支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api (#1907) 
* 新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）

问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误

开发者：
- 优化 kb_service 中 Embeddings 操作：
  - 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
  - 统一文本嵌入接口：server.embedding_api.[embed_texts, embed_documents]
 2023-10-28 23:37:30 +08:00
liunux4odoo b4c68ddd05
优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式 (#1886) 
* 优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式

新功能
- 智谱AI、Minimax、千帆、千问 4 个在线模型支持 embeddings（不通过Fastchat，后续会单独提供相关api接口）
- 在线模型自动检测传入参数，在传入非 messages 格式的 prompt 时，自动转换为 completion 形式，以支持 completion 接口

开发者：
- 重构ApiModelWorker:
  - 所有在线 API 请求封装到 do_chat 方法：自动传入参数 ApiChatParams，简化参数与配置项的获取；自动处理与fastchat的接口
  - 加强 API 请求错误处理，返回更有意义的信息
  - 改用 qianfan sdk 重写 qianfan-api
  - 将所有在线模型的测试用例统一在一起，简化测试用例编写

* Delete requirements_langflow.txt
 2023-10-26 22:44:48 +08:00
zR 35a7ca74c0
Azure 的fschat支持，弃用Langchain-MODEL (#1873) 
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能，加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

* 修复一些兼容性的bug

* 恢复知识库

* 恢复知识库

* 修复Azure问题
 2023-10-25 21:32:40 +08:00
liunux4odoo 03e55e11c4
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话 (#1860) 
* move get_default_llm_model from webui to ApiRequest

增加API接口及其测试用例：
- /server/get_prompt_template: 获取服务器配置的 prompt 模板
- 增加知识库多线程访问测试用例

支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话

* fix bug in server.api

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-10-25 08:30:23 +08:00
liqiankun.1111 b002a2879b feat: add completion api 2023-10-22 17:07:26 +08:00
liunux4odoo d316efe8d3
release 0.2.6 (#1815) 
## 🛠 新增功能

- 支持百川在线模型 (@hzg0601 @liunux4odoo in #1623)
- 支持 Azure OpenAI 与 claude 等 Langchain 自带模型 (@zRzRzRzRzRzRzR in #1808)
- Agent 功能大量更新，支持更多的工具、更换提示词、检索知识库 (@zRzRzRzRzRzRzR in #1626 #1666 #1785)
- 加长 32k 模型的历史记录 (@zRzRzRzRzRzRzR in #1629 #1630)
- *_chat 接口支持 max_tokens 参数 (@liunux4odoo in #1744)
- 实现 API 和 WebUI 的前后端分离 (@liunux4odoo in #1772)
- 支持 zlilliz 向量库 (@zRzRzRzRzRzRzR in #1785)
- 支持 metaphor 搜索引擎 (@liunux4odoo in #1792)
- 支持 p-tuning 模型 (@hzg0601 in #1810)
- 更新完善文档和 Wiki (@imClumsyPanda @zRzRzRzRzRzRzR @glide-the in #1680 #1811)

## 🐞 问题修复

- 修复 bge-* 模型匹配超过 1 的问题 (@zRzRzRzRzRzRzR in #1652)
- 修复系统代理为空的问题 (@glide-the in #1654)
- 修复重建知识库时 `d == self.d assert error` (@liunux4odoo in #1766)
- 修复对话历史消息错误 (@liunux4odoo in #1801)
- 修复 OpenAI 无法调用的 bug (@zRzRzRzRzRzRzR in #1808)
- 修复 windows下 BIND_HOST=0.0.0.0 时对话出错的问题 (@hzg0601 in #1810)
 2023-10-20 23:16:06 +08:00
glide-the 84a4141dec 修复代理为空的问题 2023-10-04 14:02:57 +08:00
glide-the a655608d01 修复代理为空的问题 2023-10-04 13:33:42 +08:00
liunux4odoo ba8d0f8e17
发版：v0.2.5 (#1620) 
* 优化configs (#1474)

* remove llm_model_dict

* optimize configs

* fix get_model_path

* 更改一些默认参数，添加千帆的默认配置

* Update server_config.py.example

* fix merge conflict for #1474 (#1494)

* 修复ChatGPT api_base_url错误；用户可以在model_config在线模型配置中覆盖默认的api_base_url (#1496)

* 优化LLM模型列表获取、切换的逻辑： (#1497)

1、更准确的获取未运行的可用模型
2、优化WEBUI模型列表显示与切换的控制逻辑

* 更新migrate.py和init_database.py，加强知识库迁移工具： (#1498)

1. 添加--update-in-db参数，按照数据库信息，从本地文件更新向量库
2. 添加--increament参数，根据本地文件增量更新向量库
3. 添加--prune-db参数，删除本地文件后，自动清理相关的向量库
4. 添加--prune-folder参数，根据数据库信息，清理无用的本地文件
5. 取消--update-info-only参数。数据库中存储了向量库信息，该操作意义不大
6. 添加--kb-name参数，所有操作支持指定操作的知识库，不指定则为所有本地知识库
7. 添加知识库迁移的测试用例
8. 删除milvus_kb_service的save_vector_store方法

* feat: support volc fangzhou

* 使火山方舟正常工作，添加错误处理和测试用例

* feat: support volc fangzhou (#1501)

* feat: support volc fangzhou

---------

Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>

* 第一版初步agent实现 (#1503)

* 第一版初步agent实现

* 增加steaming参数

* 修改了weather.py

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>

* 添加configs/prompt_config.py，允许用户自定义prompt模板： (#1504)

1、 默认包含2个模板，分别用于LLM对话，知识库和搜索引擎对话
2、 server/utils.py提供函数get_prompt_template，获取指定的prompt模板内容（支持热加载）
3、 api.py中chat/knowledge_base_chat/search_engine_chat接口支持prompt_name参数

* 增加其它模型的参数适配

* 增加传入矢量名称加载

* 1. 搜索引擎问答支持历史记录；
2. 修复知识库问答历史记录传参错误：用户输入被传入history，问题出在webui中重复获取历史消息，api知识库对话接口并无问题。

* langchain日志开关

* move wrap_done & get_ChatOpenAI from server.chat.utils to server.utils (#1506)

* 修复faiss_pool知识库缓存key错误 (#1507)

* fix ReadMe anchor link (#1500)

* fix : Duplicate variable and function name (#1509)

Co-authored-by: Jim <zhangpengyi@taijihuabao.com>

* Update README.md

* fix #1519: streamlit-chatbox旧版BUG，但新版有兼容问题，先在webui中作处理，并限定chatbox版本 (#1525)

close #1519

* 【功能新增】在线 LLM 模型支持阿里云通义千问 (#1534)

* feat: add qwen-api

* 使Qwen API支持temperature参数；添加测试用例

* 将online-api的sdk列为可选依赖

---------

Co-authored-by: liunux4odoo <liunux@qq.com>

* 处理序列化至磁盘的逻辑

* remove depends on volcengine

* update kb_doc_api: use Form instead of Body when upload file

* 将所有httpx请求改为使用Client，提高效率，方便以后设置代理等。 (#1554)

将所有httpx请求改为使用Client，提高效率，方便以后设置代理等。

将本项目相关服务加入无代理列表，避免fastchat的服务器请求错误。(windows下无效)

* update QR code

* update readme_en,readme,requirements_api,requirements,model_config.py.example:测试baichuan2-7b;更新相关文档

* 新增特性：1.支持vllm推理加速框架；2. 更新支持模型列表

* 更新文件：1. startup,model_config.py.example,serve_config.py.example,FAQ

* 1. debug vllm加速框架完毕；2. 修改requirements,requirements_api对vllm的依赖；3.注释掉serve_config中baichuan-7b的device为cpu的配置

* 1. 更新congif中关于vllm后端相关说明；2. 更新requirements，requirements_api;

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写 (#1611)

* Dev (#1613)

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度

* fix: set vllm based on platform to avoid error on windows

* fix: langchain warnings for import from root

* 修复webui中重建知识库以及对话界面UI错误 (#1615)

* 修复bug:webui点重建知识库时，如果存在不支持的文件会导致整个接口错误;migrate中没有导入CHUNK_SIZE

* 修复：webui对话界面的expander一直为running状态；简化历史消息获取方法

* 根据官方文档，添加对英文版的bge embedding的指示模板 (#1585)

Co-authored-by: zR <2448370773@qq.com>

* Dev (#1618)

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度

* 增加了部分Agent支持和修改了启动文件的部分bug

* 修改了GPU数量配置文件

* 1

1

* 修复配置文件错误

* 更新readme，稳定测试

* 更改readme 0928 (#1619)

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度

* 增加了部分Agent支持和修改了启动文件的部分bug

* 修改了GPU数量配置文件

* 1

1

* 修复配置文件错误

* 更新readme，稳定测试

* 更新readme

* fix readme

* 处理序列化至磁盘的逻辑

* update version number to v0.2.5

---------

Co-authored-by: qiankunli <qiankun.li@qq.com>
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: zR <2448370773@qq.com>
Co-authored-by: glide-the <2533736852@qq.com>
Co-authored-by: Water Zheng <1499383852@qq.com>
Co-authored-by: Jim Zhang <dividi_z@163.com>
Co-authored-by: Jim <zhangpengyi@taijihuabao.com>
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
Co-authored-by: Leego <leegodev@hotmail.com>
Co-authored-by: hzg0601 <hzg0601@163.com>
Co-authored-by: WilliamChen-luckbob <58684828+WilliamChen-luckbob@users.noreply.github.com>
 2023-09-28 23:30:21 +08:00
liunux4odoo 46af5b7571
fix: llm_model_dict with `xxx/xxx` local_model_path was parsed as online-api (#1513) 2023-09-18 12:10:03 +08:00
liunux4odoo 60f88ae92e
fix: 由于server.utils导入model_workers时，导入fastchat model_worker，导致startup启动延迟明显 (#1436) 2023-09-12 08:52:00 +08:00
liunux4odoo 22ff073309
修改Embeddings和FAISS缓存加载方式，知识库相关API接口支持多线程并发 (#1434) 
* 修改Embeddings和FAISS缓存加载方式，支持多线程，支持内存FAISS

* 知识库相关API接口支持多线程并发

* 根据新的API接口调整ApiRequest和测试用例

* 删除webui.py失效的启动说明
 2023-09-11 20:41:41 +08:00
glide-the 5550e3c1a9 增加显示详细日志开关 2023-09-08 20:48:31 +08:00
liunux4odoo 1195eb75eb merge pr1413 2023-09-08 10:30:07 +08:00
liunux4odoo 93b133f9ac 将KnowledgeFile的file2text拆分成file2docs、docs2texts和file2text三个部分，在保持接口不变的情况下，实现： 
1、支持chunk_size和chunk_overlap参数
2、支持自定义text_splitter
3、支持自定义docs
修复：csv文件不使用text_splitter
 2023-09-04 21:00:16 +08:00
liunux4odoo 0bc9d5c8ee
Merge branch 'dev' into opt_add_doc 2023-09-03 21:38:45 +08:00
imClumsyPanda 8a73673d6b update model_config.py.example 2023-09-03 15:57:44 +08:00
imClumsyPanda 25880ebd52 fix bug when config["device"]="auto" 2023-09-02 22:11:54 +08:00
liunux4odoo 6cb1bdf623
添加切换模型功能，支持智谱AI在线模型 (#1342) 
* 添加LLM模型切换功能，需要在server_config中设置可切换的模型
* add tests for api.py/llm_model/*
* - 支持模型切换
- 支持智普AI线上模型
- startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a
  (--all-webui), --all-api`时默认开启该选项
* 修复被fastchat覆盖的标准输出
* 对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
* 修正chatglm api的对话模板


Co-authored-by: liunux4odoo <liunu@qq.com>
 2023-09-01 23:58:09 +08:00
liunux4odoo 55e417a263 升级注意 
数据库表发生变化，需要重建知识库

 新功能
- 增加FileDocModel库表，存储知识文件与向量库Document ID对应关系以及元数据，便于检索向量库
- 增加FileDocModel对应的数据库操作函数（这些函数主要是给KBService调用，用户一般无需使用）：
  - list_docs_from_db: 根据知识库名称、文件名称、元数据检索对应的Document IDs
  - delete_docs_from_db: 根据知识库名称、文件名称删除对应的file-doc映射
  - add_docs_to_db: 添加对应的file-doc映射
- KBService增加list_docs方法，可以根据文件名、元数据检索Document。当前仅支持FAISS，待milvus/pg实现get_doc_by_id方法后即自动支持。
- 去除server.utils对torch的依赖

 待完善
- milvus/pg kb_service需要实现get_doc_by_id方法
 2023-09-01 22:54:57 +08:00
liunux4odoo b1201a5f23
优化LLM和Embedding模型运行设备配置，可设为auto自动检测；修复：重建知识库时FAISS未保存 (#1330) 
* 避免configs对torch的依赖；
* webui自动从configs获取api地址(close #1319)
* bug fix: 重建知识库时FAISS未保存
* 优化LLM和Embedding模型运行设备配置，可设为auto自动检测
 2023-08-31 17:44:48 +08:00
liunux4odoo 16fb19d2c3 优化LLM和Embedding模型运行设备配置，可设为auto自动检测 2023-08-31 17:41:09 +08:00
liunux4odoo 34a416b941
优化server_config配置项 (#1293) 
* update server_config.py:
- 在model_config中增加HISTORY_LEN配置参数
- 将server_config中helper function移动到server.utils中
- 统一set_httpx_timeout的定义和调用

* update webui.py:
应用model_config中的配置项：HISTORY_LEN,VECTOR_SEARCH_TOP_K,SEARCH_ENGINE_TOP_K

---------

Co-authored-by: liunux4odoo <liunu@qq.com>
 2023-08-29 10:06:09 +08:00
liunux4odoo 69627a2fa3 update chat and knowledge base api: unify exception processing and return types 2023-08-19 15:14:45 +08:00
liunux4odoo f64affc930 update llm_api and api server: 
1. fastchat's controller/model_worker/api_server use swagger UI offline.
2. add custom title and icon.
3. remove fastapi-offline dependence
 2023-08-16 14:20:09 +08:00
liunux4odoo a08fe994c2 更新API与ApiReuest： 
1. 重新整理webui_pages/utils与server/knowledge_base间的工具依赖
2.
将delete_knowledge_base与delete_doc接口从delete改为post.delete不支持body参数
3. 修复update_doc
4. 修复部分bug
 2023-08-11 08:45:26 +08:00
imClumsyPanda 8a4d9168fa update import pkgs and format 2023-08-10 21:26:05 +08:00
liunux4odoo 18e7e7307b patch fastapi-offline to use local swagger-ui assests 2023-08-10 17:00:39 +08:00
imClumsyPanda dcf49a59ef v0.2.0 first commit 2023-07-27 23:22:07 +08:00