weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,563 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

30 Commits

Author SHA1 Message Date
liunux4odoo 8b695dba03 *_chat 接口中，当 max_tokens=0时，将其设为 None,避免 swagger ui 中默认值为0时访问出错 2023-11-26 16:47:58 +08:00
liunux4odoo b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 (#2002) 
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库

依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误

修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
 2023-11-09 22:15:52 +08:00
zR 24d1e28a07
一些细节优化 (#1891) 
Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-27 11:52:44 +08:00
liunux4odoo b4c68ddd05
优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式 (#1886) 
* 优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式

新功能
- 智谱AI、Minimax、千帆、千问 4 个在线模型支持 embeddings（不通过Fastchat，后续会单独提供相关api接口）
- 在线模型自动检测传入参数，在传入非 messages 格式的 prompt 时，自动转换为 completion 形式，以支持 completion 接口

开发者：
- 重构ApiModelWorker:
  - 所有在线 API 请求封装到 do_chat 方法：自动传入参数 ApiChatParams，简化参数与配置项的获取；自动处理与fastchat的接口
  - 加强 API 请求错误处理，返回更有意义的信息
  - 改用 qianfan sdk 重写 qianfan-api
  - 将所有在线模型的测试用例统一在一起，简化测试用例编写

* Delete requirements_langflow.txt
 2023-10-26 22:44:48 +08:00
liunux4odoo 03e55e11c4
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话 (#1860) 
* move get_default_llm_model from webui to ApiRequest

增加API接口及其测试用例：
- /server/get_prompt_template: 获取服务器配置的 prompt 模板
- 增加知识库多线程访问测试用例

支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话

* fix bug in server.api

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-10-25 08:30:23 +08:00
liunux4odoo d053950aee
新功能： (#1801) 
- 更新langchain/fastchat依赖，添加xformers依赖
- 默认max_tokens=None, 生成tokens自动为模型支持的最大值

修复：
- history_len=0 时会带入1条不完整的历史消息，导致LLM错误
- 当对话轮数 达到history_len时，传入的历史消息为空
 2023-10-19 22:09:15 +08:00
liunux4odoo b9b42991f6 - 支持metaphor搜索引擎（无需代理，key申请简单，目前不支持中文） 
- 增加默认知识库和默认搜索引擎的配置项
- 修复WEBUI弹出当前模型错误
 2023-10-18 23:02:20 +08:00
zR 69e5da4e7a
北京黑客松更新 (#1785) 
* 北京黑客松更新

知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）

知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介

提示词选择
1. UI 和模板支持提示词模板更换选择
 2023-10-18 15:19:02 +08:00
liunux4odoo cd748128c3
add paramter `max_tokens` to 4 chat api with default value 1024 (#1744) 2023-10-12 16:18:56 +08:00
liunux4odoo 8d0f8a5d67 fix: langchain warnings for import from root 2023-09-27 21:55:02 +08:00
zR d39878ff35
Dev (#1613) 
* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度
 2023-09-27 21:17:50 +08:00
liunux4odoo ec85cd1954
move wrap_done & get_ChatOpenAI from server.chat.utils to server.utils (#1506) 2023-09-17 16:19:50 +08:00
liunux4odoo a65bc4a63c
添加configs/prompt_config.py，允许用户自定义prompt模板： (#1504) 
1、 默认包含2个模板，分别用于LLM对话，知识库和搜索引擎对话
2、 server/utils.py提供函数get_prompt_template，获取指定的prompt模板内容（支持热加载）
3、 api.py中chat/knowledge_base_chat/search_engine_chat接口支持prompt_name参数
 2023-09-17 13:27:11 +08:00
liunux4odoo f7c73b842a
优化configs (#1474) 
* remove llm_model_dict

* optimize configs

* fix get_model_path

* 更改一些默认参数，添加千帆的默认配置

* Update server_config.py.example
 2023-09-15 17:52:22 +08:00
liunux4odoo 8b040620de
对话接口支持temperature参数 (#1455) 2023-09-13 10:00:54 +08:00
liunux4odoo 6a03611750
fix api and webui: (#1435) 
1. fix #1431: 优化知识库问答与搜索引擎问答的API接口，避免docs重复返回
2. startup.py根据configs.log_verbose控制log级别
3. 修复/llm_model/list_models的bug:
   只有一个参数时，fastapi未返回json导致视图函数出错
 2023-09-12 08:31:17 +08:00
liunux4odoo 775870a516
改变api视图函数的sync/async，提高api并发能力： (#1414) 
1. 4个chat类接口改为async
2. 知识库操作，涉及向量库修改的使用async，避免FAISS写入错误；涉及向量库读取的改为sync，提高并发
 2023-09-08 12:25:02 +08:00
liunux4odoo 6cb1bdf623
添加切换模型功能，支持智谱AI在线模型 (#1342) 
* 添加LLM模型切换功能，需要在server_config中设置可切换的模型
* add tests for api.py/llm_model/*
* - 支持模型切换
- 支持智普AI线上模型
- startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a
  (--all-webui), --all-api`时默认开启该选项
* 修复被fastchat覆盖的标准输出
* 对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
* 修正chatglm api的对话模板


Co-authored-by: liunux4odoo <liunu@qq.com>
 2023-09-01 23:58:09 +08:00
liunux4odoo 447b370416 在search_engine_chat中检查Bing KEY，并更新tests 2023-08-25 10:58:40 +08:00
zqt 2a2b95d214 search_engine_chat bug 2023-08-24 17:25:54 +08:00
liunux4odoo 63ca393731 参照chat，给knowledge_base_chat/search_engine_chat添加chatgpt代理设置 2023-08-24 15:10:51 +08:00
liunux4odoo 44edce6bcf fix #1142: 在History中使用jinja2模板代替f-string，避免消息中含有{ }时出错 2023-08-23 08:35:26 +08:00
imClumsyPanda 8a4d9168fa update import pkgs and format 2023-08-10 21:26:05 +08:00
liunux4odoo 222689ed5b update kb and search chat: disable streaming in swagger besides streaming in ApiRequest 2023-08-09 23:35:36 +08:00
imClumsyPanda 1b70fb5f9b update faiss_kb_service.py 2023-08-09 22:57:36 +08:00
liunux4odoo db29a2fea7 update knowledge_base_chat and search_engine_chat: yield chinese correctly 2023-08-09 22:54:37 +08:00
liunux4odoo 323fc13d4c make parameter examples available in openapi docs 2023-08-09 18:15:14 +08:00
imClumsyPanda 2d49746a8d add history to chat apis 2023-08-08 23:54:51 +08:00
liunux4odoo c4994e85df fix: knowledge_base_chat and search_engine_chat should stream json text 
instead of dict. client should use json.loads.
 2023-08-04 12:12:13 +08:00
imClumsyPanda 329c24ee73 1. change bing_search_chat and duckduckgo_search_chat into search_engine_chat 
2. add knowledge_base not found to knowledge_base_chat and add search_engine not found to search_engine_chat
 2023-08-03 18:22:36 +08:00