weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,667 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

120 Commits

Author SHA1 Message Date
imClumsyPanda 719e2713ed fix typos 2023-12-31 20:13:14 +08:00
liunux4odoo 3b28f40c6a update requirements: 统一各文件依赖顺序，便于比对；移出streamlit-antd-components; jq默认安装; numexpr 限定 2.8.6 以兼容 py38 2023-12-29 09:35:02 +08:00
liunux4odoo 5cccd5e7aa merge from master 2023-12-29 09:10:01 +08:00
zR 2e1442a5c1 修复 Langchain 更新之后OpenAI在线embed无法正常使用问题 2023-12-23 11:36:11 +08:00
liunux4odoo fdea406101 update requirements: 统一各文件依赖顺序，便于比对；移出streamlit-antd-components; jq默认安装 2023-12-19 15:59:41 +08:00
liunux4odoo c8fef3380c merge from dev 2023-12-13 16:52:40 +08:00
hzg0601 1fac51fe35 temporarily save faiss_cache 2023-12-06 09:45:56 +00:00
liunux4odoo 67b7c99d03
ocr 支持 GPU 加速（需要手动安装 rapidocr_paddle[gpu])；知识库支持 MHTML 和 Evernote 文件。 (#2265) 
在 requirements 和 Wiki 中增加对可选文档加载器 SDK 的说明 ( close #2264 )
 2023-12-04 09:39:56 +08:00
zR dcb76984bc
修复Azure 不设置Max token的bug (#2254) 2023-12-02 16:50:56 +08:00
zR 023cb22da7
修改 duckduckgo 依赖错误 (#2252) 2023-12-02 12:30:07 +08:00
Zhi-guo Huang 643cc6c5be
Update duckduckgo version 2023-12-02 12:25:12 +08:00
zR 0cc1be224d
依赖升级 (#2246) 
大量依赖升级到最新版
测试环境：Ubuntu 22.04 LTS kernel 6.6.3 Python 3.10.12，Cuda12.3 update1
 2023-12-01 11:34:41 +08:00
imClumsyPanda 072e0a2a32 update reqs and server/utils 2023-11-30 22:23:15 +08:00
imClumsyPanda 7e99cc12b3 update reqs 2023-11-30 21:54:09 +08:00
zR 40918c21de
bug修复和提示词修改 (#2230) 
* 更新Langchain依赖到0.0.343以上版本

* 更改了一些提示词和依赖，修改了openai异常的问题

* 注释data的打印日志
 2023-11-30 12:09:53 +08:00
liunux4odoo c4fe3393b3
添加自定义命令： (#2229) 
/new [conv_name] 新建会话
/del [conv_name] 删除会话
/clear [conv_name] 清空会话
/help 命令帮助

新增依赖：streamlit-modal
 2023-11-30 11:39:41 +08:00
zR b7a50daa0f
更新Langchain依赖到0.0.342以上版本 (#2212) 2023-11-29 15:08:13 +08:00
hzg0601 08530edb3d add some comment 2023-11-25 19:56:36 +08:00
zR 1b0cf67a57
支持软连接的知识库 (#2167) 
* GLM3支持传入提示词

支持传入提示词的Agent ChatGLM3-6B

* 软连接处理

1. 有效的软连接处理，参考了 #2125
2. 更新了依赖，现在fschat原生支持GLM3的全功能

* 更新了支持的模型列表和依赖
1. 推荐用户使用GLM3-6B取代2代GLM模型
2. 推荐用户使用性能更强的bge模型
3 推荐使用vllm和torch的最新稳定版本
 2023-11-24 22:47:55 +08:00
Eden dfcebf7bc3
支持昆仑万维天工大模型 (#2166) 
---------

Co-authored-by: Eden <chuangqi.huang@ubtrobot.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-24 22:25:35 +08:00
Zhi-guo Huang 700c4ad170
Update requirements.txt 
删除中文以防止win上的安装错误
 2023-11-20 15:57:26 +08:00
zR 91ff0574df
支持ChatGLM3-6B (#2021) 
* 更新依赖和配置文件中的Agent模型

* 支持基础的glm3_agent
 2023-11-12 16:45:50 +08:00
liunux4odoo b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 (#2002) 
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库

依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误

修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
 2023-11-09 22:15:52 +08:00
zR 3952fbd464
更新依赖和配置文件中的Agent模型 (#1984) 2023-11-07 13:52:47 +08:00
imClumsyPanda ce9160fbfa update requirements.txt 2023-11-06 22:11:55 +08:00
zR 57612d5232
修复一些bug (#1965) 
* 修改一些bug

* 更新掉了一部分之前的bug
 2023-11-03 18:56:27 +08:00
qiankunli fa906b33a8
添加对话评分与历史消息保存功能 (#1940) 
* 新功能：
- WEBUI 添加对话评分功能
- 增加 /chat/feedback 接口，用于接收对话评分
- /chat/chat 接口返回值由 str 改为 {"text":str, "chat_history_id": str}
- init_database.py 添加 --create-tables --clear-tables 参数

依赖：
- streamlit-chatbox==1.1.11

开发者：
- ChatHistoryModel 的 id 字段支持自动生成
- SAVE_CHAT_HISTORY 改到 basic_config.py

* 修复：点击反馈后页面未刷新

---------

Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
 2023-11-03 11:31:45 +08:00
zR 24d1e28a07
一些细节优化 (#1891) 
Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-27 11:52:44 +08:00
zR 35a7ca74c0
Azure 的fschat支持，弃用Langchain-MODEL (#1873) 
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能，加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

* 修复一些兼容性的bug

* 恢复知识库

* 恢复知识库

* 修复Azure问题
 2023-10-25 21:32:40 +08:00
liunux4odoo 27418ba9fa fix bug, add dependencies: strsimpy, markdownify 2023-10-25 08:58:31 +08:00
zR e920cd0064
合并分支，支持 (#1808) 
* 北京黑客松更新

知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）

知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介

提示词选择
1. UI 和模板支持提示词模板更换选择

* 数据库更新介绍问题解决

* 关于Langchain自己支持的模型

1. 修复了Openai无法调用的bug
2. 支持了Azure Openai Claude模型
（在模型切换界面由于优先级问题，显示的会是其他联网模型)
3. 422问题被修复，用了另一种替代方案。
4. 更新了部分依赖
 2023-10-20 18:13:55 +08:00
liunux4odoo 83e25f8011 remove xformers from requirements*.txt; check llm_model before change model in webui 2023-10-20 15:01:39 +08:00
liunux4odoo d053950aee
新功能： (#1801) 
- 更新langchain/fastchat依赖，添加xformers依赖
- 默认max_tokens=None, 生成tokens自动为模型支持的最大值

修复：
- history_len=0 时会带入1条不完整的历史消息，导致LLM错误
- 当对话轮数 达到history_len时，传入的历史消息为空
 2023-10-19 22:09:15 +08:00
zR 69e5da4e7a
北京黑客松更新 (#1785) 
* 北京黑客松更新

知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）

知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介

提示词选择
1. UI 和模板支持提示词模板更换选择
 2023-10-18 15:19:02 +08:00
liunux4odoo 9ce328fea9
实现Api和WEBUI的前后端分离 (#1772) 
* update ApiRequest: 删除no_remote_api本地调用模式；支持同步/异步调用
* 实现API和WEBUI的分离：
- API运行服务器上的配置通过/llm_model/get_model_config、/server/configs接口提供，WEBUI运行机器上的配置项仅作为代码内部默认值使用
- 服务器可用的搜索引擎通过/server/list_search_engines提供
- WEBUI可选LLM列表中只列出在FSCHAT_MODEL_WORKERS中配置的模型
- 修改WEBUI中默认LLM_MODEL获取方式，改为从api端读取
- 删除knowledge_base_chat中`local_doc_url`参数

其它修改：
- 删除多余的kb_config.py.exmaple(名称错误)
- server_config中默认关闭vllm
- server_config中默认注释除智谱AI之外的在线模型
- 修改requests从系统获取的代理，避免model worker注册错误

* 修正：
- api.list_config_models返回模型原始配置
- api.list_config_models和api.get_model_config中过滤online api模型的敏感信息
- 将GPT等直接访问的模型列入WEBUI可选模型列表

其它：
- 指定langchain==0.3.313, fschat==0.2.30, langchain-experimental==0.0.30
 2023-10-17 16:52:07 +08:00
zR 111bc45d04
Wiki完善和Agent完善计划 (#1680) 
* 更新上agent提示词代码

* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug

* 按需修改

* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具

* Agent大幅度优化

1. 修改了UI界面
(1)高亮所有没有进行agent对齐的模型，
(2)优化输出体验和逻辑，使用markdown

2. 降低天气工具使用门槛
3. 依赖更新
(1) vllm 更新到0.2.0，增加了一些参数
(2) torch 建议更新到2.1
(3)pydantic不要更新到1.10.12

* 更新了一些注释

* 修改部分依赖，修改了部分wiki用图

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-07 22:00:56 +08:00
zR 2c8fc95f7a
Agent大更新合并 (#1666) 
* 更新上agent提示词代码

* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug

* 按需修改

* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具

* Agent大幅度优化

1. 修改了UI界面
(1)高亮所有没有进行agent对齐的模型，
(2)优化输出体验和逻辑，使用markdown

2. 降低天气工具使用门槛
3. 依赖更新
(1) vllm 更新到0.2.0，增加了一些参数
(2) torch 建议更新到2.1
(3)pydantic不要更新到1.10.12
 2023-10-07 11:26:11 +08:00
glide-the 37500b878e 指定transformers==4.33.3版本 
(cherry picked from commit f30b4d5d57)
 2023-10-04 14:05:00 +08:00
zR fc6a3b07ed
Dev (#1652) 
* 更新上agent提示词代码

* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug

* 按需修改

* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具
 2023-10-04 12:05:46 +08:00
zR 5702554171
增加了仅限GPT4的agent功能，陆续补充，中文版readme已写 (#1611) 2023-09-27 19:19:25 +08:00
hzg0601 2716ff739d 1. 更新congif中关于vllm后端相关说明；2. 更新requirements，requirements_api; 2023-09-26 21:55:57 +08:00
hzg0601 2d823aa4b1 1. debug vllm加速框架完毕；2. 修改requirements,requirements_api对vllm的依赖；3.注释掉serve_config中baichuan-7b的device为cpu的配置 2023-09-24 02:05:40 +08:00
hzg0601 89aed8e675 update readme_en,readme,requirements_api,requirements,model_config.py.example:测试baichuan2-7b;更新相关文档 2023-09-22 14:30:28 +08:00
Leego 9bcce0a572
【功能新增】在线 LLM 模型支持阿里云通义千问 (#1534) 
* feat: add qwen-api

* 使Qwen API支持temperature参数；添加测试用例

* 将online-api的sdk列为可选依赖

---------

Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-09-20 21:34:12 +08:00
liunux4odoo b161985d79 fix #1519: streamlit-chatbox旧版BUG，但新版有兼容问题，先在webui中作处理，并限定chatbox版本 (#1525) 
close #1519
 2023-09-20 16:47:07 +08:00
imClumsyPanda fbaca1009e update requirements.txt, requirements_api.txt, test_different_splitter.py and chinese_recursive_text_splitter.py 2023-09-14 22:59:05 +08:00
liunux4odoo c4cb4e19e5
清理不必要的依赖，增加星火API需要的websockets (#1463) 2023-09-13 15:35:04 +08:00
liunux4odoo a03b8d330d
升级到langchain==0.0.287,fschat==0.0.28;处理langchain.Milvus bug(#10492) (#1454) 
* 修复milvus_kb_service中一些bug，添加文档后将数据同步到数据库
* 升级到langchain==0.0.287,fschat==0.0.28;处理langchain.Milvus bug(#10492)
* 修复切换模型BUG: 从在线API切换模型时出错
 2023-09-13 08:43:11 +08:00
glide-the b0a9d8f30e 增加显示ocr识别进度 2023-09-08 21:32:41 +08:00
imClumsyPanda 673410ecd5 fix pdf ocr bug 2023-09-06 20:08:56 +08:00