b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 ( #2002 )
...
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库
依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误
修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
2023-11-09 22:15:52 +08:00
3952fbd464
更新依赖和配置文件中的Agent模型 ( #1984 )
2023-11-07 13:52:47 +08:00
ce9160fbfa
update requirements.txt
2023-11-06 22:11:55 +08:00
57612d5232
修复一些bug ( #1965 )
...
* 修改一些bug
* 更新掉了一部分之前的bug
2023-11-03 18:56:27 +08:00
fa906b33a8
添加对话评分与历史消息保存功能 ( #1940 )
...
* 新功能：
- WEBUI 添加对话评分功能
- 增加 /chat/feedback 接口，用于接收对话评分
- /chat/chat 接口返回值由 str 改为 {"text":str, "chat_history_id": str}
- init_database.py 添加 --create-tables --clear-tables 参数
依赖：
- streamlit-chatbox==1.1.11
开发者：
- ChatHistoryModel 的 id 字段支持自动生成
- SAVE_CHAT_HISTORY 改到 basic_config.py
* 修复：点击反馈后页面未刷新
---------
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
2023-11-03 11:31:45 +08:00
24d1e28a07
一些细节优化 ( #1891 )
...
Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-27 11:52:44 +08:00
35a7ca74c0
Azure 的fschat支持，弃用Langchain-MODEL ( #1873 )
...
* 支持了agentlm
* 支持了agentlm和相关提示词
* 修改了Agent的一些功能，加入了Embed方面的一个优化
* 修改了部分Agent的工具
* 增加一些Langchain的自带工具
* 修复一些兼容性的bug
* 恢复知识库
* 恢复知识库
* 修复Azure问题
2023-10-25 21:32:40 +08:00
27418ba9fa
fix bug, add dependencies: strsimpy, markdownify
2023-10-25 08:58:31 +08:00
e920cd0064
合并分支，支持 ( #1808 )
...
* 北京黑客松更新
知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）
知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介
提示词选择
1. UI 和模板支持提示词模板更换选择
* 数据库更新介绍问题解决
* 关于Langchain自己支持的模型
1. 修复了Openai无法调用的bug
2. 支持了Azure Openai Claude模型
（在模型切换界面由于优先级问题，显示的会是其他联网模型)
3. 422问题被修复，用了另一种替代方案。
4. 更新了部分依赖
2023-10-20 18:13:55 +08:00
83e25f8011
remove xformers from requirements*.txt; check llm_model before change model in webui
2023-10-20 15:01:39 +08:00
d053950aee
新功能： ( #1801 )
...
- 更新langchain/fastchat依赖，添加xformers依赖
- 默认max_tokens=None, 生成tokens自动为模型支持的最大值
修复：
- history_len=0 时会带入1条不完整的历史消息，导致LLM错误
- 当对话轮数 达到history_len时，传入的历史消息为空
2023-10-19 22:09:15 +08:00
69e5da4e7a
北京黑客松更新 ( #1785 )
...
* 北京黑客松更新
知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）
知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介
提示词选择
1. UI 和模板支持提示词模板更换选择
2023-10-18 15:19:02 +08:00
9ce328fea9
实现Api和WEBUI的前后端分离 ( #1772 )
...
* update ApiRequest: 删除no_remote_api本地调用模式；支持同步/异步调用
* 实现API和WEBUI的分离：
- API运行服务器上的配置通过/llm_model/get_model_config、/server/configs接口提供，WEBUI运行机器上的配置项仅作为代码内部默认值使用
- 服务器可用的搜索引擎通过/server/list_search_engines提供
- WEBUI可选LLM列表中只列出在FSCHAT_MODEL_WORKERS中配置的模型
- 修改WEBUI中默认LLM_MODEL获取方式，改为从api端读取
- 删除knowledge_base_chat中`local_doc_url`参数
其它修改：
- 删除多余的kb_config.py.exmaple(名称错误)
- server_config中默认关闭vllm
- server_config中默认注释除智谱AI之外的在线模型
- 修改requests从系统获取的代理，避免model worker注册错误
* 修正：
- api.list_config_models返回模型原始配置
- api.list_config_models和api.get_model_config中过滤online api模型的敏感信息
- 将GPT等直接访问的模型列入WEBUI可选模型列表
其它：
- 指定langchain==0.3.313, fschat==0.2.30, langchain-experimental==0.0.30
2023-10-17 16:52:07 +08:00
111bc45d04
Wiki完善和Agent完善计划 ( #1680 )
...
* 更新上agent提示词代码
* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug
* 按需修改
* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具
* Agent大幅度优化
1. 修改了UI界面
(1)高亮所有没有进行agent对齐的模型，
(2)优化输出体验和逻辑，使用markdown
2. 降低天气工具使用门槛
3. 依赖更新
(1) vllm 更新到0.2.0，增加了一些参数
(2) torch 建议更新到2.1
(3)pydantic不要更新到1.10.12
* 更新了一些注释
* 修改部分依赖，修改了部分wiki用图
---------
Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-07 22:00:56 +08:00
2c8fc95f7a
Agent大更新合并 ( #1666 )
...
* 更新上agent提示词代码
* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug
* 按需修改
* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具
* Agent大幅度优化
1. 修改了UI界面
(1)高亮所有没有进行agent对齐的模型，
(2)优化输出体验和逻辑，使用markdown
2. 降低天气工具使用门槛
3. 依赖更新
(1) vllm 更新到0.2.0，增加了一些参数
(2) torch 建议更新到2.1
(3)pydantic不要更新到1.10.12
2023-10-07 11:26:11 +08:00
37500b878e
指定transformers==4.33.3版本
...
(cherry picked from commit f30b4d5d57
2023-10-04 14:05:00 +08:00
fc6a3b07ed
Dev ( #1652 )
...
* 更新上agent提示词代码
* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug
* 按需修改
* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具
2023-10-04 12:05:46 +08:00
5702554171
增加了仅限GPT4的agent功能，陆续补充，中文版readme已写 ( #1611 )
2023-09-27 19:19:25 +08:00
2716ff739d
1. 更新congif中关于vllm后端相关说明；2. 更新requirements，requirements_api;
2023-09-26 21:55:57 +08:00
2d823aa4b1
1. debug vllm加速框架完毕；2. 修改requirements,requirements_api对vllm的依赖；3.注释掉serve_config中baichuan-7b的device为cpu的配置
2023-09-24 02:05:40 +08:00
89aed8e675
update readme_en,readme,requirements_api,requirements,model_config.py.example:测试baichuan2-7b;更新相关文档
2023-09-22 14:30:28 +08:00
9bcce0a572
【功能新增】在线 LLM 模型支持阿里云通义千问 ( #1534 )
...
* feat: add qwen-api
* 使Qwen API支持temperature参数；添加测试用例
* 将online-api的sdk列为可选依赖
---------
Co-authored-by: liunux4odoo <liunux@qq.com>
2023-09-20 21:34:12 +08:00
b161985d79
fix #1519 : streamlit-chatbox旧版BUG，但新版有兼容问题，先在webui中作处理，并限定chatbox版本 ( #1525 )
...
close #1519
2023-09-20 16:47:07 +08:00
fbaca1009e
update requirements.txt, requirements_api.txt, test_different_splitter.py and chinese_recursive_text_splitter.py
2023-09-14 22:59:05 +08:00
c4cb4e19e5
清理不必要的依赖，增加星火API需要的websockets ( #1463 )
2023-09-13 15:35:04 +08:00
a03b8d330d
升级到langchain==0.0.287,fschat==0.0.28;处理langchain.Milvus bug( #10492 ) ( #1454 )
...
* 修复milvus_kb_service中一些bug，添加文档后将数据同步到数据库
* 升级到langchain==0.0.287,fschat==0.0.28;处理langchain.Milvus bug(#10492 )
* 修复切换模型BUG: 从在线API切换模型时出错
2023-09-13 08:43:11 +08:00
b0a9d8f30e
增加显示ocr识别进度
2023-09-08 21:32:41 +08:00
673410ecd5
fix pdf ocr bug
2023-09-06 20:08:56 +08:00
9da7313e7e
update requirements.txt
2023-09-05 14:46:26 +08:00
220b1bd9ae
update requirements.txt
2023-09-05 13:41:08 +08:00
6c4ef26e9a
add RapidOCRPDFLoader and RapidOCRLoader ( #1275 )
...
* add RapidOCRPDFLoader
* update mypdfloader.py and requirements.txt
* add myimgloader.py
* add test samples
* add TODO to mypdfloader
* add loaders to KnowledgeFile class
* add loaders to KnowledgeFile class
2023-09-01 10:23:57 +08:00
37985f29f0
Update requirements.txt
2023-08-26 13:35:47 +08:00
32bf508745
update requirements
2023-08-25 22:53:49 +08:00
2e930cf43c
update requirements.txt
2023-08-25 22:14:56 +08:00
fd5988422e
update langchain version requirements
2023-08-20 16:52:56 +08:00
8ed1f8efca
update fastchat to 0.2.24
2023-08-16 16:15:45 +08:00
f64affc930
update llm_api and api server:
...
1. fastchat's controller/model_worker/api_server use swagger UI offline.
2. add custom title and icon.
3. remove fastapi-offline dependence
2023-08-16 14:20:09 +08:00
353d9fc72b
update init_database.py
2023-08-13 10:25:02 +08:00
e65458a506
update requirements.txt
2023-08-12 10:44:04 +08:00
2a57f49d80
update knowledge base management ui.
...
remove numpy/pandas from requirements, move them to webui requirements
2023-08-11 13:53:20 +08:00
9fc467274f
update requirements.txt
2023-08-10 21:53:09 +08:00
8a4d9168fa
update import pkgs and format
2023-08-10 21:26:05 +08:00
b733a47902
split requirements to 2 parts: basic with api; webui
2023-08-10 15:51:22 +08:00
d4f728dfa2
添加向量数据库pg支持，和向量库docker-compose.ym环境文件
2023-08-10 11:16:52 +08:00
53fef3a7e9
add streamlit-aggrid to requirements
2023-08-10 07:50:24 +08:00
2d49746a8d
add history to chat apis
2023-08-08 23:54:51 +08:00
79be21521a
补充SQLAlchemy==2.0.19版本
2023-08-08 14:29:08 +08:00
40b6d1f178
add python-magic-bin to requirements on windows. or document loader failed at `from unstructured.partion.auto import partion` on windows
2023-08-08 12:03:33 +08:00
44c713ef98
use KBServiceFactory to replace all the KnowledgeBase.
...
make KBServiceFactory support embed_model parameter.
rewrite api: recreate_vector_store.
fix some bugs.
2023-08-07 20:37:16 +08:00
7bfbe18011
update requirements.txt and kb_doc_api.py
2023-08-04 15:12:14 +08:00
liunux4odoo
zR
imClumsyPanda
qiankunli
liunux4odoo
glide-the
hzg0601
Leego
liunux4odoo
zqt