f30b4d5d57
指定transformers==4.33.3版本
2023-10-04 13:35:11 +08:00
ba8d0f8e17
发版：v0.2.5 ( #1620 )
...
* 优化configs (#1474 )
* remove llm_model_dict
* optimize configs
* fix get_model_path
* 更改一些默认参数，添加千帆的默认配置
* Update server_config.py.example
* fix merge conflict for #1474 (#1494 )
* 修复ChatGPT api_base_url错误；用户可以在model_config在线模型配置中覆盖默认的api_base_url (#1496 )
* 优化LLM模型列表获取、切换的逻辑： (#1497 )
1、更准确的获取未运行的可用模型
2、优化WEBUI模型列表显示与切换的控制逻辑
* 更新migrate.py和init_database.py，加强知识库迁移工具： (#1498 )
1. 添加--update-in-db参数，按照数据库信息，从本地文件更新向量库
2. 添加--increament参数，根据本地文件增量更新向量库
3. 添加--prune-db参数，删除本地文件后，自动清理相关的向量库
4. 添加--prune-folder参数，根据数据库信息，清理无用的本地文件
5. 取消--update-info-only参数。数据库中存储了向量库信息，该操作意义不大
6. 添加--kb-name参数，所有操作支持指定操作的知识库，不指定则为所有本地知识库
7. 添加知识库迁移的测试用例
8. 删除milvus_kb_service的save_vector_store方法
* feat: support volc fangzhou
* 使火山方舟正常工作，添加错误处理和测试用例
* feat: support volc fangzhou (#1501 )
* feat: support volc fangzhou
---------
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
* 第一版初步agent实现 (#1503 )
* 第一版初步agent实现
* 增加steaming参数
* 修改了weather.py
---------
Co-authored-by: zR <zRzRzRzRzRzRzR>
* 添加configs/prompt_config.py，允许用户自定义prompt模板： (#1504 )
1、 默认包含2个模板，分别用于LLM对话，知识库和搜索引擎对话
2、 server/utils.py提供函数get_prompt_template，获取指定的prompt模板内容（支持热加载）
3、 api.py中chat/knowledge_base_chat/search_engine_chat接口支持prompt_name参数
* 增加其它模型的参数适配
* 增加传入矢量名称加载
* 1. 搜索引擎问答支持历史记录；
2. 修复知识库问答历史记录传参错误：用户输入被传入history，问题出在webui中重复获取历史消息，api知识库对话接口并无问题。
* langchain日志开关
* move wrap_done & get_ChatOpenAI from server.chat.utils to server.utils (#1506 )
* 修复faiss_pool知识库缓存key错误 (#1507 )
* fix ReadMe anchor link (#1500 )
* fix : Duplicate variable and function name (#1509 )
Co-authored-by: Jim <zhangpengyi@taijihuabao.com>
* Update README.md
* fix #1519 : streamlit-chatbox旧版BUG，但新版有兼容问题，先在webui中作处理，并限定chatbox版本 (#1525 )
close #1519
* 【功能新增】在线 LLM 模型支持阿里云通义千问 (#1534 )
* feat: add qwen-api
* 使Qwen API支持temperature参数；添加测试用例
* 将online-api的sdk列为可选依赖
---------
Co-authored-by: liunux4odoo <liunux@qq.com>
* 处理序列化至磁盘的逻辑
* remove depends on volcengine
* update kb_doc_api: use Form instead of Body when upload file
* 将所有httpx请求改为使用Client，提高效率，方便以后设置代理等。 (#1554 )
将所有httpx请求改为使用Client，提高效率，方便以后设置代理等。
将本项目相关服务加入无代理列表，避免fastchat的服务器请求错误。(windows下无效)
* update QR code
* update readme_en,readme,requirements_api,requirements,model_config.py.example:测试baichuan2-7b;更新相关文档
* 新增特性：1.支持vllm推理加速框架；2. 更新支持模型列表
* 更新文件：1. startup,model_config.py.example,serve_config.py.example,FAQ
* 1. debug vllm加速框架完毕；2. 修改requirements,requirements_api对vllm的依赖；3.注释掉serve_config中baichuan-7b的device为cpu的配置
* 1. 更新congif中关于vllm后端相关说明；2. 更新requirements，requirements_api;
* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写 (#1611 )
* Dev (#1613 )
* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写
* issue提到的一个bug
* 温度最小改成0，但是不应该支持负数
* 修改了最小的温度
* fix: set vllm based on platform to avoid error on windows
* fix: langchain warnings for import from root
* 修复webui中重建知识库以及对话界面UI错误 (#1615 )
* 修复bug:webui点重建知识库时，如果存在不支持的文件会导致整个接口错误;migrate中没有导入CHUNK_SIZE
* 修复：webui对话界面的expander一直为running状态；简化历史消息获取方法
* 根据官方文档，添加对英文版的bge embedding的指示模板 (#1585 )
Co-authored-by: zR <2448370773@qq.com>
* Dev (#1618 )
* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写
* issue提到的一个bug
* 温度最小改成0，但是不应该支持负数
* 修改了最小的温度
* 增加了部分Agent支持和修改了启动文件的部分bug
* 修改了GPU数量配置文件
* 1
1
* 修复配置文件错误
* 更新readme，稳定测试
* 更改readme 0928 (#1619 )
* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写
* issue提到的一个bug
* 温度最小改成0，但是不应该支持负数
* 修改了最小的温度
* 增加了部分Agent支持和修改了启动文件的部分bug
* 修改了GPU数量配置文件
* 1
1
* 修复配置文件错误
* 更新readme，稳定测试
* 更新readme
* fix readme
* 处理序列化至磁盘的逻辑
* update version number to v0.2.5
---------
Co-authored-by: qiankunli <qiankun.li@qq.com>
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: zR <2448370773@qq.com>
Co-authored-by: glide-the <2533736852@qq.com>
Co-authored-by: Water Zheng <1499383852@qq.com>
Co-authored-by: Jim Zhang <dividi_z@163.com>
Co-authored-by: Jim <zhangpengyi@taijihuabao.com>
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
Co-authored-by: Leego <leegodev@hotmail.com>
Co-authored-by: hzg0601 <hzg0601@163.com>
Co-authored-by: WilliamChen-luckbob <58684828+WilliamChen-luckbob@users.noreply.github.com>
2023-09-28 23:30:21 +08:00
6c4598b356
fix #1519 : streamlit-chatbox旧版BUG，但新版有兼容问题，先在webui中作处理，并限定chatbox版本 ( #1525 )
...
close #1519
2023-09-19 10:09:40 +08:00
fbaca1009e
update requirements.txt, requirements_api.txt, test_different_splitter.py and chinese_recursive_text_splitter.py
2023-09-14 22:59:05 +08:00
c4cb4e19e5
清理不必要的依赖，增加星火API需要的websockets ( #1463 )
2023-09-13 15:35:04 +08:00
a03b8d330d
升级到langchain==0.0.287,fschat==0.0.28;处理langchain.Milvus bug( #10492 ) ( #1454 )
...
* 修复milvus_kb_service中一些bug，添加文档后将数据同步到数据库
* 升级到langchain==0.0.287,fschat==0.0.28;处理langchain.Milvus bug(#10492 )
* 修复切换模型BUG: 从在线API切换模型时出错
2023-09-13 08:43:11 +08:00
b0a9d8f30e
增加显示ocr识别进度
2023-09-08 21:32:41 +08:00
673410ecd5
fix pdf ocr bug
2023-09-06 20:08:56 +08:00
9da7313e7e
update requirements.txt
2023-09-05 14:46:26 +08:00
220b1bd9ae
update requirements.txt
2023-09-05 13:41:08 +08:00
6c4ef26e9a
add RapidOCRPDFLoader and RapidOCRLoader ( #1275 )
...
* add RapidOCRPDFLoader
* update mypdfloader.py and requirements.txt
* add myimgloader.py
* add test samples
* add TODO to mypdfloader
* add loaders to KnowledgeFile class
* add loaders to KnowledgeFile class
2023-09-01 10:23:57 +08:00
37985f29f0
Update requirements.txt
2023-08-26 13:35:47 +08:00
32bf508745
update requirements
2023-08-25 22:53:49 +08:00
2e930cf43c
update requirements.txt
2023-08-25 22:14:56 +08:00
fd5988422e
update langchain version requirements
2023-08-20 16:52:56 +08:00
8ed1f8efca
update fastchat to 0.2.24
2023-08-16 16:15:45 +08:00
f64affc930
update llm_api and api server:
...
1. fastchat's controller/model_worker/api_server use swagger UI offline.
2. add custom title and icon.
3. remove fastapi-offline dependence
2023-08-16 14:20:09 +08:00
353d9fc72b
update init_database.py
2023-08-13 10:25:02 +08:00
e65458a506
update requirements.txt
2023-08-12 10:44:04 +08:00
2a57f49d80
update knowledge base management ui.
...
remove numpy/pandas from requirements, move them to webui requirements
2023-08-11 13:53:20 +08:00
9fc467274f
update requirements.txt
2023-08-10 21:53:09 +08:00
8a4d9168fa
update import pkgs and format
2023-08-10 21:26:05 +08:00
b733a47902
split requirements to 2 parts: basic with api; webui
2023-08-10 15:51:22 +08:00
d4f728dfa2
添加向量数据库pg支持，和向量库docker-compose.ym环境文件
2023-08-10 11:16:52 +08:00
53fef3a7e9
add streamlit-aggrid to requirements
2023-08-10 07:50:24 +08:00
2d49746a8d
add history to chat apis
2023-08-08 23:54:51 +08:00
79be21521a
补充SQLAlchemy==2.0.19版本
2023-08-08 14:29:08 +08:00
40b6d1f178
add python-magic-bin to requirements on windows. or document loader failed at `from unstructured.partion.auto import partion` on windows
2023-08-08 12:03:33 +08:00
44c713ef98
use KBServiceFactory to replace all the KnowledgeBase.
...
make KBServiceFactory support embed_model parameter.
rewrite api: recreate_vector_store.
fix some bugs.
2023-08-07 20:37:16 +08:00
7bfbe18011
update requirements.txt and kb_doc_api.py
2023-08-04 15:12:14 +08:00
3318cef751
update streamlit ui: support latest knowledge base and search engine
...
chat api; export messages to markdown.
2023-08-04 12:52:58 +08:00
82aa805bf3
update requirements.txt
2023-08-03 23:42:55 +08:00
2c5b6bb0ad
streamlit ui 实现LLM流式对话
2023-08-01 14:18:30 +08:00
463659f0ba
llm_api升级到fschat==0.2.20，支持百川模型
2023-07-30 23:16:47 +08:00
41444fd4b5
update requirements.txt and llm_api.py
2023-07-30 00:24:34 +08:00
d4ffc70d96
update requirements.txt
2023-07-29 23:46:02 +08:00
e95996a9b9
update requirements.txt
2023-07-28 06:59:16 +08:00
dcf49a59ef
v0.2.0 first commit
2023-07-27 23:22:07 +08:00
1ef3ef5d27
update gradio version in requirements.txt
2023-07-18 04:03:28 +08:00
a5ca4bf26a
1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU ( #664 )
...
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案
* 修改loader.py中load_in_8bit失败的原因和详细解决方案
* update loader.py
* stream_chat_bing
* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口
* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入
* update cli_demo.py
* add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1
* 1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有api,未测试)；5.增加了llama-cpp模型部署的说明
* llama模型兼容性说明
* modified: ../configs/model_config.py
modified: ../docs/INSTALL.md
在install.md里增加对llama-cpp模型调用的说明
* 修改llama_llm.py以适应llama-cpp模型
* 完成llama-cpp模型的支持；
* make fastchat and openapi compatiable
* 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;
* set default model be chatglm-6b
* 在多卡情况下也支持自定义GPU设备
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
2023-07-11 19:36:50 +08:00
f6218316e3
update requirements.txt and model_config.py
2023-06-18 21:52:49 +08:00
27a9bf2433
更新FAQ和requirements,解决upload_file接口的两个异常 ( #593 )
2023-06-11 21:25:02 +08:00
23052629ad
update requirements.txt
2023-05-31 22:31:54 +08:00
561c40afee
Merge remote-tracking branch 'origin/dev' into dev
2023-05-26 22:32:25 +08:00
994401670b
拓展功能检查依赖提示安装
2023-05-26 22:32:12 +08:00
11bcb58ae6
增加rss订阅，以及添加了依赖文件
2023-05-26 18:50:20 +08:00
9dc9ac6380
添加依赖feedparser
2023-05-26 18:46:18 +08:00
1ee12266e8
更新 requirements.txt
2023-05-24 00:12:59 +08:00
5f38645fa1
update api.py
2023-05-21 22:27:02 +08:00
94b4599cda
update requirements.txt
2023-05-20 01:58:08 +08:00
glide-the
liunux4odoo
imClumsyPanda
liunux4odoo
zqt
liunux4odoo
Zhi-guo Huang
keenzhu