weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,411 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

46 Commits

Author SHA1 Message Date
liunux4odoo ba8d0f8e17
发版：v0.2.5 (#1620) 
* 优化configs (#1474)

* remove llm_model_dict

* optimize configs

* fix get_model_path

* 更改一些默认参数，添加千帆的默认配置

* Update server_config.py.example

* fix merge conflict for #1474 (#1494)

* 修复ChatGPT api_base_url错误；用户可以在model_config在线模型配置中覆盖默认的api_base_url (#1496)

* 优化LLM模型列表获取、切换的逻辑： (#1497)

1、更准确的获取未运行的可用模型
2、优化WEBUI模型列表显示与切换的控制逻辑

* 更新migrate.py和init_database.py，加强知识库迁移工具： (#1498)

1. 添加--update-in-db参数，按照数据库信息，从本地文件更新向量库
2. 添加--increament参数，根据本地文件增量更新向量库
3. 添加--prune-db参数，删除本地文件后，自动清理相关的向量库
4. 添加--prune-folder参数，根据数据库信息，清理无用的本地文件
5. 取消--update-info-only参数。数据库中存储了向量库信息，该操作意义不大
6. 添加--kb-name参数，所有操作支持指定操作的知识库，不指定则为所有本地知识库
7. 添加知识库迁移的测试用例
8. 删除milvus_kb_service的save_vector_store方法

* feat: support volc fangzhou

* 使火山方舟正常工作，添加错误处理和测试用例

* feat: support volc fangzhou (#1501)

* feat: support volc fangzhou

---------

Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>

* 第一版初步agent实现 (#1503)

* 第一版初步agent实现

* 增加steaming参数

* 修改了weather.py

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>

* 添加configs/prompt_config.py，允许用户自定义prompt模板： (#1504)

1、 默认包含2个模板，分别用于LLM对话，知识库和搜索引擎对话
2、 server/utils.py提供函数get_prompt_template，获取指定的prompt模板内容（支持热加载）
3、 api.py中chat/knowledge_base_chat/search_engine_chat接口支持prompt_name参数

* 增加其它模型的参数适配

* 增加传入矢量名称加载

* 1. 搜索引擎问答支持历史记录；
2. 修复知识库问答历史记录传参错误：用户输入被传入history，问题出在webui中重复获取历史消息，api知识库对话接口并无问题。

* langchain日志开关

* move wrap_done & get_ChatOpenAI from server.chat.utils to server.utils (#1506)

* 修复faiss_pool知识库缓存key错误 (#1507)

* fix ReadMe anchor link (#1500)

* fix : Duplicate variable and function name (#1509)

Co-authored-by: Jim <zhangpengyi@taijihuabao.com>

* Update README.md

* fix #1519: streamlit-chatbox旧版BUG，但新版有兼容问题，先在webui中作处理，并限定chatbox版本 (#1525)

close #1519

* 【功能新增】在线 LLM 模型支持阿里云通义千问 (#1534)

* feat: add qwen-api

* 使Qwen API支持temperature参数；添加测试用例

* 将online-api的sdk列为可选依赖

---------

Co-authored-by: liunux4odoo <liunux@qq.com>

* 处理序列化至磁盘的逻辑

* remove depends on volcengine

* update kb_doc_api: use Form instead of Body when upload file

* 将所有httpx请求改为使用Client，提高效率，方便以后设置代理等。 (#1554)

将所有httpx请求改为使用Client，提高效率，方便以后设置代理等。

将本项目相关服务加入无代理列表，避免fastchat的服务器请求错误。(windows下无效)

* update QR code

* update readme_en,readme,requirements_api,requirements,model_config.py.example:测试baichuan2-7b;更新相关文档

* 新增特性：1.支持vllm推理加速框架；2. 更新支持模型列表

* 更新文件：1. startup,model_config.py.example,serve_config.py.example,FAQ

* 1. debug vllm加速框架完毕；2. 修改requirements,requirements_api对vllm的依赖；3.注释掉serve_config中baichuan-7b的device为cpu的配置

* 1. 更新congif中关于vllm后端相关说明；2. 更新requirements，requirements_api;

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写 (#1611)

* Dev (#1613)

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度

* fix: set vllm based on platform to avoid error on windows

* fix: langchain warnings for import from root

* 修复webui中重建知识库以及对话界面UI错误 (#1615)

* 修复bug:webui点重建知识库时，如果存在不支持的文件会导致整个接口错误;migrate中没有导入CHUNK_SIZE

* 修复：webui对话界面的expander一直为running状态；简化历史消息获取方法

* 根据官方文档，添加对英文版的bge embedding的指示模板 (#1585)

Co-authored-by: zR <2448370773@qq.com>

* Dev (#1618)

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度

* 增加了部分Agent支持和修改了启动文件的部分bug

* 修改了GPU数量配置文件

* 1

1

* 修复配置文件错误

* 更新readme，稳定测试

* 更改readme 0928 (#1619)

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度

* 增加了部分Agent支持和修改了启动文件的部分bug

* 修改了GPU数量配置文件

* 1

1

* 修复配置文件错误

* 更新readme，稳定测试

* 更新readme

* fix readme

* 处理序列化至磁盘的逻辑

* update version number to v0.2.5

---------

Co-authored-by: qiankunli <qiankun.li@qq.com>
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: zR <2448370773@qq.com>
Co-authored-by: glide-the <2533736852@qq.com>
Co-authored-by: Water Zheng <1499383852@qq.com>
Co-authored-by: Jim Zhang <dividi_z@163.com>
Co-authored-by: Jim <zhangpengyi@taijihuabao.com>
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
Co-authored-by: Leego <leegodev@hotmail.com>
Co-authored-by: hzg0601 <hzg0601@163.com>
Co-authored-by: WilliamChen-luckbob <58684828+WilliamChen-luckbob@users.noreply.github.com>
 2023-09-28 23:30:21 +08:00
imClumsyPanda 20eef45a58 update README.md 2023-09-15 09:53:58 +08:00
imClumsyPanda 17985c7f8e update splitter.md 2023-09-14 22:24:58 +08:00
zR 769d75d784
修复测试文件 (#1467) 
Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-09-13 17:12:05 +08:00
zR bfdbe69fa1
增加了自定义分词器适配 (#1462) 
* 添加了自定义分词器适配和测试文件
---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-09-13 15:42:12 +08:00
mz 78e79af68b
update INSTALL.md (#1250) 
Co-authored-by: zzflybird <cmz1@qq.com>
 2023-08-26 12:30:54 +08:00
zqt b3450bfc96 添加milvus 和 pg QA说明 2023-08-20 18:03:23 +08:00
imClumsyPanda e196ef0b17 update docs 2023-08-12 17:04:38 +08:00
imClumsyPanda 18fe1b97f9 merge dev_fastchat 2023-08-12 16:30:07 +08:00
imClumsyPanda 8c289e4974 update README.md 2023-08-12 11:21:29 +08:00
liunux4odoo 802ddb7b55 update docs 2023-08-11 23:30:07 +08:00
liunux4odoo 22c8f277bf update readme: describe requirements to install 2023-08-10 17:10:40 +08:00
zqt d4f728dfa2 添加向量数据库pg支持，和向量库docker-compose.ym环境文件 2023-08-10 11:16:52 +08:00
imClumsyPanda 22260af16f update README.md and INSTALL.md 2023-08-09 22:04:28 +08:00
YikunHan 0ad63aee63
Update FAQ.md (#1006) 2023-08-06 16:39:58 +08:00
imClumsyPanda dcf49a59ef v0.2.0 first commit 2023-07-27 23:22:07 +08:00
YuhaoWU 466f0c9c97
安装教程conda create新增默认的/envs下面，而不只是只能要额外指定路径 用-p (#482) 
* Update 安装教程中conda虚拟环境的创建与激活
 2023-07-25 16:58:25 +08:00
imClumsyPanda 0f43845a98 merge master 2023-07-23 18:38:51 +08:00
Ma Zhiming 3f76cb5f47
[Fix] INSTALL.md (#907) 
* Update INSTALL.md

* Update INSTALL.md
 2023-07-21 16:42:53 +08:00
hzg0601 50c872c0b8 update faq for 2023-07-19 23:09:19 +08:00
hzg0601 3d082bf566 在FAQ中给出加载量化版本失败的原因和解决方案 2023-07-14 13:45:07 +08:00
Zhi-guo Huang a5ca4bf26a
1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py

* stream_chat_bing

* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口

* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入

* update cli_demo.py

* add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1

* 1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有api,未测试)；5.增加了llama-cpp模型部署的说明

* llama模型兼容性说明

* modified:   ../configs/model_config.py
	modified:   ../docs/INSTALL.md
在install.md里增加对llama-cpp模型调用的说明

* 修改llama_llm.py以适应llama-cpp模型

* 完成llama-cpp模型的支持；

* make fastchat and openapi compatiable

* 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;

* set default model be chatglm-6b

* 在多卡情况下也支持自定义GPU设备

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-07-11 19:36:50 +08:00
Fan 10abb8d781
添加启动API的参数，支持https、wss方式API调用 (#728) 
* update README.md

* 添加启动API的参数，支持https、wss方式API调用。（CA证书自备）
添加启动API服务的markdown说明文档。

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
Co-authored-by: 一帆 <zhang.f@digitalcnzz.com>
 2023-07-04 19:52:17 +08:00
Zhi-guo Huang a70df98825
更新FAQ,model_config.py,bing_search.py文件，增加bing搜索问答相关问题的原因和可能解决方案，修复了一些typo;修改loader.py中load_in_8bit失败的原因和详细解决方案 (#610) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py
 2023-06-14 21:31:26 +08:00
Zhi-guo Huang 27a9bf2433
更新FAQ和requirements,解决upload_file接口的两个异常 (#593) 2023-06-11 21:25:02 +08:00
imClumsyPanda 20f1daff1a add fastchat.md 2023-05-31 22:50:35 +08:00
imClumsyPanda 99e9d1d730 update FAQ.md 2023-05-31 21:13:21 +08:00
imClumsyPanda 06f6e1913e merge master 2023-05-22 00:24:07 +08:00
imClumsyPanda e352a04cbb merge master 2023-05-22 00:18:48 +08:00
glide-the d9cc4e918c
Update INSTALL.md 2023-05-19 11:04:28 +08:00
glide-the 4c008c25d4 增加项目可选启动项说明、增加项目结构说明 
cli_demo.py、api.py: 兼容loader加载器
 2023-05-18 22:55:50 +08:00
CHANGXUBO a5417e1cf5
更新install说明，解决PaddleOCR依赖问题 (#387) 2023-05-17 13:28:10 +08:00
zqt996 a0cb14de23
添加命令行管理脚本 (#355) 
* 添加加命令行工具

* 添加加命令行工具

---------

Co-authored-by: zqt <1178747941@qq.com>
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-05-15 19:13:12 +08:00
imClumsyPanda 1a1989d860 update README.md 2023-05-13 11:24:06 +08:00
zhenkaivip d2716addd6
使用paddleocr实现实现UnstructuredPaddlePDFLoader和UnstructuredPaddleImageLoader (#344) 
* jpg and png ocr

* fix

* write docs to tmp file

* fix

* image loader

* fix

* fix

* add pdf_loader

* fix

* update INSTALL.md

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-05-13 11:13:40 +08:00
imClumsyPanda 6e23253013 update pdf_loader.py and image_loader.py 2023-05-13 09:50:30 +08:00
zhenkaivip dd93837343
使用paddleocr实现 (#342) 
* jpg and png ocr

* fix

* write docs to tmp file

* fix

* [BUGFIX] local_doc_qa.py line 172: logging have no end args. (#323)

* image loader

* fix

* fix

* update api.py

* update api.py

* update api.py

* update README.md

* update api.py

* add pdf_loader

* fix

---------

Co-authored-by: RainGather <3255329+RainGather@users.noreply.github.com>
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-05-13 08:45:17 +08:00
miller 09f57741fa
Update INSTALL.md (#223) 2023-05-04 13:34:01 +08:00
imClumsyPanda b03634fb7c add api.py 2023-05-03 22:35:05 +08:00
Bing Han e0cf26019b
Use fastapi to implement API (#209) 
* Use fastapi to implement API

* Update model_config.py

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-05-03 21:29:28 +08:00
imClumsyPanda 634c0c19d8 update FAQ.md 2023-04-21 21:36:23 +08:00
imClumsyPanda d35eb12078 Update FAQ.md 2023-04-20 21:53:48 +08:00
dong 4b2a597e12 新增处理"OutOfMemoryError: CUDA out of memory"和"Resource averaged_perceptron_tagger not found"的方法 2023-04-20 21:53:48 +08:00
imClumsyPanda 57d78bd1f6 update README.md 2023-04-18 19:59:07 +08:00
Calcitem 2af0606221 Update docs 2023-04-14 01:49:15 +08:00
zmf b6248f1e77 增加项目环境说明,环境问题解答 2023-04-14 00:38:45 +08:00