weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
703 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

88 Commits

Author SHA1 Message Date
chinainfant c1c2ed1943
Update loader.py 解决加载ptuning报错的问题 2023-07-21 15:30:19 +08:00
chinainfant ec2bf9757c
Update args.py 将use-ptuning-v2的命名行改为action='store_true' 2023-07-21 15:28:11 +08:00
bones-zhu 5479a74789
Update chatglm_llm.py remove unused library 2023-07-21 15:11:51 +08:00
hzg0601 5f4f8dcedc 解决loader.py中以名称匹配模型式未排除chatglm2的问题 2023-07-21 09:49:18 +08:00
hzg0601 c501df2405 temporarily save 2023-07-19 10:57:09 +08:00
hzg0601 6199c45a13 Merge branch 'dev' of github.com:hzg0601/langchain-ChatGLM-annotation into dev 
git pull origin dev.
 2023-07-19 10:04:05 +08:00
hzg0601 391dc1d33a debug for fastchat-openai-llm 2023-07-19 10:02:39 +08:00
hzg0601 90fe40b221 debug for fastchat_openai_llm 2023-07-19 10:00:23 +08:00
imClumsyPanda a54b73aaf9
Update args.py 2023-07-17 21:26:13 +08:00
glide-the 22d08f5ec5 必要参数校验 2023-07-16 02:17:52 +08:00
glide-the 1e2124ff54 参数校验 2023-07-16 01:31:28 +08:00
glide-the c389f1a33a 增加fastchat打字机输出 2023-07-16 01:29:51 +08:00
hzg0601 db0fcf4e03 print error 2023-07-14 15:10:33 +08:00
zg h 43d1bf4fb3 支持命令行输入ptuning路径 2023-07-13 22:10:54 +08:00
glide-the c5bc21781c 修改模型生成的调用方式，兼容Chain调用 
修改模型切换的bug
 2023-07-12 23:09:28 +08:00
Zhi-guo Huang 64f22a9e53
修改默认的多卡部署方案，基本保证针对新模型也不会失败 (#788) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py

* stream_chat_bing

* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口

* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入

* update cli_demo.py

* 按照review建议进行修改

* 修改默认的多卡部署方案，基本保证针对新模型也不会失败

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-07-11 20:24:49 +08:00
Zhi-guo Huang a5ca4bf26a
1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py

* stream_chat_bing

* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口

* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入

* update cli_demo.py

* add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1

* 1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有api,未测试)；5.增加了llama-cpp模型部署的说明

* llama模型兼容性说明

* modified:   ../configs/model_config.py
	modified:   ../docs/INSTALL.md
在install.md里增加对llama-cpp模型调用的说明

* 修改llama_llm.py以适应llama-cpp模型

* 完成llama-cpp模型的支持；

* make fastchat and openapi compatiable

* 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;

* set default model be chatglm-6b

* 在多卡情况下也支持自定义GPU设备

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-07-11 19:36:50 +08:00
imClumsyPanda 967ac2ed2b merge master 2023-07-02 22:18:59 +08:00
Jingsong-Yan 421ce3da3a
Add device_map config to support chatglm2-6b (#734) 
chatglm-6b和chatglm2-6b的参数命名不一致，本次提交旨在解决chatglm2-6b device_map 创建的问题。在chatglm_auto_configure_device_map 函数中新增了chatglm2-6b device_map 创建的相关代码。
 2023-06-30 21:08:38 +08:00
allseeeeeee 521d9e2f98
Dev streaming oom (#722) 2023-06-26 19:12:50 +08:00
Zhi-guo Huang a70df98825
更新FAQ,model_config.py,bing_search.py文件，增加bing搜索问答相关问题的原因和可能解决方案，修复了一些typo;修改loader.py中load_in_8bit失败的原因和详细解决方案 (#610) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py
 2023-06-14 21:31:26 +08:00
glide-the 0abd2d9992 llama_llm.py 提示词修改 2023-06-13 18:36:07 +08:00
hzg0601 a3ee718ab5 temp 2023-06-12 12:57:41 +08:00
glide-the b657eb245f 增加llm打印 2023-06-10 22:14:50 +08:00
glide-the b352c29d46 llm 2023-06-09 21:05:10 +08:00
glide-the 218aca2e20 删除model_dir和NO_REMOTE_MODEL 2023-06-08 16:51:04 +08:00
imClumsyPanda 46b872a854 update chatglm_llm.py 2023-06-07 21:25:40 +08:00
shrimp 57b4f9306d
修复BUG (#570) 
一、修复模型历史记录仅一条问题，修改了模型加载代码，已修复。 
二、修复模型历史记录仅一条问题，修改了webui有一个地方有问题，已修复。
三、知识库单条数据入库因知识库名称缓存问题导致的BUG，也已修复。
 2023-06-07 18:12:51 +08:00
glide-the ab73f6ad93 适配远程LLM调用 2023-05-31 22:26:39 +08:00
glide-the 24324563d6 适配远程LLM调用 2023-05-31 22:11:28 +08:00
glide-the 0f2ea29194 调整项目结构,适配远程LLM调用生成问题。新增fastchat_openai_llm.py实现fastchat openai报文报文形式调用 2023-05-31 00:00:35 +08:00
glide-the 0a605bf4b5 调整项目结构 2023-05-30 20:40:27 +08:00
glide-the 3324c12d69 增加cpu加载模型逻辑 2023-05-26 22:52:55 +08:00
glide-the 994401670b 拓展功能检查依赖提示安装 2023-05-26 22:32:12 +08:00
glide-the 1c5f71beee Merge remote-tracking branch 'origin/dev' into dev 2023-05-26 01:49:26 +08:00
glide-the 25e5ab1282 增加call_行为 2023-05-26 01:46:59 +08:00
imClumsyPanda 3d33191bd7 update chatglm_llm.py 2023-05-25 23:04:53 +08:00
imClumsyPanda e4df46bcaa merge master 2023-05-25 22:57:51 +08:00
imClumsyPanda a1fd0b8750
Update chatglm_llm.py 2023-05-25 22:00:17 +08:00
glide-the c4ee36b8ac 删除 AnswerResultStream 、generate_with_callback收集器 2023-05-25 21:07:40 +08:00
glide-the e7b06a9072 删除流式请求中的缓存清理 2023-05-25 20:58:04 +08:00
imClumsyPanda 52c6f2d29f fix int4 and int8 model init bug 2023-05-24 00:20:03 +08:00
glide-the a1b1b78108 使用model_config默认配置启动 
llama_llm.py 删除流式输出
base.py、shared.py 删除多余代码
fastchat_llm.py 业务实现
 2023-05-23 23:10:31 +08:00
glide-the 6f8da56083
Update loader.py 
删除低显存加载参数
 2023-05-22 16:12:01 +08:00
imClumsyPanda e352a04cbb merge master 2023-05-22 00:18:48 +08:00
imClumsyPanda 12316d0658 update model_config.py 2023-05-21 22:40:53 +08:00
imClumsyPanda 871a871651 update model_loader 2023-05-21 15:30:52 +08:00
zhenkaivip 9f5d1afc31
fix bug : 1、历史最后一条丢失；2、上下两行连读造成歧义 (#415) 
* fix _call bug

* fix

* fix bug : 上下两行连读造成歧义
 2023-05-20 01:19:22 +08:00
imClumsyPanda d5ffdaa281 update loader.py 2023-05-20 00:06:41 +08:00
imClumsyPanda aa26645407 Merge remote-tracking branch 'origin/dev' into dev 2023-05-19 23:56:43 +08:00