weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
746 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

30 Commits

Author SHA1 Message Date
cylee 4235270a32
Merge branch 'dev' into chatglm2cpp 2023-07-28 14:41:14 +08:00
hzg0601 161c9e6c50 fix typo 2023-07-28 03:59:29 +08:00
hzg0601 c431bee941 删除requirements的中文 2023-07-27 14:27:11 +08:00
hzg0601 e8ff31be1f 1.使api.py里可以使用args.py的参数;2.兼容args.py和model_config.py的控制方式;3.更新fastchat调用模型名的说明 2023-07-26 17:46:02 +08:00
hzg0601 58a5de92a5 1.更改加载lora的方式;2.允许api.py调用args.py的命令行;3. FastChat路径提示 2023-07-26 17:05:37 +08:00
Zhi-guo Huang 1f8924eeac
Merge branch 'dev' into chatglm2cpp 2023-07-24 14:44:00 +08:00
lichongyang 62ba7679fe support chatglm2cpp 2023-07-24 14:41:51 +08:00
chinainfant c1c2ed1943
Update loader.py 解决加载ptuning报错的问题 2023-07-21 15:30:19 +08:00
chinainfant ec2bf9757c
Update args.py 将use-ptuning-v2的命名行改为action='store_true' 2023-07-21 15:28:11 +08:00
hzg0601 5f4f8dcedc 解决loader.py中以名称匹配模型式未排除chatglm2的问题 2023-07-21 09:49:18 +08:00
imClumsyPanda a54b73aaf9
Update args.py 2023-07-17 21:26:13 +08:00
hzg0601 db0fcf4e03 print error 2023-07-14 15:10:33 +08:00
zg h 43d1bf4fb3 支持命令行输入ptuning路径 2023-07-13 22:10:54 +08:00
glide-the c5bc21781c 修改模型生成的调用方式，兼容Chain调用 
修改模型切换的bug
 2023-07-12 23:09:28 +08:00
Zhi-guo Huang 64f22a9e53
修改默认的多卡部署方案，基本保证针对新模型也不会失败 (#788) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py

* stream_chat_bing

* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口

* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入

* update cli_demo.py

* 按照review建议进行修改

* 修改默认的多卡部署方案，基本保证针对新模型也不会失败

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-07-11 20:24:49 +08:00
Zhi-guo Huang a5ca4bf26a
1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py

* stream_chat_bing

* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口

* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入

* update cli_demo.py

* add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1

* 1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有api,未测试)；5.增加了llama-cpp模型部署的说明

* llama模型兼容性说明

* modified:   ../configs/model_config.py
	modified:   ../docs/INSTALL.md
在install.md里增加对llama-cpp模型调用的说明

* 修改llama_llm.py以适应llama-cpp模型

* 完成llama-cpp模型的支持；

* make fastchat and openapi compatiable

* 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;

* set default model be chatglm-6b

* 在多卡情况下也支持自定义GPU设备

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-07-11 19:36:50 +08:00
Jingsong-Yan 421ce3da3a
Add device_map config to support chatglm2-6b (#734) 
chatglm-6b和chatglm2-6b的参数命名不一致，本次提交旨在解决chatglm2-6b device_map 创建的问题。在chatglm_auto_configure_device_map 函数中新增了chatglm2-6b device_map 创建的相关代码。
 2023-06-30 21:08:38 +08:00
Zhi-guo Huang a70df98825
更新FAQ,model_config.py,bing_search.py文件，增加bing搜索问答相关问题的原因和可能解决方案，修复了一些typo;修改loader.py中load_in_8bit失败的原因和详细解决方案 (#610) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py
 2023-06-14 21:31:26 +08:00
hzg0601 a3ee718ab5 temp 2023-06-12 12:57:41 +08:00
glide-the 218aca2e20 删除model_dir和NO_REMOTE_MODEL 2023-06-08 16:51:04 +08:00
glide-the 3324c12d69 增加cpu加载模型逻辑 2023-05-26 22:52:55 +08:00
glide-the 994401670b 拓展功能检查依赖提示安装 2023-05-26 22:32:12 +08:00
glide-the a1b1b78108 使用model_config默认配置启动 
llama_llm.py 删除流式输出
base.py、shared.py 删除多余代码
fastchat_llm.py 业务实现
 2023-05-23 23:10:31 +08:00
glide-the 6f8da56083
Update loader.py 
删除低显存加载参数
 2023-05-22 16:12:01 +08:00
imClumsyPanda 871a871651 update model_loader 2023-05-21 15:30:52 +08:00
imClumsyPanda d5ffdaa281 update loader.py 2023-05-20 00:06:41 +08:00
glide-the 62ce5f0775 self.device_map 参数初始化逻辑 
LLamaLLM 加载器
 2023-05-19 23:38:36 +08:00
imClumsyPanda 00d80335fe update loader.py 2023-05-19 22:55:19 +08:00
glide-the 75cf9f9b4e ptuning-v2配置 2023-05-18 23:19:23 +08:00
glide-the 33bbb4779e llm_model_dict 处理了loader的一些预设行为，如加载位置，模型名称，模型处理器实例, 定义checkpoint名称和远程路径 
loader.py: 模型重载
定义 generatorAnswer 增加 AnswerResultStream
   定义generate_with_callback收集器，在每次响应时将队列数据同步到AnswerResult
requirements.txt 变更项目依赖
 2023-05-18 22:54:41 +08:00