glide-the
|
c5bc21781c
|
修改模型生成的调用方式，兼容Chain调用
修改模型切换的bug
|
2023-07-12 23:09:28 +08:00 |
Zhi-guo Huang
|
64f22a9e53
|
修改默认的多卡部署方案，基本保证针对新模型也不会失败 (#788)
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案
* 修改loader.py中load_in_8bit失败的原因和详细解决方案
* update loader.py
* stream_chat_bing
* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口
* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入
* update cli_demo.py
* 按照review建议进行修改
* 修改默认的多卡部署方案，基本保证针对新模型也不会失败
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
|
2023-07-11 20:24:49 +08:00 |
|
Zhi-guo Huang
|
a5ca4bf26a
|
1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664)
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案
* 修改loader.py中load_in_8bit失败的原因和详细解决方案
* update loader.py
* stream_chat_bing
* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口
* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入
* update cli_demo.py
* add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1
* 1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有api,未测试)；5.增加了llama-cpp模型部署的说明
* llama模型兼容性说明
* modified: ../configs/model_config.py
modified: ../docs/INSTALL.md
在install.md里增加对llama-cpp模型调用的说明
* 修改llama_llm.py以适应llama-cpp模型
* 完成llama-cpp模型的支持；
* make fastchat and openapi compatiable
* 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;
* set default model be chatglm-6b
* 在多卡情况下也支持自定义GPU设备
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
|
2023-07-11 19:36:50 +08:00 |
Jingsong-Yan
|
421ce3da3a
|
Add device_map config to support chatglm2-6b (#734)
chatglm-6b和chatglm2-6b的参数命名不一致，本次提交旨在解决chatglm2-6b device_map 创建的问题。在chatglm_auto_configure_device_map 函数中新增了chatglm2-6b device_map 创建的相关代码。
|
2023-06-30 21:08:38 +08:00 |
|
Zhi-guo Huang
|
a70df98825
|
更新FAQ,model_config.py,bing_search.py文件，增加bing搜索问答相关问题的原因和可能解决方案，修复了一些typo;修改loader.py中load_in_8bit失败的原因和详细解决方案 (#610)
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案
* 修改loader.py中load_in_8bit失败的原因和详细解决方案
* update loader.py
|
2023-06-14 21:31:26 +08:00 |
|
glide-the
|
218aca2e20
|
删除model_dir和NO_REMOTE_MODEL
|
2023-06-08 16:51:04 +08:00 |
|
glide-the
|
3324c12d69
|
增加cpu加载模型逻辑
|
2023-05-26 22:52:55 +08:00 |
|
glide-the
|
994401670b
|
拓展功能检查依赖提示安装
|
2023-05-26 22:32:12 +08:00 |
|
glide-the
|
6f8da56083
|
Update loader.py
删除低显存加载参数
|
2023-05-22 16:12:01 +08:00 |
imClumsyPanda
|
871a871651
|
update model_loader
|
2023-05-21 15:30:52 +08:00 |
|
imClumsyPanda
|
d5ffdaa281
|
update loader.py
|
2023-05-20 00:06:41 +08:00 |
|
glide-the
|
62ce5f0775
|
self.device_map 参数初始化逻辑
LLamaLLM 加载器
|
2023-05-19 23:38:36 +08:00 |
|
imClumsyPanda
|
00d80335fe
|
update loader.py
|
2023-05-19 22:55:19 +08:00 |
|
glide-the
|
75cf9f9b4e
|
ptuning-v2配置
|
2023-05-18 23:19:23 +08:00 |
|
glide-the
|
33bbb4779e
|
llm_model_dict 处理了loader的一些预设行为，如加载位置，模型名称，模型处理器实例, 定义checkpoint名称和远程路径
loader.py: 模型重载
定义 generatorAnswer 增加 AnswerResultStream
定义generate_with_callback收集器，在每次响应时将队列数据同步到AnswerResult
requirements.txt 变更项目依赖
|
2023-05-18 22:54:41 +08:00 |