Zhi-guo Huang
|
ee7285cd93
|
在args.py中增加ptuning相关的参数 (#838)
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案
* 修改loader.py中load_in_8bit失败的原因和详细解决方案
* update loader.py
* stream_chat_bing
* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口
* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入
* update cli_demo.py
* 按照review建议进行修改
* 修改默认的多卡部署方案，基本保证针对新模型也不会失败
* 测试openai接口成功
* add ptuning-v2 dir
* 支持命令行输入ptuning路径
* 在FAQ中给出加载量化版本失败的原因和解决方案
* print error
* udpate
* Update args.py
* debug for fastchat_openai_llm
* temporarily save
* update faq for
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
Co-authored-by: zg h <bj wang@hzg0601-acer.hundsun.com>
|
2023-07-19 23:15:14 +08:00 |
glide-the
|
22d08f5ec5
|
必要参数校验
|
2023-07-16 02:17:52 +08:00 |
|
glide-the
|
1e2124ff54
|
参数校验
|
2023-07-16 01:31:28 +08:00 |
|
glide-the
|
c389f1a33a
|
增加fastchat打字机输出
|
2023-07-16 01:29:51 +08:00 |
|
glide-the
|
c5bc21781c
|
修改模型生成的调用方式，兼容Chain调用
修改模型切换的bug
|
2023-07-12 23:09:28 +08:00 |
|
Zhi-guo Huang
|
a5ca4bf26a
|
1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664)
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案
* 修改loader.py中load_in_8bit失败的原因和详细解决方案
* update loader.py
* stream_chat_bing
* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口
* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入
* update cli_demo.py
* add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1
* 1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有api,未测试)；5.增加了llama-cpp模型部署的说明
* llama模型兼容性说明
* modified: ../configs/model_config.py
modified: ../docs/INSTALL.md
在install.md里增加对llama-cpp模型调用的说明
* 修改llama_llm.py以适应llama-cpp模型
* 完成llama-cpp模型的支持；
* make fastchat and openapi compatiable
* 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;
* set default model be chatglm-6b
* 在多卡情况下也支持自定义GPU设备
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
|
2023-07-11 19:36:50 +08:00 |
|
glide-the
|
b657eb245f
|
增加llm打印
|
2023-06-10 22:14:50 +08:00 |
|
glide-the
|
24324563d6
|
适配远程LLM调用
|
2023-05-31 22:11:28 +08:00 |
|
glide-the
|
0f2ea29194
|
调整项目结构,适配远程LLM调用生成问题。新增fastchat_openai_llm.py实现fastchat openai报文报文形式调用
|
2023-05-31 00:00:35 +08:00 |