Zhi-guo Huang
|
ee7285cd93
|
在args.py中增加ptuning相关的参数 (#838)
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案
* 修改loader.py中load_in_8bit失败的原因和详细解决方案
* update loader.py
* stream_chat_bing
* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口
* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入
* update cli_demo.py
* 按照review建议进行修改
* 修改默认的多卡部署方案，基本保证针对新模型也不会失败
* 测试openai接口成功
* add ptuning-v2 dir
* 支持命令行输入ptuning路径
* 在FAQ中给出加载量化版本失败的原因和解决方案
* print error
* udpate
* Update args.py
* debug for fastchat_openai_llm
* temporarily save
* update faq for
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
Co-authored-by: zg h <bj wang@hzg0601-acer.hundsun.com>
|
2023-07-19 23:15:14 +08:00 |
|
hzg0601
|
a3ee718ab5
|
temp
|
2023-06-12 12:57:41 +08:00 |
glide-the
|
218aca2e20
|
删除model_dir和NO_REMOTE_MODEL
|
2023-06-08 16:51:04 +08:00 |
|
glide-the
|
a1b1b78108
|
使用model_config默认配置启动
llama_llm.py 删除流式输出
base.py、shared.py 删除多余代码
fastchat_llm.py 业务实现
|
2023-05-23 23:10:31 +08:00 |
|
glide-the
|
33bbb4779e
|
llm_model_dict 处理了loader的一些预设行为，如加载位置，模型名称，模型处理器实例, 定义checkpoint名称和远程路径
loader.py: 模型重载
定义 generatorAnswer 增加 AnswerResultStream
定义generate_with_callback收集器，在每次响应时将队列数据同步到AnswerResult
requirements.txt 变更项目依赖
|
2023-05-18 22:54:41 +08:00 |