Langchain-Chatchat/models/loader
Zhi-guo Huang 64f22a9e53
修改默认的多卡部署方案,基本保证针对新模型也不会失败 (#788)
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ,增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py

* stream_chat_bing

* 修改stream_chat的接口,在请求体中选择knowledge_base_id;增加stream_chat_bing接口

* 优化cli_demo.py的逻辑:支持 输入提示;多输入;重新输入

* update cli_demo.py

* 按照review建议进行修改

* 修改默认的多卡部署方案,基本保证针对新模型也不会失败

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
2023-07-11 20:24:49 +08:00
..
__init__.py llm_model_dict 处理了loader的一些预设行为,如加载位置,模型名称,模型处理器实例, 定义checkpoint名称和远程路径 2023-05-18 22:54:41 +08:00
args.py temp 2023-06-12 12:57:41 +08:00
loader.py 修改默认的多卡部署方案,基本保证针对新模型也不会失败 (#788) 2023-07-11 20:24:49 +08:00