hzg0601
|
300d287d61
|
修改默认的多卡部署方案，基本保证针对新模型也不会失败
|
2023-07-06 04:47:44 +08:00 |
|
hzg0601
|
b63c74212f
|
update loader.py
|
2023-06-14 08:22:05 +08:00 |
|
hzg0601
|
f7e7d318d8
|
修改loader.py中load_in_8bit失败的原因和详细解决方案
|
2023-06-13 23:30:10 +08:00 |
glide-the
|
218aca2e20
|
删除model_dir和NO_REMOTE_MODEL
|
2023-06-08 16:51:04 +08:00 |
|
glide-the
|
3324c12d69
|
增加cpu加载模型逻辑
|
2023-05-26 22:52:55 +08:00 |
|
glide-the
|
994401670b
|
拓展功能检查依赖提示安装
|
2023-05-26 22:32:12 +08:00 |
|
glide-the
|
6f8da56083
|
Update loader.py
删除低显存加载参数
|
2023-05-22 16:12:01 +08:00 |
imClumsyPanda
|
871a871651
|
update model_loader
|
2023-05-21 15:30:52 +08:00 |
|
imClumsyPanda
|
d5ffdaa281
|
update loader.py
|
2023-05-20 00:06:41 +08:00 |
|
glide-the
|
62ce5f0775
|
self.device_map 参数初始化逻辑
LLamaLLM 加载器
|
2023-05-19 23:38:36 +08:00 |
|
imClumsyPanda
|
00d80335fe
|
update loader.py
|
2023-05-19 22:55:19 +08:00 |
|
glide-the
|
75cf9f9b4e
|
ptuning-v2配置
|
2023-05-18 23:19:23 +08:00 |
|
glide-the
|
33bbb4779e
|
llm_model_dict 处理了loader的一些预设行为，如加载位置，模型名称，模型处理器实例, 定义checkpoint名称和远程路径
loader.py: 模型重载
定义 generatorAnswer 增加 AnswerResultStream
定义generate_with_callback收集器，在每次响应时将队列数据同步到AnswerResult
requirements.txt 变更项目依赖
|
2023-05-18 22:54:41 +08:00 |