glide-the
|
218aca2e20
|
删除model_dir和NO_REMOTE_MODEL
|
2023-06-08 16:51:04 +08:00 |
|
glide-the
|
3324c12d69
|
增加cpu加载模型逻辑
|
2023-05-26 22:52:55 +08:00 |
|
glide-the
|
994401670b
|
拓展功能检查依赖提示安装
|
2023-05-26 22:32:12 +08:00 |
|
glide-the
|
a1b1b78108
|
使用model_config默认配置启动
llama_llm.py 删除流式输出
base.py、shared.py 删除多余代码
fastchat_llm.py 业务实现
|
2023-05-23 23:10:31 +08:00 |
|
glide-the
|
6f8da56083
|
Update loader.py
删除低显存加载参数
|
2023-05-22 16:12:01 +08:00 |
imClumsyPanda
|
871a871651
|
update model_loader
|
2023-05-21 15:30:52 +08:00 |
|
imClumsyPanda
|
d5ffdaa281
|
update loader.py
|
2023-05-20 00:06:41 +08:00 |
|
glide-the
|
62ce5f0775
|
self.device_map 参数初始化逻辑
LLamaLLM 加载器
|
2023-05-19 23:38:36 +08:00 |
|
imClumsyPanda
|
00d80335fe
|
update loader.py
|
2023-05-19 22:55:19 +08:00 |
|
glide-the
|
75cf9f9b4e
|
ptuning-v2配置
|
2023-05-18 23:19:23 +08:00 |
|
glide-the
|
33bbb4779e
|
llm_model_dict 处理了loader的一些预设行为，如加载位置，模型名称，模型处理器实例, 定义checkpoint名称和远程路径
loader.py: 模型重载
定义 generatorAnswer 增加 AnswerResultStream
定义generate_with_callback收集器，在每次响应时将队列数据同步到AnswerResult
requirements.txt 变更项目依赖
|
2023-05-18 22:54:41 +08:00 |