Commit Graph

4 Commits

Author SHA1 Message Date
glide-the 62ce5f0775 self.device_map 参数初始化逻辑
LLamaLLM 加载器
2023-05-19 23:38:36 +08:00
imClumsyPanda 00d80335fe update loader.py 2023-05-19 22:55:19 +08:00
glide-the 75cf9f9b4e ptuning-v2配置 2023-05-18 23:19:23 +08:00
glide-the 33bbb4779e llm_model_dict 处理了loader的一些预设行为,如加载位置,模型名称,模型处理器实例, 定义checkpoint名称和远程路径
loader.py: 模型重载
定义 generatorAnswer 增加 AnswerResultStream
   定义generate_with_callback收集器,在每次响应时将队列数据同步到AnswerResult
requirements.txt 变更项目依赖
2023-05-18 22:54:41 +08:00