Commit Graph

6 Commits

Author SHA1 Message Date
glide-the a1b1b78108 使用model_config默认配置启动
llama_llm.py 删除流式输出
base.py、shared.py 删除多余代码
fastchat_llm.py 业务实现
2023-05-23 23:10:31 +08:00
imClumsyPanda 12316d0658 update model_config.py 2023-05-21 22:40:53 +08:00
imClumsyPanda e057c88621 update model_config.py 2023-05-19 23:41:52 +08:00
imClumsyPanda 00d80335fe update loader.py 2023-05-19 22:55:19 +08:00
glide-the 33bbb4779e llm_model_dict 处理了loader的一些预设行为,如加载位置,模型名称,模型处理器实例, 定义checkpoint名称和远程路径
loader.py: 模型重载
定义 generatorAnswer 增加 AnswerResultStream
   定义generate_with_callback收集器,在每次响应时将队列数据同步到AnswerResult
requirements.txt 变更项目依赖
2023-05-18 22:54:41 +08:00
glide-the 57efaa5492 chatglm_with_shared_memory_openai_llm:这个demo,基于openai的任务处理,实现本地文…
…档调用链的示例,可以使用chatgml处理一部分任务事件,也可以使用chatgml来完成记忆共享(SharedMemory),至于为什么使用openai原因主要有两个现象,第一点,因为大模型chatgml受限,导致很多langchain的demo只能部分实现,跟群主聊了下,这种问题只能通过微调模型,增加一部分指令集和状态术语的数据集进去,微调方案只能大家自己尝试了,对显卡要去较高.当然也可以考虑只训练一个任务格式化的gml,模型微调参考这个仓库的方式 https://github.com/liucongg/ChatGLM-Finetuning
2023-04-14 22:15:02 +08:00