Langchain-Chatchat/models/__init__.py


from .chatglm_llm import ChatGLM
from .llama_llm import LLamaLLM
from .moss_llm import MOSSLLM
chatglm_with_shared_memory_openai_llm:这个demo,基于openai的任务处理，实现本地文… …档调用链的示例，可以使用chatgml处理一部分任务事件，也可以使用chatgml来完成记忆共享（SharedMemory）,至于为什么使用openai原因主要有两个现象,第一点,因为大模型chatgml受限，导致很多langchain的demo只能部分实现，跟群主聊了下，这种问题只能通过微调模型，增加一部分指令集和状态术语的数据集进去，微调方案只能大家自己尝试了，对显卡要去较高.当然也可以考虑只训练一个任务格式化的gml,模型微调参考这个仓库的方式 https://github.com/liucongg/ChatGLM-Finetuning 2023-04-14 22:15:02 +08:00
llm_model_dict 处理了loader的一些预设行为，如加载位置，模型名称，模型处理器实例, 定义checkpoint名称和远程路径 loader.py: 模型重载定义 generatorAnswer 增加 AnswerResultStream 定义generate_with_callback收集器，在每次响应时将队列数据同步到AnswerResult requirements.txt 变更项目依赖 2023-05-18 22:54:41 +08:00			`from .chatglm_llm import ChatGLM`
self.device_map 参数初始化逻辑 LLamaLLM 加载器 2023-05-19 23:38:36 +08:00			`from .llama_llm import LLamaLLM`
llm_model_dict 处理了loader的一些预设行为，如加载位置，模型名称，模型处理器实例, 定义checkpoint名称和远程路径 loader.py: 模型重载定义 generatorAnswer 增加 AnswerResultStream 定义generate_with_callback收集器，在每次响应时将队列数据同步到AnswerResult requirements.txt 变更项目依赖 2023-05-18 22:54:41 +08:00			`from .moss_llm import MOSSLLM`