diff --git a/README.md b/README.md index b7f3d38..1e51854 100644 --- a/README.md +++ b/README.md @@ -96,6 +96,8 @@ vue前端需要node18环境 在开始执行 Web UI 或命令行交互前,请先检查 [configs/model_config.py](configs/model_config.py) 中的各项模型参数设计是否符合需求。 +如需通过 fastchat 以 api 形式调用 llm,请参考 [fastchat 调用实现](docs/fastchat.md) + ### 3. 执行脚本体验 Web UI 或命令行交互 > 注:鉴于环境部署过程中可能遇到问题,建议首先测试命令行脚本。建议命令行脚本测试可正常运行后再运行 Web UI。 diff --git a/configs/model_config.py b/configs/model_config.py index 44f77e8..1ca4932 100644 --- a/configs/model_config.py +++ b/configs/model_config.py @@ -69,20 +69,23 @@ llm_model_dict = { "local_model_path": None, "provides": "LLamaLLM" }, - "fast-chat-chatglm-6b": { - "name": "chatglm-6b", - "pretrained_model_name": "FastChatOpenAI", + + # 通过 fastchat 调用的模型请参考如下格式 + "fastchat-chatglm-6b": { + "name": "chatglm-6b", # "name"修改为fastchat服务中的"model_name" + "pretrained_model_name": "chatglm-6b", "local_model_path": None, - "provides": "FastChatOpenAILLM", - "api_base_url": "http://localhost:8000/v1" + "provides": "FastChatOpenAILLM", # 使用fastchat api时,需保证"provides"为"FastChatOpenAILLM" + "api_base_url": "http://localhost:8000/v1" # "name"修改为fastchat服务中的"api_base_url" }, - "fast-chat-vicuna-13b-hf": { - "name": "vicuna-13b-hf", + # 通过 fastchat 调用的模型请参考如下格式 + "fastchat-vicuna-13b-hf": { + "name": "vicuna-13b-hf", # "name"修改为fastchat服务中的"model_name" "pretrained_model_name": "vicuna-13b-hf", "local_model_path": None, - "provides": "FastChatOpenAILLM", - "api_base_url": "http://localhost:8000/v1" + "provides": "FastChatOpenAILLM", # 使用fastchat api时,需保证"provides"为"FastChatOpenAILLM" + "api_base_url": "http://localhost:8000/v1" # "name"修改为fastchat服务中的"api_base_url" }, } diff --git a/docs/fastchat.md b/docs/fastchat.md new file mode 100644 index 0000000..ebd308b --- /dev/null +++ b/docs/fastchat.md @@ -0,0 +1,24 @@ +# fastchat 调用实现教程 +langchain-ChatGLM 现已支持通过调用 FastChat API 进行 LLM 调用,支持的 API 形式为 **OpenAI API 形式**。 +1. 首先请参考 [FastChat 官方文档](https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md#restful-api-server) 进行 FastChat OpenAI 形式 API 部署 +2. 依据 FastChat API 启用时的 `model_name` 和 `api_base` 链接,在本项目的 `configs/model_config.py` 的 `llm_model_dict` 中增加选项。如: + ```python + llm_model_dict = { + + # 通过 fastchat 调用的模型请参考如下格式 + "fastchat-chatglm-6b": { + "name": "chatglm-6b", # "name"修改为fastchat服务中的"model_name" + "pretrained_model_name": "chatglm-6b", + "local_model_path": None, + "provides": "FastChatOpenAILLM", # 使用fastchat api时,需保证"provides"为"FastChatOpenAILLM" + "api_base_url": "http://localhost:8000/v1" # "name"修改为fastchat服务中的"api_base_url" + }, + } + ``` + 其中 `api_base_url` 根据 FastChat 部署时的 ip 地址和端口号得到,如 ip 地址设置为 `localhost`,端口号为 `8000`,则应设置的 `api_base_url` 为 `http://localhost:8000/v1` + +3. 将 `configs/model_config.py` 中的 `LLM_MODEL` 修改为对应模型名。如: + ```python + LLM_MODEL = "fastchat-chatglm-6b" + ``` +4. 根据需求运行 `api.py`, `cli_demo.py` 或 `webui.py`。 \ No newline at end of file