From a0ba4689feabcd6e0bf0765e61ff1d7d1229a287 Mon Sep 17 00:00:00 2001 From: gaoyuanzero <35215534+gaoyuanzero@users.noreply.github.com> Date: Thu, 17 Aug 2023 10:05:52 +0800 Subject: [PATCH 1/4] Update README.md MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit readme一键启动适用脚本说明修改 --- README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index 226a68b..ddc3aff 100644 --- a/README.md +++ b/README.md @@ -260,7 +260,7 @@ max_gpu_memory="20GiB" ⚠️ **注意:** -**1.llm_api_launch.py脚本仅适用于linux和mac设备,win平台请使用wls;** +**1.llm_api_launch.py脚本原生仅适用于linux,mac设备需要安装对应的linux命令,win平台请使用wls;** **2.加载非默认模型需要用命令行参数--model-path-address指定指定模型，不会读取model_config.py配置;** @@ -361,7 +361,7 @@ $ streamlit run webui.py --server.port 666 ⚠️ **注意:** -**1. 一键启动脚本仅适用于 Linux 和 Mac 设备, Winodws 平台请使用 WLS;** +**1. 一键启动脚本仅原生适用于Linux,Mac 设备需要安装对应的linux命令, Winodws 平台请使用 WLS;** **2. 加载非默认模型需要用命令行参数 `--model-path-address` 指定指定模型，不会读取 `model_config.py` 配置。** From 87eecf56bda3d8550ce3af534c82a49b18add276 Mon Sep 17 00:00:00 2001 From: chinainfant <38291328+chinainfant@users.noreply.github.com> Date: Thu, 17 Aug 2023 10:21:51 +0800 Subject: [PATCH 2/4] Update README.md fix typo --- README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index ddc3aff..50d9253 100644 --- a/README.md +++ b/README.md @@ -262,7 +262,7 @@ max_gpu_memory="20GiB" **1.llm_api_launch.py脚本原生仅适用于linux,mac设备需要安装对应的linux命令,win平台请使用wls;** -**2.加载非默认模型需要用命令行参数--model-path-address指定指定模型，不会读取model_config.py配置;** +**2.加载非默认模型需要用命令行参数--model-path-address指定模型，不会读取model_config.py配置;** 在项目根目录下，执行 [server/llm_api_launch.py](server/llm_api.py) 脚本启动 **LLM 模型**服务： @@ -363,7 +363,7 @@ $ streamlit run webui.py --server.port 666 **1. 一键启动脚本仅原生适用于Linux,Mac 设备需要安装对应的linux命令, Winodws 平台请使用 WLS;** -**2. 加载非默认模型需要用命令行参数 `--model-path-address` 指定指定模型，不会读取 `model_config.py` 配置。** +**2. 加载非默认模型需要用命令行参数 `--model-path-address` 指定模型，不会读取 `model_config.py` 配置。** #### 6.1 API 服务一键启动脚本 From 4f8d65555ff9820f46e814512fe455fd9984c806 Mon Sep 17 00:00:00 2001 From: bones-zhu <61820323+bones-zhu@users.noreply.github.com> Date: Thu, 17 Aug 2023 10:34:35 +0800 Subject: [PATCH 3/4] Update README.md MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 更新端口占用情况下shell脚本启动方式的方法 --- README.md | 15 +++++++++++++++ 1 file changed, 15 insertions(+) diff --git a/README.md b/README.md index 50d9253..94102bc 100644 --- a/README.md +++ b/README.md @@ -275,7 +275,11 @@ $ python server/llm_api_launch.py ```shell $ python server/llm_api_launch.py --model-path-addresss model1@host1@port1 model2@host2@port2 ``` +如果出现server端口占用情况，需手动指定server端口,并同步修改model_config.py下对应模型的base_api_url为指定端口: +```shell +$ python server/llm_api_launch.py --server-port 8887 +``` 如果要启动多卡加载，示例命令如下： ```shell @@ -381,6 +385,12 @@ $ python server/api_allinone.py $ python server/api_allinone.py --model-path-address model1@host1@port1 model2@host2@port2 ``` +如果出现server端口占用情况，需手动指定server端口,并同步修改model_config.py下对应模型的base_api_url为指定端口: + +```shell +$ python server/api_allinone.py --server-port 8887 +``` + 多卡启动： ```shell @@ -402,6 +412,11 @@ $ python webui_allinone.py ```shell $ python webui_allinone.py --use-remote-api ``` +如果出现server端口占用情况，需手动指定server端口,并同步修改model_config.py下对应模型的base_api_url为指定端口: + +```shell +$ python webui_allinone.py --server-port 8887 +``` 后台运行webui服务： From a87fa1021336addb98f6ec6c3fcde57ebc4e3eaf Mon Sep 17 00:00:00 2001 From: gaoyuanzero <35215534+gaoyuanzero@users.noreply.github.com> Date: Thu, 17 Aug 2023 10:43:46 +0800 Subject: [PATCH 4/4] Update README.md MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit fastchat以hugggingface的PEFT包加载精调模型，不仅仅支持LoRA，还支持P-tuing, prefix-tuning, IA3等精调模型，故文档中的LoRA应统一改为PEFT --- README.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/README.md b/README.md index ddc3aff..78b2be6 100644 --- a/README.md +++ b/README.md @@ -229,7 +229,7 @@ embedding_model_dict = { - [基于多进程脚本 llm_api.py 启动 LLM 服务](README.md#5.1.1-基于多进程脚本-llm_api.py-启动-LLM-服务) - [基于命令行脚本 llm_api_launch.py 启动 LLM 服务](README.md#5.1.2-基于命令行脚本-llm_api_launch.py-启动-LLM-服务) -- [LoRA 加载](README.md#5.1.3-LoRA-加载) +- [PEFT 加载](README.md#5.1.3-PEFT-加载) 三种方式只需选择一个即可，具体操作方式详见 5.1.1 - 5.1.3。 @@ -290,9 +290,9 @@ $ python server/llm_api_shutdown.py --serve all 亦可单独停止一个 FastChat 服务模块，可选 [`all`, `controller`, `model_worker`, `openai_api_server`] -##### 5.1.3 LoRA 加载 +##### 5.1.3 PEFT 加载 -本项目基于 FastChat 加载 LLM 服务，故需以 FastChat 加载 LoRA 路径，即保证路径名称里必须有 peft 这个词，配置文件的名字为 adapter_config.json，peft 路径下包含 model.bin 格式的 LoRA 权重。 +本项目基于 FastChat 加载 LLM 服务，故需以 FastChat 加载 PEFT 路径，即保证路径名称里必须有 peft 这个词，配置文件的名字为 adapter_config.json，peft 路径下包含 model.bin 格式的 PEFT 权重。 示例代码如下：