commit
c4208b351c
|
|
@ -262,7 +262,7 @@ max_gpu_memory="20GiB"
|
|||
|
||||
**1.llm_api_launch.py脚本原生仅适用于linux,mac设备需要安装对应的linux命令,win平台请使用wls;**
|
||||
|
||||
**2.加载非默认模型需要用命令行参数--model-path-address指定指定模型,不会读取model_config.py配置;**
|
||||
**2.加载非默认模型需要用命令行参数--model-path-address指定模型,不会读取model_config.py配置;**
|
||||
|
||||
在项目根目录下,执行 [server/llm_api_launch.py](server/llm_api.py) 脚本启动 **LLM 模型**服务:
|
||||
|
||||
|
|
@ -363,7 +363,7 @@ $ streamlit run webui.py --server.port 666
|
|||
|
||||
**1. 一键启动脚本仅原生适用于Linux,Mac 设备需要安装对应的linux命令, Winodws 平台请使用 WLS;**
|
||||
|
||||
**2. 加载非默认模型需要用命令行参数 `--model-path-address` 指定指定模型,不会读取 `model_config.py` 配置。**
|
||||
**2. 加载非默认模型需要用命令行参数 `--model-path-address` 指定模型,不会读取 `model_config.py` 配置。**
|
||||
|
||||
#### 6.1 API 服务一键启动脚本
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue