weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

update readme.md:增加多卡启动gpus参数不生效的说明

This commit is contained in:
hzg0601 2023-09-04 19:26:35 +08:00
parent b82ef5dcea
commit 8dce5f7e7c
1 changed files with 7 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
README.md
View File

@ -273,7 +273,13 @@ max_gpu_memory="20GiB"
`max_gpu_memory` 控制每个卡使用的显存容量。 `max_gpu_memory` 控制每个卡使用的显存容量。
注：server_config.py的FSCHAT_MODEL_WORKERS字典中也 注1：server_config.py的FSCHAT_MODEL_WORKERS字典中也增加了相关配置，如有需要也可通过修改FSCHAT_MODEL_WORKERS字典中对应参数实现多卡加载。
注2：少数情况下，gpus参数会不生效，此时需要通过设置环境变量CUDA_VISIBLE_DEVICES来指定torch可见的gpu,示例代码：
```shell
CUDA_VISIBLE_DEVICES=0,1 python startup.py -a
```
#### 5.4 PEFT 加载(包括lora,p-tuning,prefix tuning, prompt tuning,ia3等) #### 5.4 PEFT 加载(包括lora,p-tuning,prefix tuning, prompt tuning,ia3等)