update README.md
This commit is contained in:
parent
76e21c87da
commit
c313f99b40
|
|
@ -85,8 +85,11 @@ docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/ch
|
||||||
+ 最低显存要求: 40GB
|
+ 最低显存要求: 40GB
|
||||||
+ 推荐显卡: A100, A40, A6000
|
+ 推荐显卡: A100, A40, A6000
|
||||||
|
|
||||||
如果使用 int8 推理,则以显存x1.5倍要求;使用 fp16 推理,则以显存x2.5倍要求。
|
若使用 int8 推理,则显存大致为 int4 推理要求的 1.5 倍;
|
||||||
例如,使用 Qwen-7B-Chat 模型 fp16 推理,则需要使用 16GB 显存。
|
|
||||||
|
若使用 fp16 推理,则显存大致为 int4 推理要求的 2.5 倍。
|
||||||
|
|
||||||
|
💡 例如:使用 fp16 推理 Qwen-7B-Chat 模型,则需要使用 16GB 显存。
|
||||||
|
|
||||||
以上仅为估算,实际情况以 nvidia-smi 占用为准。
|
以上仅为估算,实际情况以 nvidia-smi 占用为准。
|
||||||
|
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue