update README.md
This commit is contained in:
parent
64406cee45
commit
dcf6e4ffeb
10
README.md
10
README.md
|
|
@ -32,6 +32,10 @@
|
|||
|
||||
- ChatGLM-6B 模型硬件需求
|
||||
|
||||
注:如未将模型下载至本地,请执行前检查`$HOME/.cache/huggingface/`文件夹剩余空间,模型文件下载至本地需要 15 GB 存储空间。
|
||||
|
||||
模型下载方法可参考 [常见问题](docs/FAQ.md) 中 Q8。
|
||||
|
||||
| **量化等级** | **最低 GPU 显存**(推理) | **最低 GPU 显存**(高效参数微调) |
|
||||
| -------------- | ------------------------- | --------------------------------- |
|
||||
| FP16(无量化) | 13 GB | 14 GB |
|
||||
|
|
@ -40,6 +44,10 @@
|
|||
|
||||
- MOSS 模型硬件需求
|
||||
|
||||
注:如未将模型下载至本地,请执行前检查`$HOME/.cache/huggingface/`文件夹剩余空间,模型文件下载至本地需要 70 GB 存储空间
|
||||
|
||||
模型下载方法可参考 [常见问题](docs/FAQ.md) 中 Q8。
|
||||
|
||||
| **量化等级** | **最低 GPU 显存**(推理) | **最低 GPU 显存**(高效参数微调) |
|
||||
|-------------------|-----------------------| --------------------------------- |
|
||||
| FP16(无量化) | 68 GB | - |
|
||||
|
|
@ -114,8 +122,6 @@ $ pnpm i
|
|||
$ npm run dev
|
||||
```
|
||||
|
||||
注:如未将模型下载至本地,请执行前检查`$HOME/.cache/huggingface/`文件夹剩余空间,至少15G(MOSS模型下载需要70G)。
|
||||
|
||||
执行后效果如下图所示:
|
||||
1. `对话` Tab 界面
|
||||

|
||||
|
|
|
|||
Loading…
Reference in New Issue