merge master

This commit is contained in:
imClumsyPanda 2023-07-23 18:38:51 +08:00
commit 0f43845a98
3 changed files with 2 additions and 2 deletions

View File

@ -255,7 +255,7 @@ Web UI 可以实现如下功能:
- [x] VUE 前端
## 项目交流群
<img src="img/qr_code_44.jpg" alt="二维码" width="300" height="300" />
<img src="img/qr_code_45.jpg" alt="二维码" width="300" height="300" />
🎉 langchain-ChatGLM 项目微信交流群,如果你也对本项目感兴趣,欢迎加入群聊参与讨论交流。

View File

@ -49,7 +49,7 @@ $ python loader/image_loader.py
## llama-cpp模型调用的说明
1. 首先从huggingface hub中下载对应的模型如https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/的[ggml-vic13b-q5_1.bin](https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin)建议使用huggingface_hub库的snapshot_download下载。
1. 首先从huggingface hub中下载对应的模型 [https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/](https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/) [ggml-vic13b-q5_1.bin](https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin)建议使用huggingface_hub库的snapshot_download下载。
2. 将下载的模型重命名。通过huggingface_hub下载的模型会被重命名为随机序列因此需要重命名为原始文件名如[ggml-vic13b-q5_1.bin](https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin)。
3. 基于下载模型的ggml的加载时间推测对应的llama-cpp版本下载对应的llama-cpp-python库的wheel文件实测[ggml-vic13b-q5_1.bin](https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin)与llama-cpp-python库兼容,然后手动安装wheel文件。
4. 将下载的模型信息写入configs/model_config.py文件里 `llm_model_dict`中,注意保证参数的兼容性,一些参数组合可能会报错.

BIN
img/qr_code_45.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 192 KiB