diff --git a/.idea/inspectionProfiles/Project_Default.xml b/.idea/inspectionProfiles/Project_Default.xml new file mode 100644 index 0000000..6e88aff --- /dev/null +++ b/.idea/inspectionProfiles/Project_Default.xml @@ -0,0 +1,55 @@ + + + + \ No newline at end of file diff --git a/.idea/inspectionProfiles/profiles_settings.xml b/.idea/inspectionProfiles/profiles_settings.xml new file mode 100644 index 0000000..105ce2d --- /dev/null +++ b/.idea/inspectionProfiles/profiles_settings.xml @@ -0,0 +1,6 @@ + + + + \ No newline at end of file diff --git a/.idea/langchain-ChatGLM.iml b/.idea/langchain-ChatGLM.iml new file mode 100644 index 0000000..b8de77b --- /dev/null +++ b/.idea/langchain-ChatGLM.iml @@ -0,0 +1,8 @@ + + + + + + + + \ No newline at end of file diff --git a/.idea/modules.xml b/.idea/modules.xml new file mode 100644 index 0000000..146f888 --- /dev/null +++ b/.idea/modules.xml @@ -0,0 +1,8 @@ + + + + + + + + \ No newline at end of file diff --git a/.idea/vcs.xml b/.idea/vcs.xml new file mode 100644 index 0000000..35eb1dd --- /dev/null +++ b/.idea/vcs.xml @@ -0,0 +1,6 @@ + + + + + + \ No newline at end of file diff --git a/README.md b/README.md index b981968..7bb83a6 100644 --- a/README.md +++ b/README.md @@ -43,7 +43,7 @@ ### 硬件需求 - ChatGLM-6B 模型硬件需求 - + | **量化等级** | **最低 GPU 显存**(推理) | **最低 GPU 显存**(高效参数微调) | | -------------- | ------------------------- | --------------------------------- | | FP16(无量化) | 13 GB | 14 GB | @@ -111,6 +111,15 @@ Q5: 本项目可否在 colab 中运行? A5: 可以尝试使用 chatglm-6b-int4 模型在 colab 中运行,需要注意的是,如需在 colab 中运行 Web UI,需将`webui.py`中`demo.queue(concurrency_count=3).launch( server_name='0.0.0.0', share=False, inbrowser=False)`中参数`share`设置为`True`。 + + + +Q6: 本项目用到的模型权重文件百度网盘地址: + +1. ernie-3.0-base-zh.zip 链接: https://pan.baidu.com/s/1CIvKnD3qzE-orFouA8qvNQ?pwd=4wih +2. ernie-3.0-nano-zh.zip 链接: https://pan.baidu.com/s/1Fh8fgzVdavf5P1omAJJ-Zw?pwd=q6s5 +3. + ## DEMO 以问题`chatglm-6b 的局限性具体体现在哪里,如何实现改进`为例 @@ -161,6 +170,6 @@ A5: 可以尝试使用 chatglm-6b-int4 模型在 colab 中运行,需要注意 - [ ] 利用 fastapi 实现 API 部署方式,并实现调用 API 的 web ui DEMO ## 项目交流群 -![二维码](img/qr_code.jpg) +![二维码](img/qr_code_500.jpg) 🎉 langchain-ChatGLM 项目交流群,如果你也对本项目感兴趣,欢迎加入群聊参与讨论交流。 diff --git a/img/qr_code_500.jpg b/img/qr_code_500.jpg new file mode 100644 index 0000000..b463b17 Binary files /dev/null and b/img/qr_code_500.jpg differ