From b63c74212f77824e303f4d8721254128aa86382b Mon Sep 17 00:00:00 2001 From: hzg0601 Date: Wed, 14 Jun 2023 08:22:05 +0800 Subject: [PATCH] update loader.py --- models/loader/loader.py | 7 ++++--- 1 file changed, 4 insertions(+), 3 deletions(-) diff --git a/models/loader/loader.py b/models/loader/loader.py index 415048b..f315e6c 100644 --- a/models/loader/loader.py +++ b/models/loader/loader.py @@ -30,14 +30,15 @@ class LoaderCheckPoint: ptuning_dir: str = None use_ptuning_v2: bool = False # 如果开启了8bit量化加载,项目无法启动,参考此位置,选择合适的cuda版本,https://github.com/TimDettmers/bitsandbytes/issues/156 - # 原因主要是由于bitsandbytes安装时选择了系统环境变量里不匹配的cuda版本, + # 另一个原因可能是由于bitsandbytes安装时选择了系统环境变量里不匹配的cuda版本, # 例如PATH下存在cuda10.2和cuda11.2,bitsandbytes安装时选择了10.2,而torch等安装依赖的版本是11.2 # 因此主要的解决思路是清理环境变量里PATH下的不匹配的cuda版本,一劳永逸的方法是: # 0. 在终端执行`pip uninstall bitsandbytes` # 1. 删除.bashrc文件下关于PATH的条目 # 2. 在终端执行 `echo $PATH >> .bashrc` - # 3. 在终端执行`source .bashrc` - # 4. 再执行`pip install bitsandbytes` + # 3. 删除.bashrc文件下PATH中关于不匹配的cuda版本路径 + # 4. 在终端执行`source .bashrc` + # 5. 再执行`pip install bitsandbytes` load_in_8bit: bool = False is_llamacpp: bool = False