From faba1b3877623891cfef60ac08f13780b1713586 Mon Sep 17 00:00:00 2001 From: hzg0601 Date: Fri, 25 Aug 2023 16:16:44 +0800 Subject: [PATCH] =?UTF-8?q?update=20readme.md,=20shutdown=5Fall.sh:=20?= =?UTF-8?q?=E5=9C=A8Linux=E4=B8=8A=E4=BD=BF=E7=94=A8ctrl+C=E9=80=80?= =?UTF-8?q?=E5=87=BA=E5=8F=AF=E8=83=BD=E4=BC=9A=E7=94=B1=E4=BA=8Elinux?= =?UTF-8?q?=E7=9A=84=E5=A4=9A=E8=BF=9B=E7=A8=8B=E6=9C=BA=E5=88=B6=E5=AF=BC?= =?UTF-8?q?=E8=87=B4multiprocessing=E9=81=97=E7=95=99=E5=AD=A4=E5=84=BF?= =?UTF-8?q?=E8=BF=9B=E7=A8=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 16 +++++++--------- shutdown_all.sh | 2 +- 2 files changed, 8 insertions(+), 10 deletions(-) diff --git a/README.md b/README.md index bf3a5ae..208d5de 100644 --- a/README.md +++ b/README.md @@ -208,7 +208,8 @@ embedding_model_dict = { "m3e-base": "/Users/xxx/Downloads/m3e-base", } ``` -如果你选择使用OpenAI的Embedding模型，请将模型的```key```写入`embedding_model_dict`中。使用该模型，你需要鞥能够访问OpenAI官的API，或设置代理。 + +如果你选择使用OpenAI的Embedding模型，请将模型的 ``key``写入 `embedding_model_dict`中。使用该模型，你需要鞥能够访问OpenAI官的API，或设置代理。 ### 4. 知识库初始化与迁移 @@ -219,7 +220,7 @@ embedding_model_dict = { ```shell $ python init_database.py ``` -- 如果您是第一次运行本项目，知识库尚未建立，或者配置文件中的知识库类型、嵌入模型发生变化，或者之前的向量库没有开启`normalize_L2`，需要以下命令初始化或重建知识库： +- 如果您是第一次运行本项目，知识库尚未建立，或者配置文件中的知识库类型、嵌入模型发生变化，或者之前的向量库没有开启 `normalize_L2`，需要以下命令初始化或重建知识库： ```shell $ python init_database.py --recreate-vs @@ -308,7 +309,6 @@ $ python server/llm_api_shutdown.py --serve all ![image](https://github.com/chatchat-space/Langchain-Chatchat/assets/22924096/4e056c1c-5c4b-4865-a1af-859cd58a625d) - #### 5.2 启动 API 服务 本地部署情况下，按照 [5.1 节](README.md#5.1-启动-LLM-服务)**启动 LLM 服务后**，再执行 [server/api.py](server/api.py) 脚本启动 **API** 服务； @@ -366,17 +366,13 @@ $ python startup.py -a 并可使用 `Ctrl + C` 直接关闭所有运行服务。如果一次结束不了，可以多按几次。 -可选参数包括 `-a (或--all-webui)`, `--all-api`, `--llm-api`, `-c (或--controller)`, `--openai-api`, +可选参数包括 `-a (或--all-webui)`, `--all-api`, `--llm-api`, `-c (或--controller)`, `--openai-api`, `-m (或--model-worker)`, `--api`, `--webui`，其中： - `--all-webui` 为一键启动 WebUI 所有依赖服务； - - `--all-api` 为一键启动 API 所有依赖服务； - - `--llm-api` 为一键启动 Fastchat 所有依赖的 LLM 服务； - - `--openai-api` 为仅启动 FastChat 的 controller 和 openai-api-server 服务； - - 其他为单独服务启动选项。 若想指定非默认模型，需要用 `--model-name` 选项，示例： @@ -385,7 +381,7 @@ $ python startup.py -a $ python startup.py --all-webui --model-name Qwen-7B-Chat ``` -更多信息可通过`python startup.py -h`查看。 +更多信息可通过 `python startup.py -h`查看。 **注意：** @@ -393,6 +389,8 @@ $ python startup.py --all-webui --model-name Qwen-7B-Chat **2.服务启动时间示设备不同而不同，约 3-10 分钟，如长时间没有启动请前往 `./logs`目录下监控日志，定位问题。** +**3. 在Linux上使用ctrl+C退出可能会由于linux的多进程机制导致multiprocessing遗留孤儿进程，可通过shutdown_all.sh进行退出** + ## 常见问题 参见 [常见问题](docs/FAQ.md)。 diff --git a/shutdown_all.sh b/shutdown_all.sh index 0218147..8c64806 100644 --- a/shutdown_all.sh +++ b/shutdown_all.sh @@ -1,2 +1,2 @@ # mac设备上的grep命令可能不支持grep -P选项，请使用Homebrew安装;或使用ggrep命令 -ps -eo pid,user,cmd|grep -P 'server/api.py|webui.py|fastchat.serve'|grep -v grep|awk '{print $1}'|xargs kill -9 \ No newline at end of file +ps -eo pid,user,cmd|grep -P 'server/api.py|webui.py|fastchat.serve|multiprocessing'|grep -v grep|awk '{print $1}'|xargs kill -9 \ No newline at end of file