## FunctionDef string_args(args, args_list) **string_args**: 此函数的功能是将参数对象中的键值对转换成字符串格式,以便在命令行中使用。 **参数**: - args: 包含参数的对象,此对象应具备一个名为 `_get_kwargs` 的方法,该方法返回对象中所有键值对的迭代器。 - args_list: 一个字符串列表,指定需要转换为字符串的参数键名。 **代码描述**: `string_args` 函数接受两个参数:`args` 和 `args_list`。`args` 是一个对象,它通过 `_get_kwargs` 方法提供了一系列的键值对。`args_list` 是一个字符串列表,指定了需要包含在最终字符串中的参数键名。 函数首先初始化一个空字符串 `args_str`,用于累积最终的参数字符串。然后,它遍历 `args` 对象的键值对。对于每个键值对,函数首先将键名中的下划线 (`_`) 替换为短横线 (`-`),因为命令行参数通常使用短横线而不是下划线。接着,函数检查处理后的键名是否在 `args_list` 中指定的参数列表里。如果不在,则跳过当前键值对,不将其加入到最终的字符串中。 对于需要处理的键值对,如果键名是 `port` 或 `host`,则去除键名中的前缀,只保留 `port` 或 `host`。这是因为在某些上下文中,如 `fastchat`,`port` 和 `host` 参数可能不需要前缀。 接下来,函数根据值的类型构建参数字符串。对于布尔值 `True`,只需添加键名前缀为 `--` 的参数;对于列表、元组或集合,将值转换为以空格分隔的字符串;对于其他类型的值,直接将键值对转换为字符串格式,并加入到 `args_str` 中。 最后,函数返回构建好的参数字符串 `args_str`。 **在项目中的调用关系**: `string_args` 函数在项目中被多个地方调用,包括 `launch_worker`、`launch_all`、`launch_api` 和 `launch_webui` 函数。这些调用点传递不同的参数对象和参数列表给 `string_args` 函数,以生成特定上下文中所需的命令行参数字符串。这表明 `string_args` 函数在项目中扮演着构建命令行参数字符串的核心角色,为启动不同的服务组件提供支持。 **注意**: - 确保传递给 `string_args` 函数的 `args` 对象具有 `_get_kwargs` 方法。 - 在使用 `string_args` 函数时,应仔细定义 `args_list`,确保只包含需要转换为命令行参数的键名。 **输出示例**: 假设 `args` 对象包含 `{ 'model_path': 'path/to/model', 'worker_host': 'localhost', 'worker_port': 8080, 'use_ssl': True }`,且 `args_list` 为 `['model-path', 'worker-host', 'worker-port', 'use-ssl']`,则 `string_args` 函数的输出可能为: ``` --model path/to/model --host localhost --port 8080 --ssl ``` ## FunctionDef launch_worker(item, args, worker_args) **launch_worker**: 此函数的功能是启动一个工作进程。 **参数**: - item: 一个字符串,包含模型路径、工作进程主机和端口的组合,格式为"model-path@worker-host@worker-port"。 - args: 一个对象,包含了启动工作进程所需的各种参数。 - worker_args: 一个列表,指定了需要转换为字符串的工作进程参数键名。 **代码描述**: `launch_worker` 函数首先通过对 `item` 参数进行分割,提取出模型路径、工作进程主机和端口,然后构建工作进程的地址。接着,函数打印一条消息,提示用户如果工作进程长时间未启动,可以查看日志文件以获取更多信息。此日志文件的名称是基于 `item` 参数生成的,其中的特殊字符会被替换以确保文件名的有效性。 函数随后调用 `string_args` 函数,将 `args` 和 `worker_args` 转换为字符串格式的命令行参数。这些参数将用于构建启动工作进程的 shell 命令。`base_launch_sh` 和 `base_check_sh` 是两个格式化字符串,分别用于生成启动和检查工作进程的 shell 命令。这些命令通过 `subprocess.run` 函数执行,以实际启动和检查工作进程。 **注意**: - 确保 `item` 参数的格式正确,即包含模型路径、工作进程主机和端口,且以 "@" 分隔。 - `args` 对象应包含所有必要的参数,并且应具有 `_get_kwargs` 方法,以便 `string_args` 函数能够正确处理。 - `worker_args` 应为一个列表,包含了需要转换为命令行参数的键名。 - 此函数依赖于外部定义的 `base_launch_sh` 和 `base_check_sh` 格式化字符串,以及 `LOG_PATH` 常量,确保这些依赖在调用函数前已正确定义和初始化。 - 使用此函数时,应注意检查相关日志文件,以便在出现问题时能够迅速定位和解决。 ## FunctionDef launch_all(args, controller_args, worker_args, server_args) **launch_all**: 此函数的功能是启动整个LLM服务,包括控制器、工作进程和服务器。 **参数**: - args: 包含启动服务所需的各种参数的对象。 - controller_args: 控制器启动所需的参数列表。 - worker_args: 工作进程启动所需的参数列表。 - server_args: 服务器启动所需的参数列表。 **代码描述**: `launch_all` 函数首先打印日志路径信息,提示用户LLM服务正在启动,并且可以在指定的日志路径下监控各模块的日志。接着,函数使用 `string_args` 函数将 `args` 对象和 `controller_args` 列表转换为字符串格式的命令行参数,用于构建启动控制器的 shell 命令。这些命令通过 `subprocess.run` 函数执行,以实际启动控制器并检查其运行状态。 对于工作进程的启动,函数首先判断 `args.model_path_address` 是否为字符串。如果是,直接调用 `launch_worker` 函数启动单个工作进程。如果不是,说明有多个模型路径,函数将遍历这些路径,并对每个路径调用 `launch_worker` 函数启动对应的工作进程。 最后,函数同样使用 `string_args` 函数将 `args` 对象和 `server_args` 列表转换为字符串格式的命令行参数,用于构建启动服务器的 shell 命令。这些命令通过 `subprocess.run` 函数执行,以实际启动服务器并检查其运行状态。函数结束时,打印消息提示LLM服务启动完毕。 **注意**: - 确保传递给 `launch_all` 函数的 `args` 对象包含所有必要的参数,并且这些参数正确无误。 - `controller_args`、`worker_args` 和 `server_args` 列表应仔细配置,确保包含启动相应组件所需的所有参数键名。 - `launch_worker` 函数的调用依赖于 `args.model_path_address` 的格式和内容,如果有多个模型路径,请确保它是一个列表或元组。 - 此函数涉及到多个外部依赖(如 `base_launch_sh`、`base_check_sh` 和 `LOG_PATH`),请确保这些依赖在调用函数前已正确定义和初始化。 - 启动过程中可能需要一定时间,特别是工作进程的启动,可能需要3-10分钟不等,请耐心等待。 - 函数中的日志信息同时使用了中英文,以适应不同用户的需求。