161 lines
11 KiB
Markdown
161 lines
11 KiB
Markdown
|
## ClassDef QwenWorker
|
|||
|
|
**QwenWorker**: QwenWorker类是用于处理特定API模型工作流程的高级工作器。
|
|||
|
|
|
|||
|
|
**属性**:
|
|||
|
|
- `DEFAULT_EMBED_MODEL`: 默认的嵌入模型，为"text-embedding-v1"。
|
|||
|
|
- `version`: 模型版本，可选值为"qwen-turbo"或"qwen-plus"，默认为"qwen-turbo"。
|
|||
|
|
- `model_names`: 模型名称列表，默认为["qwen-api"]。
|
|||
|
|
- `controller_addr`: 控制器地址，初始化时可为None。
|
|||
|
|
- `worker_addr`: 工作器地址，初始化时可为None。
|
|||
|
|
- `context_len`: 上下文长度，默认为16384，覆盖了ApiModelWorker类的默认值2048。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
QwenWorker类继承自ApiModelWorker类，专门用于处理与Qwen API相关的工作流程。它通过构造函数接收模型版本、模型名称、控制器地址、工作器地址等参数，并在初始化过程中设置了一些默认参数值。此外，该类还提供了`do_chat`和`do_embeddings`两个主要方法，分别用于执行聊天和生成嵌入向量的功能。
|
|||
|
|
|
|||
|
|
- `do_chat`方法通过调用特定API执行聊天功能，返回生成的回复文本。
|
|||
|
|
- `do_embeddings`方法通过调用特定API生成文本的嵌入向量。
|
|||
|
|
|
|||
|
|
此类还包含`get_embeddings`和`make_conv_template`两个方法，其中`get_embeddings`方法用于打印嵌入向量相关信息，`make_conv_template`方法用于创建会话模板。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在使用QwenWorker类时，需要确保传入的参数符合Qwen API的要求。
|
|||
|
|
- `do_chat`和`do_embeddings`方法的实现依赖于外部库dashscope的调用，因此需要确保该库正确安装并可用。
|
|||
|
|
- `make_conv_template`方法返回的会话模板对象需要进一步配置以满足特定的对话需求。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
假设`do_chat`方法成功调用API并获取到回复，可能的输出示例为：
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"error_code": 0,
|
|||
|
|
"text": "这是由模型生成的回复文本。"
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
此输出示例展示了一个成功的API调用结果，其中`error_code`为0表示成功，`text`字段包含了模型生成的回复文本。
|
|||
|
|
### FunctionDef __init__(self)
|
|||
|
|
**__init__**: 该函数用于初始化QwenWorker对象。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `version`: 指定QwenWorker的版本，可选值为"qwen-turbo"或"qwen-plus"，默认为"qwen-turbo"。
|
|||
|
|
- `model_names`: 一个字符串列表，包含模型名称，默认为["qwen-api"]。
|
|||
|
|
- `controller_addr`: 控制器地址，字符串类型，默认为None。
|
|||
|
|
- `worker_addr`: 工作器地址，字符串类型，默认为None。
|
|||
|
|
- `**kwargs`: 接收额外的关键字参数，这些参数将被传递给父类的初始化方法。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
此函数是`QwenWorker`类的构造函数，用于创建`QwenWorker`实例。它接受几个参数，包括版本信息(`version`)、模型名称列表(`model_names`)、控制器地址(`controller_addr`)和工作器地址(`worker_addr`)。这些参数允许用户自定义`QwenWorker`实例的行为和配置。
|
|||
|
|
|
|||
|
|
函数首先将`model_names`、`controller_addr`和`worker_addr`参数通过`kwargs`字典传递给父类的初始化方法。此外，它还使用`setdefault`方法为`kwargs`字典设置一个默认的"context_len"键值对，如果`kwargs`中未包含"context_len"键，则将其值设置为16384。
|
|||
|
|
|
|||
|
|
之后，函数调用父类的`__init__`方法，传递更新后的`kwargs`字典。这一步骤确保了父类的初始化方法可以接收到所有必要的参数，并且允许`QwenWorker`类在父类的基础上进行扩展。
|
|||
|
|
|
|||
|
|
最后，函数将`version`参数的值赋给实例变量`self.version`，完成`QwenWorker`实例的初始化过程。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在使用`QwenWorker`类创建实例时，应确保传递的参数类型和值符合要求，特别是`version`参数，它只接受"qwen-turbo"或"qwen-plus"两个选项。
|
|||
|
|
- `**kwargs`参数提供了一种灵活的方式来传递额外的配置选项给父类的初始化方法，但使用时需要注意确保传递的键值对是父类所支持的。
|
|||
|
|
***
|
|||
|
|
### FunctionDef do_chat(self, params)
|
|||
|
|
**do_chat**: 此函数的功能是执行聊天操作并生成响应。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `params`: ApiChatParams类型，包含聊天请求所需的各种参数。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`do_chat`函数首先通过`params.load_config`方法加载与当前模型相关的配置，这一步骤确保了聊天操作可以根据特定的模型配置进行。`load_config`方法的详细作用是为特定工作器加载配置，这里的工作器指的是当前模型，其配置信息包括但不限于模型名称、版本、温度参数等。
|
|||
|
|
|
|||
|
|
在加载配置之后，如果全局变量`log_verbose`为真，函数会记录当前的参数设置，这对于调试和记录操作日志非常有用。
|
|||
|
|
|
|||
|
|
接下来，函数创建了一个`dashscope.Generation`实例，并调用其`call`方法发起聊天请求。这个请求包含了从`params`中获取的各种参数，如模型版本、温度参数、API密钥以及消息内容等。`call`方法的返回值是一个生成器，它会逐个产生聊天响应。
|
|||
|
|
|
|||
|
|
函数遍历这些响应，对于每个响应，首先检查其状态码。如果状态码为200，表示请求成功，函数将从响应中提取消息内容并以生成器的形式返回。这里使用了Python的条件赋值表达式来简化代码。如果响应状态码不是200，表示请求出现错误，函数将记录错误信息并以生成器的形式返回错误详情。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 使用`do_chat`函数时，需要确保传入的`params`参数已经包含了所有必要的聊天请求信息，包括但不限于消息内容、API密钥等。
|
|||
|
|
- 函数的执行依赖于`dashscope.Generation`类的`call`方法，该方法负责与后端聊天模型进行交互，因此需要确保后端服务正常运行。
|
|||
|
|
- 错误处理是通过检查响应的状态码实现的，开发者在使用时应注意对异常状态进行适当处理，以确保程序的健売性和用户体验。
|
|||
|
|
- 由于函数使用了生成器来逐个返回响应，调用方需要通过迭代的方式来处理每个响应。这种设计使得函数可以即时返回结果，提高了响应效率，特别是在处理大量聊天请求时。
|
|||
|
|
***
|
|||
|
|
### FunctionDef do_embeddings(self, params)
|
|||
|
|
**do_embeddings**: 此函数的功能是执行文本的嵌入处理并返回嵌入结果。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `params`: ApiEmbeddingsParams类型，包含执行嵌入处理所需的参数，如文本列表、嵌入模型标识等。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`do_embeddings`函数首先通过调用`load_config`方法加载模型的配置信息，这一步骤确保了模型能够根据指定的配置执行嵌入处理。随后，函数检查是否开启了详细日志记录，如果是，则记录传入的参数信息。
|
|||
|
|
|
|||
|
|
函数接下来进入一个循环，每次处理最多25条文本。这是因为API可能对一次请求处理的文本数量有限制，通过这种方式可以有效避免超出限制。在循环中，函数调用`dashscope.TextEmbedding.call`方法，向指定的嵌入模型API发送请求，请求的模型可以是通过`params`传入的`embed_model`，或者是使用默认的嵌入模型`DEFAULT_EMBED_MODEL`。
|
|||
|
|
|
|||
|
|
如果API响应的状态码不是200，表示请求失败，函数会记录错误信息并返回错误详情。如果请求成功，函数将从响应中提取嵌入结果，并将它们添加到结果列表中。
|
|||
|
|
|
|||
|
|
最后，函数返回一个包含状态码200和所有嵌入结果的字典。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 确保在调用此函数之前，已经正确设置了`ApiEmbeddingsParams`中的`texts`属性，因为这是执行嵌入处理的必要条件。
|
|||
|
|
- 函数依赖于外部API的响应格式，特别是在处理错误和提取嵌入结果时，因此在API更新时需要检查这部分代码的兼容性。
|
|||
|
|
- 日志记录依赖于全局变量`log_verbose`和`logger`的设置，确保在使用此函数前，这些变量已经被正确配置。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"code": 200,
|
|||
|
|
"data": [
|
|||
|
|
[0.1, 0.2, 0.3, ...],
|
|||
|
|
[0.4, 0.5, 0.6, ...],
|
|||
|
|
...
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
此示例展示了函数成功执行后的返回值结构，其中`data`字段包含了所有文本的嵌入向量列表。每个嵌入向量是一个浮点数列表，代表了对应文本的嵌入表示。
|
|||
|
|
***
|
|||
|
|
### FunctionDef get_embeddings(self, params)
|
|||
|
|
**get_embeddings**: 此函数的功能是打印嵌入信息和参数。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- params: 此参数用于接收传入的参数信息。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`get_embeddings`函数是`QwenWorker`类的一个方法，主要用于展示如何处理和打印嵌入信息以及传入的参数。当调用此函数时，它首先打印出字符串"embedding"，表明当前操作是与嵌入相关的操作。紧接着，它会打印出传入的`params`参数，这可以是任何形式的数据，旨在展示函数是如何接收并处理这些参数的。
|
|||
|
|
|
|||
|
|
具体来说，函数体内的第一行代码`print("embedding")`用于输出操作类型，作为日志信息或调试信息的一部分。第二行代码`print(params)`则负责输出传入的参数，这对于验证参数是否正确传递至函数内部非常有用。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在实际应用中，`get_embeddings`函数可能需要根据实际需求进行扩展，以实现更复杂的嵌入处理逻辑。
|
|||
|
|
- `params`参数的具体结构和类型应根据实际使用场景事先定义好，以确保函数能够正确处理传入的数据。
|
|||
|
|
- 本函数目前仅用于演示和调试目的，因此在生产环境中使用时可能需要替换或增加更多的逻辑来满足实际需求。
|
|||
|
|
***
|
|||
|
|
### FunctionDef make_conv_template(self, conv_template, model_path)
|
|||
|
|
**make_conv_template函数的功能**: 创建一个对话模板。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- **conv_template**: 字符串类型，指定对话模板的具体内容，此参数在当前实现中未直接使用。
|
|||
|
|
- **model_path**: 字符串类型，指定模型路径，此参数在当前实现中未直接使用。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`make_conv_template`函数负责创建一个对话模板实例。这个实例是通过调用`conv.Conversation`构造函数创建的，其中包含了以下几个关键信息：
|
|||
|
|
- **name**: 对话的名称，这里使用`self.model_names[0]`作为对话名称，即取当前对象的`model_names`列表中的第一个元素。
|
|||
|
|
- **system_message**: 系统消息，这是一个预设的字符串，用于描述人工智能的角色和它对人类的帮助性质。
|
|||
|
|
- **messages**: 对话消息列表，初始为空列表。
|
|||
|
|
- **roles**: 对话中的角色列表，包括"user"（用户）、"assistant"（助手）和"system"（系统）。
|
|||
|
|
- **sep**: 消息分隔符，这里设定为"\n### "。
|
|||
|
|
- **stop_str**: 停止字符串，用于标识对话的结束，这里设定为"###"。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 虽然`conv_template`和`model_path`参数在当前函数实现中未被直接使用，但它们的存在可能是为了未来的功能扩展预留的接口。
|
|||
|
|
- 创建的对话模板实例主要用于初始化对话环境，包括对话参与者的角色定义和基本的对话设置。在实际应用中，可能需要根据具体场景调整对话模板的内容。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
假设`self.model_names[0]`的值为"AI_Assistant"，则函数的返回值可能如下所示：
|
|||
|
|
```
|
|||
|
|
Conversation(
|
|||
|
|
name="AI_Assistant",
|
|||
|
|
system_message="你是一个聪明、对人类有帮助的人工智能，你可以对人类提出的问题给出有用、详细、礼貌的回答。",
|
|||
|
|
messages=[],
|
|||
|
|
roles=["user", "assistant", "system"],
|
|||
|
|
sep="\n### ",
|
|||
|
|
stop_str="###",
|
|||
|
|
)
|
|||
|
|
```
|
|||
|
|
这表示创建了一个名为"AI_Assistant"的对话模板，其中包含了预设的系统消息和基本的对话设置。
|
|||
|
|
***
|