183 lines
13 KiB
Markdown
183 lines
13 KiB
Markdown
|
## FunctionDef request(appid, api_key, api_secret, Spark_url, domain, question, temperature, max_token)
|
|||
|
|
**request**: 此函数用于通过WebSocket连接发送请求到Spark服务，并异步接收处理结果。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- **appid**: 应用程序的唯一标识符。
|
|||
|
|
- **api_key**: 用于访问Spark服务的API密钥。
|
|||
|
|
- **api_secret**: 用于访问Spark服务的API密钥的秘密。
|
|||
|
|
- **Spark_url**: Spark服务的完整URL。
|
|||
|
|
- **domain**: 请求的领域或类别。
|
|||
|
|
- **question**: 用户的提问内容。
|
|||
|
|
- **temperature**: 生成回答时的创造性控制参数。
|
|||
|
|
- **max_token**: 生成回答的最大令牌数。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
函数首先使用`SparkApi.Ws_Param`类创建一个`wsParam`对象，并通过该对象的`create_url`方法生成用于WebSocket连接的URL。然后，使用`SparkApi.gen_params`函数生成请求数据，该数据包括应用ID、领域、问题、温度和最大令牌数等信息。接下来，函数通过`websockets.connect`建立与Spark服务的WebSocket连接，并使用`json.dumps`将请求数据转换为JSON格式后发送。函数接着进入一个循环，异步接收来自Spark服务的响应。如果响应的头部信息中状态为2，表示处理完成，循环结束。如果响应的有效载荷中包含文本信息，则将该信息的内容生成器返回。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在使用此函数时，需要确保传入的`appid`、`api_key`、`api_secret`和`Spark_url`等参数正确无误，因为这些参数直接影响到能否成功建立WebSocket连接和发送请求。
|
|||
|
|
- 函数采用异步编程模式，调用时需要在异步环境下使用`await`关键字。
|
|||
|
|
- 由于函数使用了生成器`yield`来返回文本内容，调用此函数时需要使用异步迭代器或在异步循环中处理返回的文本内容。
|
|||
|
|
- 函数中的`temperature`参数控制生成文本的创造性，较高的值会导致更多样化的回答，而较低的值则使回答更加确定性。根据实际需求调整此参数。
|
|||
|
|
- `max_token`参数限制了生成回答的长度，需要根据实际需求调整。
|
|||
|
|
## ClassDef XingHuoWorker
|
|||
|
|
**XingHuoWorker**: XingHuoWorker类是用于处理与“星火”API模型交互的工作器。
|
|||
|
|
|
|||
|
|
**属性**:
|
|||
|
|
- `model_names`: 模型名称列表，默认为["xinghuo-api"]。
|
|||
|
|
- `controller_addr`: 控制器地址，用于与模型控制器进行通信。
|
|||
|
|
- `worker_addr`: 工作器地址，标识当前工作器的网络位置。
|
|||
|
|
- `version`: 模型版本，用于指定与“星火”API交互时使用的API版本。
|
|||
|
|
- `context_len`: 上下文长度，默认为8000，用于指定处理请求时考虑的上下文信息的长度。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
XingHuoWorker类继承自ApiModelWorker类，专门用于与“星火”API进行交互。在初始化过程中，它接受模型名称、控制器地址、工作器地址、版本等参数，并将这些参数传递给父类构造函数。此外，它还默认设置了上下文长度为8000，并允许通过关键字参数传递更多设置。
|
|||
|
|
|
|||
|
|
该类重写了`do_chat`方法，用于处理聊天功能。在这个方法中，它首先根据传入的版本参数选择合适的API配置，然后通过异步循环发送请求，并处理返回的数据流，最终生成聊天文本。
|
|||
|
|
|
|||
|
|
`get_embeddings`方法目前仅打印传入的参数，暗示这个方法可能用于处理嵌入功能，但在当前版本中尚未实现。
|
|||
|
|
|
|||
|
|
`make_conv_template`方法用于生成对话模板，这个模板定义了对话的基本结构，包括参与者角色、消息分隔符等。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 使用XingHuoWorker类时，需要确保正确设置了模型名称、控制器地址和工作器地址，这些参数对于确保工作器能够正确与“星火”API进行交互至关重要。
|
|||
|
|
- 版本参数`version`对于选择正确的API接口非常关键，需要根据“星火”API的版本更新情况进行调整。
|
|||
|
|
- 由于`do_chat`方法涉及异步编程，使用时需要注意异步环境的配置和管理。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"error_code": 0,
|
|||
|
|
"text": "这是由模型生成的回复文本。"
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
此示例展示了`do_chat`方法成功调用“星火”API并接收到模型生成的回复文本后的可能输出。`error_code`为0表示调用成功，`text`字段包含了模型生成的文本。
|
|||
|
|
### FunctionDef __init__(self)
|
|||
|
|
**__init__**: 该函数用于初始化XingHuoWorker对象。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- **model_names**: 一个字符串列表，默认值为["xinghuo-api"]。这个列表包含了模型的名称。
|
|||
|
|
- **controller_addr**: 一个字符串，表示控制器的地址。默认值为None。
|
|||
|
|
- **worker_addr**: 一个字符串，表示工作节点的地址。默认值为None。
|
|||
|
|
- **version**: 一个字符串，表示版本号。默认值为None。
|
|||
|
|
- **kwargs**: 接收一个字典，包含了其他的关键字参数。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
该`__init__`方法是`XingHuoWorker`类的构造函数，用于初始化一个`XingHuoWorker`对象。它接受几个参数，包括模型名称列表`model_names`、控制器地址`controller_addr`、工作节点地址`worker_addr`和版本号`version`。这些参数允许用户在创建`XingHuoWorker`对象时自定义其配置。
|
|||
|
|
|
|||
|
|
在方法内部，首先通过`kwargs.update`方法更新`kwargs`字典，将`model_names`、`controller_addr`和`worker_addr`作为关键字参数添加到`kwargs`中。接着，使用`kwargs.setdefault`方法设置`context_len`的默认值为8000，如果`kwargs`中已经存在`context_len`，则保持原值不变。
|
|||
|
|
|
|||
|
|
之后，调用父类的`__init__`方法，将更新后的`kwargs`字典传递给父类，以完成父类的初始化过程。这一步是必要的，因为`XingHuoWorker`可能继承自一个需要进行初始化的父类。
|
|||
|
|
|
|||
|
|
最后，将`version`参数赋值给`self.version`属性，存储版本号信息。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在使用`XingHuoWorker`类创建对象时，需要注意`model_names`、`controller_addr`、`worker_addr`和`version`参数的正确设置，这些参数对于对象的配置和后续操作非常重要。
|
|||
|
|
- `kwargs`参数提供了一种灵活的方式来传递额外的配置选项，但使用时需要确保传递的关键字参数是有效且被支持的。
|
|||
|
|
- 默认的`context_len`值为8000，但可以通过在`kwargs`中传递`context_len`参数来自定义这个值。
|
|||
|
|
***
|
|||
|
|
### FunctionDef do_chat(self, params)
|
|||
|
|
**do_chat**: 此函数用于执行聊天操作，通过与Spark服务的WebSocket接口交互，发送聊天请求并接收回答。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `params`: `ApiChatParams`类型，包含聊天请求所需的所有参数。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`do_chat`函数首先调用`params.load_config`方法，加载模型配置。该方法根据`self.model_names[0]`（模型名称列表的第一个元素）来加载相应的配置。
|
|||
|
|
|
|||
|
|
接着，函数定义了一个版本映射`version_mapping`，其中包含不同版本的Spark服务的域名、URL和最大令牌数。通过`get_version_details`函数，可以根据`params.version`（请求参数中指定的版本）获取对应版本的详细信息，包括服务的域名和URL。
|
|||
|
|
|
|||
|
|
函数尝试获取当前的事件循环，如果失败，则创建一个新的事件循环。此事件循环用于处理异步操作。
|
|||
|
|
|
|||
|
|
`params.max_tokens`被设置为`details["max_tokens"]`和`params.max_tokens`中较小的一个，以确保不超过服务端允许的最大令牌数。
|
|||
|
|
|
|||
|
|
通过调用`iter_over_async`函数，`do_chat`可以同步地处理从`request`函数（异步发送聊天请求并接收回答的函数）返回的数据流。`request`函数接收多个参数，包括应用ID、API密钥、API密钥的秘密、Spark服务的URL、域名、消息内容、温度和最大令牌数等，用于建立WebSocket连接并发送聊天请求。
|
|||
|
|
|
|||
|
|
当`iter_over_async`函数返回数据块时，`do_chat`函数将这些数据块累加到`text`字符串中，并以字典形式生成器返回，其中包含错误码（`error_code`）和累加后的文本（`text`）。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 确保在调用`do_chat`函数之前，已正确设置`ApiChatParams`中的所有必要参数，包括消息内容、版本等。
|
|||
|
|
- `do_chat`函数依赖于正确配置的事件循环来处理异步操作，因此在调用此函数时应注意事件循环的管理。
|
|||
|
|
- 由于`do_chat`函数使用了生成器`yield`来逐步返回处理结果，调用此函数时需要适当地处理生成器返回的数据。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
调用`do_chat`函数可能返回的示例输出为：
|
|||
|
|
```python
|
|||
|
|
{"error_code": 0, "text": "你好，很高兴为你服务。"}
|
|||
|
|
```
|
|||
|
|
此输出表示聊天请求成功处理，且服务端返回了回答"你好，很高兴为你服务。"。
|
|||
|
|
#### FunctionDef get_version_details(version_key)
|
|||
|
|
**get_version_details函数的功能**: 根据提供的版本关键字返回相应的版本信息。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- **version_key**: 用于查询版本信息的关键字。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`get_version_details`函数接受一个参数`version_key`，该参数用于在一个预定义的映射（`version_mapping`）中查找对应的版本信息。如果给定的`version_key`在映射中存在，函数将返回该关键字对应的值。如果不存在，函数将返回一个包含`domain`和`url`两个键，它们的值都为`None`的字典。这意味着，当无法根据提供的关键字找到版本信息时，函数提供了一种优雅的失败处理方式，避免了可能的错误或异常。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 确保`version_mapping`是在函数调用之前已经定义并且正确初始化的，且包含所有可能用到的版本关键字及其对应的信息。
|
|||
|
|
- 调用此函数时，传入的`version_key`应确保是字符串类型，且在`version_mapping`中有对应的条目。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
假设`version_mapping`已经定义如下：
|
|||
|
|
```python
|
|||
|
|
version_mapping = {
|
|||
|
|
"v1.0": {"domain": "example.com", "url": "/api/v1"},
|
|||
|
|
"v2.0": {"domain": "example.com", "url": "/api/v2"}
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
当调用`get_version_details("v1.0")`时，函数将返回：
|
|||
|
|
```python
|
|||
|
|
{"domain": "example.com", "url": "/api/v1"}
|
|||
|
|
```
|
|||
|
|
如果调用`get_version_details("v3.0")`（假设`v3.0`不在`version_mapping`中），函数将返回：
|
|||
|
|
```python
|
|||
|
|
{"domain": None, "url": None}
|
|||
|
|
```
|
|||
|
|
***
|
|||
|
|
***
|
|||
|
|
### FunctionDef get_embeddings(self, params)
|
|||
|
|
**get_embeddings**: 此函数的功能是打印嵌入信息和参数。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `params`: 此参数用于接收传入的参数信息。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`get_embeddings`函数是`XingHuoWorker`类的一个方法，主要用于展示如何处理和打印嵌入信息。当调用此函数时，它首先打印出字符串"embedding"，随后打印出传入的`params`参数。这表明该函数可能用于调试或展示传入参数的结构，尤其是在处理嵌入向量或相关信息时。
|
|||
|
|
|
|||
|
|
在实际应用中，`params`参数可以是任何类型的数据，但通常期望是与嵌入向量相关的配置或数据。例如，它可以是一个字典，包含了不同的配置选项或者是直接与嵌入向量相关的数据。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 由于此函数主要用于打印信息，因此在生产环境中可能需要根据实际需求进行修改或扩展，以实现更具体的功能。
|
|||
|
|
- 确保传入的`params`参数包含了函数处理所需的所有必要信息，以避免运行时错误。
|
|||
|
|
- 此函数目前看起来主要用于演示或调试目的，因此在将其应用于实际项目中时，可能需要进一步开发以满足特定的业务需求。
|
|||
|
|
***
|
|||
|
|
### FunctionDef make_conv_template(self, conv_template, model_path)
|
|||
|
|
**make_conv_template**: 该函数用于创建一个对话模板。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- **conv_template**: 字符串类型，指定对话模板的具体内容，可选参数。
|
|||
|
|
- **model_path**: 字符串类型，指定模型路径，可选参数。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`make_conv_template` 函数是 `XingHuoWorker` 类的一个方法，其主要功能是创建一个对话模板。该方法接受两个参数：`conv_template` 和 `model_path`，它们都是可选的字符串参数。函数内部主要通过调用 `conv.Conversation` 类来创建一个对话实例。在这个实例中，`name` 属性被设置为 `self.model_names[0]`，即取 `model_names` 列表的第一个元素作为名称。`system_message` 属性被设置为一段固定的提示信息："你是一个聪明的助手，请根据用户的提示来完成任务"。`messages` 属性是一个空列表，表示初始时对话中没有任何消息。`roles` 属性定义了对话中的角色，这里设置为包含 "user" 和 "assistant" 的列表，表示对话参与者。`sep` 和 `stop_str` 属性分别定义了对话中消息的分隔符和停止字符串，用于在对话生成过程中标识消息的边界。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在使用此函数时，需要确保 `self.model_names` 列表至少包含一个元素，否则在尝试访问 `self.model_names[0]` 时会引发索引错误。
|
|||
|
|
- 该函数返回的对话实例可以用于进一步的对话处理或模拟，但需要注意的是，返回的对话实例初始时不包含任何实际对话内容。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
假设 `self.model_names` 列表的第一个元素为 "ModelA"，则该函数可能返回的对话实例如下所示（此处以伪代码形式展示）:
|
|||
|
|
```
|
|||
|
|
Conversation(
|
|||
|
|
name="ModelA",
|
|||
|
|
system_message="你是一个聪明的助手，请根据用户的提示来完成任务",
|
|||
|
|
messages=[],
|
|||
|
|
roles=["user", "assistant"],
|
|||
|
|
sep="\n### ",
|
|||
|
|
stop_str="###",
|
|||
|
|
)
|
|||
|
|
```
|
|||
|
|
***
|