190 lines
13 KiB
Markdown
190 lines
13 KiB
Markdown
|
## FunctionDef get_baidu_access_token(api_key, secret_key)
|
|||
|
|
**get_baidu_access_token**: 该函数的功能是使用API Key（AK）和Secret Key（SK）获取百度API的鉴权签名（Access Token）。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `api_key`: 字符串类型，用户的API Key。
|
|||
|
|
- `secret_key`: 字符串类型，用户的Secret Key。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
此函数首先定义了一个URL，指向百度的OAuth 2.0 token获取接口。然后，构造了一个参数字典，包含`grant_type`、`client_id`（即`api_key`）和`client_secret`（即`secret_key`）。使用`get_httpx_client`函数获取一个httpx客户端实例，并通过这个实例向百度的接口发起GET请求，传递上述参数。如果请求成功，函数将解析响应的JSON数据，尝试获取并返回`access_token`字段的值。如果在此过程中发生任何异常，函数将捕获这些异常并打印错误信息，但不会返回任何值。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 确保传入的`api_key`和`secret_key`是有效的，否则无法成功获取Access Token。
|
|||
|
|
- 此函数依赖于`get_httpx_client`函数来创建HTTP客户端实例，该函数支持同步或异步客户端实例的创建，并允许配置代理和超时等参数。
|
|||
|
|
- 在使用此函数获取Access Token后，应妥善管理和使用Token，避免频繁请求导致的额度消耗。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
假设函数调用成功，返回的`access_token`可能类似于以下字符串：
|
|||
|
|
```
|
|||
|
|
"24.abcdefghijk1234567890"
|
|||
|
|
```
|
|||
|
|
如果发生错误，函数不会返回任何值，但会在控制台打印错误信息。
|
|||
|
|
## ClassDef QianFanWorker
|
|||
|
|
**QianFanWorker**: QianFanWorker类是用于与百度千帆API进行交互的工作器。
|
|||
|
|
|
|||
|
|
**属性**:
|
|||
|
|
- `DEFAULT_EMBED_MODEL`: 默认的嵌入模型，此处为"embedding-v1"。
|
|||
|
|
- `version`: 模型版本，支持"ernie-bot"和"ernie-bot-turbo"两种版本，默认为"ernie-bot"。
|
|||
|
|
- `model_names`: 模型名称列表，默认为["qianfan-api"]。
|
|||
|
|
- `controller_addr`: 控制器地址，用于与模型控制器进行通信。
|
|||
|
|
- `worker_addr`: 工作器地址，用于接收和发送模型处理请求。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
QianFanWorker类继承自ApiModelWorker，专门用于处理与百度千帆API的交互。它通过重写父类的方法，实现了与百度千帆API的聊天和嵌入功能。
|
|||
|
|
|
|||
|
|
- `__init__`方法用于初始化QianFanWorker实例，包括设置模型版本、模型名称、控制器地址、工作器地址等，并通过kwargs传递额外的参数。
|
|||
|
|
- `do_chat`方法实现了与百度千帆API的聊天交互。它构造请求URL和负载，通过HTTP POST请求发送给百度千帆API，并处理响应数据，生成聊天文本。
|
|||
|
|
- `do_embeddings`方法实现了获取文本嵌入的功能。它通过百度千帆API获取文本的嵌入表示，并返回嵌入结果。
|
|||
|
|
- `get_embeddings`和`make_conv_template`方法为占位方法，具体实现依赖于项目需求。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在使用QianFanWorker时，需要确保百度千帆API的访问权限，包括正确的API密钥和访问令牌。
|
|||
|
|
- `do_chat`和`do_embeddings`方法中的错误处理非常重要，需要仔细检查返回的错误代码和消息，以确保API调用成功。
|
|||
|
|
- 由于网络请求的不确定性，建议在实际应用中添加适当的异常处理和日志记录，以便于问题追踪和调试。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
一个模拟的`do_chat`方法的可能输出示例为：
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"error_code": 0,
|
|||
|
|
"text": "这是由百度千帆模型生成的回复文本。"
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
此输出示例展示了一个成功的API调用结果，其中`error_code`为0表示成功，`text`字段包含了模型生成的回复文本。
|
|||
|
|
### FunctionDef __init__(self)
|
|||
|
|
**__init__**: 该函数用于初始化QianFanWorker对象。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `version`: 指定模型的版本，可选值为"ernie-bot"或"ernie-bot-turbo"，默认为"ernie-bot"。
|
|||
|
|
- `model_names`: 一个字符串列表，包含要使用的模型名称，默认为["qianfan-api"]。
|
|||
|
|
- `controller_addr`: 控制器地址，类型为字符串，可选参数。
|
|||
|
|
- `worker_addr`: 工作器地址，类型为字符串，可选参数。
|
|||
|
|
- `**kwargs`: 接受额外的关键字参数，这些参数将被传递给父类的初始化方法。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
此函数是`QianFanWorker`类的构造函数，负责初始化该类的实例。首先，它通过关键字参数的形式接收几个参数，包括模型版本(`version`)、模型名称列表(`model_names`)、控制器地址(`controller_addr`)和工作器地址(`worker_addr`)。这些参数中，`version`和`model_names`有默认值，而`controller_addr`和`worker_addr`是可选的。
|
|||
|
|
|
|||
|
|
函数内部首先将`model_names`、`controller_addr`和`worker_addr`这三个参数通过`kwargs.update()`方法更新到`kwargs`字典中，这样做是为了将这些参数以关键字参数的形式传递给父类的初始化方法。接着，使用`kwargs.setdefault()`方法设置`context_len`的默认值为16384，如果`kwargs`中已经存在`context_len`，则保持原值不变。
|
|||
|
|
|
|||
|
|
最后，调用父类的`__init__`方法，将更新后的`kwargs`传递给父类，完成父类的初始化。同时，将`version`参数赋值给实例变量`self.version`，以便后续使用。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在使用`QianFanWorker`类创建实例时，需要注意`version`参数的选值，确保传入的值是支持的版本。
|
|||
|
|
- `model_names`参数允许用户指定一个或多个模型名称，这些模型将在`QianFanWorker`实例中被使用。
|
|||
|
|
- 如果提供了`controller_addr`和`worker_addr`参数，它们将被用于配置控制器和工作器的地址。
|
|||
|
|
- 通过`**kwargs`可以传递额外的参数给父类的初始化方法，这提供了额外的灵活性，但使用时需要确保传递的参数是父类支持的。
|
|||
|
|
***
|
|||
|
|
### FunctionDef do_chat(self, params)
|
|||
|
|
**do_chat**: 此函数的功能是执行聊天操作，通过调用百度AI定制聊天模型接口，发送聊天消息并接收模型的回复。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `params`: `ApiChatParams`类型，包含聊天请求所需的参数，如消息列表、API密钥、温度参数等。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`do_chat`函数首先调用`load_config`方法，根据模型名称加载相关配置。然后，构造访问百度AI定制聊天模型接口的URL，包括模型版本和访问令牌。接着，使用`get_baidu_access_token`函数获取百度API的访问令牌。如果获取令牌失败，则直接返回错误信息。
|
|||
|
|
|
|||
|
|
函数继续构造HTTP请求的负载（payload），包括聊天消息、温度参数和流式响应标志。设置HTTP请求头，然后使用`get_httpx_client`函数获取httpx客户端实例，并通过此实例以流式方式发送POST请求到百度AI聊天模型接口。
|
|||
|
|
|
|||
|
|
在接收到响应后，函数遍历响应的每一行，解析JSON格式的数据。如果数据中包含`result`字段，则将其值累加到文本变量中，并生成包含错误码和累加文本的字典作为生成器的输出。如果响应中包含错误信息，则构造包含错误详情的字典，并记录错误日志，同时作为生成器的输出。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在使用`do_chat`函数之前，确保已正确设置`ApiChatParams`中的参数，包括有效的API密钥和密钥。
|
|||
|
|
- 函数依赖于`get_httpx_client`来执行HTTP请求，确保网络环境允许访问百度AI接口。
|
|||
|
|
- 函数以生成器的形式返回响应数据，调用方需要遍历生成器来获取所有响应消息。
|
|||
|
|
- 在处理响应数据时，函数会累加`result`字段的值，因此调用方应注意处理可能的大量数据累加情况。
|
|||
|
|
- 函数中的错误处理包括返回带有错误码和错误信息的字典，调用方应检查每个响应项的`error_code`以判断请求是否成功。
|
|||
|
|
***
|
|||
|
|
### FunctionDef do_embeddings(self, params)
|
|||
|
|
**do_embeddings**: 该函数的功能是使用百度AI平台的嵌入式模型API，对一组文本进行向量化处理。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `params`: `ApiEmbeddingsParams`类型，包含API请求所需的参数，如文本列表、嵌入模型标识等。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`do_embeddings`函数首先通过`params.load_config`方法加载模型配置，这一步骤确保了使用正确的模型名称进行处理。接着，函数根据传入的`params`参数中的`embed_model`或类属性`DEFAULT_EMBED_MODEL`确定使用的嵌入模型。之后，通过调用`get_baidu_access_token`函数，使用API Key和Secret Key获取百度API的访问令牌。构造请求URL时，将嵌入模型标识和访问令牌附加到URL中。
|
|||
|
|
|
|||
|
|
函数使用`get_httpx_client`获取httpx客户端实例，以支持网络请求。通过分批处理文本列表（每批10个文本），函数对每一批文本发起POST请求，请求百度的嵌入式模型API，并将文本列表作为请求体的一部分。如果响应中包含`error_code`，则表示请求出错，函数将构造错误信息并返回。如果请求成功，函数将从响应中提取嵌入向量，并将它们累加到结果列表中。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 确保传入的`params`参数中的API Key和Secret Key是有效的，以便成功获取访问令牌。
|
|||
|
|
- 文本列表`params.texts`不应为空，且每个文本的长度应符合百度API的要求。
|
|||
|
|
- 由于网络请求的存在，函数执行时间可能受网络状况和百度API响应时间的影响。
|
|||
|
|
- 函数中的错误处理机制确保了在遇到API请求错误时，能够及时返回错误信息，避免程序异常终止。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
假设函数处理成功，返回值可能如下：
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"code": 200,
|
|||
|
|
"data": [
|
|||
|
|
[0.1, 0.2, 0.3, ...],
|
|||
|
|
[0.4, 0.5, 0.6, ...],
|
|||
|
|
...
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
如果发生错误，返回值可能如下：
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"code": 错误码,
|
|||
|
|
"msg": "错误信息",
|
|||
|
|
"error": {
|
|||
|
|
"message": "具体错误信息",
|
|||
|
|
"type": "invalid_request_error",
|
|||
|
|
"param": null,
|
|||
|
|
"code": null
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
此函数通过与百度AI平台的嵌入式模型API交互，为开发者提供了一种便捷的方式来将文本转换为嵌入向量，支持后续的文本分析和处理任务。
|
|||
|
|
***
|
|||
|
|
### FunctionDef get_embeddings(self, params)
|
|||
|
|
**get_embeddings**: 此函数的功能是打印嵌入信息和参数。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- `params`: 此参数用于接收传入的参数信息，其类型和结构取决于调用此函数时的具体需求。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`get_embeddings`函数是`QianFanWorker`类的一个方法，主要用于展示如何处理和打印嵌入信息以及传入的参数。当调用此函数时，它首先打印出字符串"embedding"，随后打印出传入的`params`参数。这表明此函数可能是一个用于测试或演示目的的桩函数，或者是一个待完善的功能点。
|
|||
|
|
|
|||
|
|
在实际应用中，`params`参数可以是任何类型的数据，比如数字、字符串、列表或字典等，具体取决于调用此函数时的上下文环境。因此，开发者在使用此函数时需要注意传入参数的类型和结构，以确保函数能够正确处理并展示预期的信息。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 在当前的实现中，`get_embeddings`函数仅仅进行了基本的打印操作，没有进行任何复杂的数据处理或嵌入向量的生成。因此，在将此函数应用于实际项目中时，可能需要根据具体需求对其进行相应的扩展和完善。
|
|||
|
|
- 考虑到此函数目前的实现较为简单，开发者在使用时应当清楚其当前的限制，并根据项目的实际需求进行适当的修改和优化。
|
|||
|
|
***
|
|||
|
|
### FunctionDef make_conv_template(self, conv_template, model_path)
|
|||
|
|
**make_conv_template**: 此函数用于创建一个对话模板。
|
|||
|
|
|
|||
|
|
**参数**:
|
|||
|
|
- **conv_template**: 字符串类型，指定对话模板的内容，此参数在当前实现中未直接使用。
|
|||
|
|
- **model_path**: 字符串类型，指定模型的路径，此参数在当前实现中未直接使用。
|
|||
|
|
|
|||
|
|
**代码描述**:
|
|||
|
|
`make_conv_template` 函数是 `QianFanWorker` 类的一个方法，它的主要作用是生成一个对话模板。这个模板是通过调用 `conv.Conversation` 类来创建的，其中包含了以下几个关键的参数：
|
|||
|
|
- `name`: 对话的名称，这里使用的是 `self.model_names[0]`，即模型名称列表中的第一个名称。
|
|||
|
|
- `system_message`: 系统消息，这里设置为“你是一个聪明的助手，请根据用户的提示来完成任务”，用于向用户展示系统的默认消息。
|
|||
|
|
- `messages`: 对话中的消息列表，这里初始化为空列表。
|
|||
|
|
- `roles`: 对话中的角色列表，这里设置为包含“user”和“assistant”的列表，表示对话中包含用户和助手两个角色。
|
|||
|
|
- `sep`: 消息分隔符，这里设置为“\n### ”，用于分隔对话中的不同消息。
|
|||
|
|
- `stop_str`: 停止字符串，这里设置为“###”，用于标识对话的结束。
|
|||
|
|
|
|||
|
|
**注意**:
|
|||
|
|
- 虽然 `conv_template` 和 `model_path` 参数在函数定义中提供，但在当前的实现中并未直接使用这两个参数。这可能是为了未来的功能扩展预留的接口。
|
|||
|
|
- 返回的对话模板是一个 `conv.Conversation` 对象，可以用于进一步的对话处理或模拟。
|
|||
|
|
|
|||
|
|
**输出示例**:
|
|||
|
|
假设调用 `make_conv_template()` 方法，可能返回的 `conv.Conversation` 对象示例为：
|
|||
|
|
```
|
|||
|
|
Conversation(
|
|||
|
|
name="模型名称1",
|
|||
|
|
system_message="你是一个聪明的助手，请根据用户的提示来完成任务",
|
|||
|
|
messages=[],
|
|||
|
|
roles=["user", "assistant"],
|
|||
|
|
sep="\n### ",
|
|||
|
|
stop_str="###",
|
|||
|
|
)
|
|||
|
|
```
|
|||
|
|
这个对象包含了对话的基本框架，包括名称、系统消息、消息列表、角色列表以及消息的分隔符和停止符。
|
|||
|
|
***
|