# Agent 和 Function Call

如果您希望寻找本框架的 Agent 部分，您可以参考 `libs/chatchat-server/chatchat/server/agent`,这里包含了目前框架中所有的Agent内容。

## Agent Factory

Agent Factory 中用于存储特殊的 Agent 模型，目前，拥有两个系列，分别是：

+ GLM 系列：包含 GLM-3，GLM-4 开源模型。
+ Qwen系列：支持Qwen-2，Qwen1.5 开源模型。

## Tool Factory

Tool Factory 中用于存储特殊的工具，目前，Chatchat已经自带了多个工具，分别是：

+ 高德地图POI搜索工具：利用高德地图API进行POI搜索，根据指定位置和类型返回相关地点的信息。
+ 高德地图天气查询工具：利用高德地图API获取指定城市的天气信息。
+ 音频问答工具：处理音频问题，使用提供的音频文件和文本问题来生成答案。
+ ARXIV论文工具：使用Arxiv.org进行搜索并检索各个领域的科学文章。
+ 数学计算器工具：用于进行简单数学计算，将用户的问题转换为可以由numexpr评估的数学表达式。
+ 互联网搜索工具：使用指定的搜索引擎在互联网上搜索并获取信息。
+ 本地知识库工具：使用本地知识库进行搜索，根据指定的数据库和查询获取信息。
+ 油管视频工具：使用该工具搜索YouTube视频。
+ 系统命令工具：使用Shell执行系统命令。
+ 文生图工具：根据用户的描述生成图片。
+ Prometheus对话工具：将自然语言转换为PromQL并在Prometheus服务器中执行查询，返回执行结果。
+ 数据库对话工具：将自然语言转换为SQL并在数据库中执行查询，返回执行结果。
+ 图片对话工具：根据图片和文本问题生成回答，并在图片上绘制矩形框。
+ 天气查询工具：查询指定城市的当前天气情况。
+ 维基百科搜索工具：使用维基百科进行搜索。
+ WolframAlpha工具：计算复杂的公式和执行高级数学运算。

## 增加自己的工具

我们支持使用 LangChain方式来增加自己的工具，您可以参考 `libs/chatchat-server/chatchat/server/agent/tools_registry`
中的工具模板，来增加自己的工具。
一个简单的构建方式是：

1. 新建一个 py 文件，用于书写自己的工具实现，例如

```python
@regist_tool(title="数学计算器")
def calculate(text: str = Field(description="a math expression")) -> float:
    """
    Useful to answer questions about simple calculations.
    translate user question to a math expression that can be evaluated by numexpr.
    """
    import numexpr

    try:
        ret = str(numexpr.evaluate(text))
    except Exception as e:
        ret = f"wrong: {e}"

    return BaseToolOutput(ret)
```

+ 使用 `@regist_tool` 装饰器用于注册工具。
+ 填写需要传入的参数以及传入参数对应的函数。
+ 使用 `BaseToolOutput` 来封装工具的顺畅。

2. 如果你想使用 LangChain 自带的工具，可以这么使用，这里列举了一个使用 LangChain Shell 工具的例子。

```python
from langchain_community.tools import ShellTool
from chatchat.server.pydantic_v1 import Field
from .tools_registry import BaseToolOutput, regist_tool


@regist_tool(title="系统命令")
def shell(query: str = Field(description="The command to execute")):
    """Use Shell to execute system shell commands"""
    tool = ShellTool()
    return BaseToolOutput(tool.run(tool_input=query))
```

这个例子在LangChain工具的基础上实例化工具，并作为Chatchat可以使用的工具进行调用。

## 让模型知道要调用工具

除了添加工具，在用户传入提示词的时候，也尽可能的强调需要使用工具，这样能提升模型调用工具的概率。比如

#### search_internet

使用这个工具是因为用户需要在联网进行搜索。这些问题通常是你不知道的，这些问题具有特点，
例如：

+ 联网帮我查询 xxx
+ 我想知道最新的新闻
  或者，用户有明显的意图，需要获取事实的信息。
  返回字段如下

```
search_internet
```

#### search_local_knowledge

使用这个工具是希望用户能够获取本地的知识，这些知识通常是你自身能力不具备的专业问题，或者用户指定了某个任务的。
例如：

+ 告诉我 关于 xxx 的 xxx 信息
+ xxx 中 xxx 的 xxx 是什么
  返回字段如下

```
search_local_knowledge
```

## 优化Agent系统提示词

如果您的模型不兼容 / 不适配 LangChain 默认的 Struct Agent提示词模板。您可以在 配置文件中的 `prompt_settings.yaml`自定义提示词。
例如：GLM-3 模型的提示词为：

```
You can answer using the tools.Respond to the human as helpfully and
accurately as possible.\nYou have access to the following tools:\n{tools}\nUse
a json blob to specify a tool by providing an action key (tool name)\nand an action_input
key (tool input).\nValid \"action\" values: \"Final Answer\" or  [{tool_names}]\n
Provide only ONE action per $JSON_BLOB, as shown:\n\n```\n{{{{\n  \"action\":
$TOOL_NAME,\n  \"action_input\": $INPUT\n}}}}\n```\n\nFollow this format:\n\n
Question: input question to answer\nThought: consider previous and subsequent
steps\nAction:\n```\n$JSON_BLOB\n```\nObservation: action result\n... (repeat
Thought/Action/Observation N times)\nThought: I know what to respond\nAction:\n\
```\n{{{{\n  \"action\": \"Final Answer\",\n  \"action_input\": \"Final response
to human\"\n}}}}\nBegin! Reminder to ALWAYS respond with a valid json blob of
a single action. Use tools if necessary.\nRespond directly if appropriate. Format
is Action:```$JSON_BLOB```then Observation:.\nQuestion: {input}\n\n{agent_scratchpad}\n
```

同时，如果您的模型返回格式不适配 LangChain 默认的 Struct Agent，您需要像 GLM-3 / GLM-4 一样自定义Agent执行逻辑，以确保能正确返回
Function Call的内容。