python3.8用户需要加上__future__ (#1624)

* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度

* 增加了部分Agent支持和修改了启动文件的部分bug

* 修改了GPU数量配置文件

* 1

1

* 修复配置文件错误

* 更新readme，稳定测试

* 更新readme

* python3.8用户需要加这两行

README_en.md

@@ -70,6 +70,7 @@ If you want to run the native model (int4 version) on the GPU without problems,
 + LLaMA-30B Minimum Memory Requirement: 22GB Recommended Cards: RTX A5000,RTX 3090,RTX 4090,RTX 6000,Tesla V100,RTX Tesla P40
 + Minimum memory requirement for LLaMA-65B: 40GB Recommended cards: A100,A40,A6000
 
+
 If int8 then memory x1.5 fp16 x2.5 requirement.
 For example: using fp16 to reason about the Qwen-7B-Chat model requires 16GB of video memory.
 

configs/model_config.py.example

@@ -92,6 +92,7 @@ MODEL_PATH = {
 # 选用的 Embedding 名称
 EMBEDDING_MODEL = "m3e-base" # 可以尝试最新的嵌入式sota模型：piccolo-large-zh
 
+
 # Embedding 模型运行设备。设为"auto"会自动检测，也可手动设定为"cuda","mps","cpu"其中之一。
 EMBEDDING_DEVICE = "auto"
 

server/agent/callbacks.py

@@ -1,3 +1,4 @@
+from __future__ import annotations
 from uuid import UUID
 from langchain.callbacks import AsyncIteratorCallbackHandler
 import json

server/agent/custom_template.py

@@ -1,3 +1,4 @@
+from __future__ import annotations
 from langchain.agents import Tool, AgentOutputParser
 from langchain.prompts import StringPromptTemplate
 from typing import List, Union