liunux4odoo
|
b4c68ddd05
|
优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式 (#1886)
* 优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式
新功能
- 智谱AI、Minimax、千帆、千问 4 个在线模型支持 embeddings（不通过Fastchat，后续会单独提供相关api接口）
- 在线模型自动检测传入参数，在传入非 messages 格式的 prompt 时，自动转换为 completion 形式，以支持 completion 接口
开发者：
- 重构ApiModelWorker:
- 所有在线 API 请求封装到 do_chat 方法：自动传入参数 ApiChatParams，简化参数与配置项的获取；自动处理与fastchat的接口
- 加强 API 请求错误处理，返回更有意义的信息
- 改用 qianfan sdk 重写 qianfan-api
- 将所有在线模型的测试用例统一在一起，简化测试用例编写
* Delete requirements_langflow.txt
|
2023-10-26 22:44:48 +08:00 |
|
liunux4odoo
|
03e55e11c4
|
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话 (#1860)
* move get_default_llm_model from webui to ApiRequest
增加API接口及其测试用例：
- /server/get_prompt_template: 获取服务器配置的 prompt 模板
- 增加知识库多线程访问测试用例
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话
* fix bug in server.api
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
|
2023-10-25 08:30:23 +08:00 |
zR
|
46225ad784
|
Dev (#1811)
* 北京黑客松更新
知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）
知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介
提示词选择
1. UI 和模板支持提示词模板更换选择
* 数据库更新介绍问题解决
* 关于Langchain自己支持的模型
1. 修复了Openai无法调用的bug
2. 支持了Azure Openai Claude模型
（在模型切换界面由于优先级问题，显示的会是其他联网模型)
3. 422问题被修复，用了另一种替代方案。
4. 更新了部分依赖
* 换一些图
|
2023-10-20 20:07:59 +08:00 |
liunux4odoo
|
0b25d7b079
|
fix: correct model_worker's logger and semaphor
|
2023-10-20 11:50:50 +08:00 |
|
liunux4odoo
|
d053950aee
|
新功能： (#1801)
- 更新langchain/fastchat依赖，添加xformers依赖
- 默认max_tokens=None, 生成tokens自动为模型支持的最大值
修复：
- history_len=0 时会带入1条不完整的历史消息，导致LLM错误
- 当对话轮数 达到history_len时，传入的历史消息为空
|
2023-10-19 22:09:15 +08:00 |
|
zR
|
2c8fc95f7a
|
Agent大更新合并 (#1666)
* 更新上agent提示词代码
* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug
* 按需修改
* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具
* Agent大幅度优化
1. 修改了UI界面
(1)高亮所有没有进行agent对齐的模型，
(2)优化输出体验和逻辑，使用markdown
2. 降低天气工具使用门槛
3. 依赖更新
(1) vllm 更新到0.2.0，增加了一些参数
(2) torch 建议更新到2.1
(3)pydantic不要更新到1.10.12
|
2023-10-07 11:26:11 +08:00 |
Leego
|
9bcce0a572
|
【功能新增】在线 LLM 模型支持阿里云通义千问 (#1534)
* feat: add qwen-api
* 使Qwen API支持temperature参数；添加测试用例
* 将online-api的sdk列为可选依赖
---------
Co-authored-by: liunux4odoo <liunux@qq.com>
|
2023-09-20 21:34:12 +08:00 |
|
liunux4odoo
|
f7c73b842a
|
优化configs (#1474)
* remove llm_model_dict
* optimize configs
* fix get_model_path
* 更改一些默认参数，添加千帆的默认配置
* Update server_config.py.example
|
2023-09-15 17:52:22 +08:00 |
|
liunux4odoo
|
512638a3b1
|
支持讯飞星火大模型在线API (#1460)
* 支持讯飞星火大模型在线API
|
2023-09-13 13:51:05 +08:00 |
|
liunux4odoo
|
03c021d50f
|
添加MiniMax在线API支持 (#1445)
|
2023-09-12 15:24:47 +08:00 |
|
liunux4odoo
|
6cb1bdf623
|
添加切换模型功能，支持智谱AI在线模型 (#1342)
* 添加LLM模型切换功能，需要在server_config中设置可切换的模型
* add tests for api.py/llm_model/*
* - 支持模型切换
- 支持智普AI线上模型
- startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a
(--all-webui), --all-api`时默认开启该选项
* 修复被fastchat覆盖的标准输出
* 对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
* 修正chatglm api的对话模板
Co-authored-by: liunux4odoo <liunu@qq.com>
|
2023-09-01 23:58:09 +08:00 |