liunux4odoo
|
1de4258aa0
|
给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。 (#2169)
* 给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。
/chat/chat 接口 conversation_id参数改为默认 ""，避免 swagger 页面默认值错误导致历史消息失效
* 修复在线模型一些bug
|
2023-11-25 13:51:07 +08:00 |
glide-the
|
17c9632942
|
统一在线模型异常报文、增加详细日志
|
2023-11-21 21:47:02 +08:00 |
|
liunux4odoo
|
b51ba11f45
|
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 (#2002)
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库
依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误
修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
|
2023-11-09 22:15:52 +08:00 |
|
liunux4odoo
|
deed92169f
|
支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api (#1907)
* 新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）
问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误
开发者：
- 优化 kb_service 中 Embeddings 操作：
- 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
- 统一文本嵌入接口：server.embedding_api.[embed_texts, embed_documents]
|
2023-10-28 23:37:30 +08:00 |
|
liunux4odoo
|
b4c68ddd05
|
优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式 (#1886)
* 优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式
新功能
- 智谱AI、Minimax、千帆、千问 4 个在线模型支持 embeddings（不通过Fastchat，后续会单独提供相关api接口）
- 在线模型自动检测传入参数，在传入非 messages 格式的 prompt 时，自动转换为 completion 形式，以支持 completion 接口
开发者：
- 重构ApiModelWorker:
- 所有在线 API 请求封装到 do_chat 方法：自动传入参数 ApiChatParams，简化参数与配置项的获取；自动处理与fastchat的接口
- 加强 API 请求错误处理，返回更有意义的信息
- 改用 qianfan sdk 重写 qianfan-api
- 将所有在线模型的测试用例统一在一起，简化测试用例编写
* Delete requirements_langflow.txt
|
2023-10-26 22:44:48 +08:00 |
|
liunux4odoo
|
03e55e11c4
|
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话 (#1860)
* move get_default_llm_model from webui to ApiRequest
增加API接口及其测试用例：
- /server/get_prompt_template: 获取服务器配置的 prompt 模板
- 增加知识库多线程访问测试用例
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话
* fix bug in server.api
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
|
2023-10-25 08:30:23 +08:00 |
Leego
|
9bcce0a572
|
【功能新增】在线 LLM 模型支持阿里云通义千问 (#1534)
* feat: add qwen-api
* 使Qwen API支持temperature参数；添加测试用例
* 将online-api的sdk列为可选依赖
---------
Co-authored-by: liunux4odoo <liunux@qq.com>
|
2023-09-20 21:34:12 +08:00 |