liunux4odoo
|
b51ba11f45
|
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 (#2002)
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库
依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误
修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
|
2023-11-09 22:15:52 +08:00 |
|
liunux4odoo
|
b4c68ddd05
|
优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式 (#1886)
* 优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式
新功能
- 智谱AI、Minimax、千帆、千问 4 个在线模型支持 embeddings（不通过Fastchat，后续会单独提供相关api接口）
- 在线模型自动检测传入参数，在传入非 messages 格式的 prompt 时，自动转换为 completion 形式，以支持 completion 接口
开发者：
- 重构ApiModelWorker:
- 所有在线 API 请求封装到 do_chat 方法：自动传入参数 ApiChatParams，简化参数与配置项的获取；自动处理与fastchat的接口
- 加强 API 请求错误处理，返回更有意义的信息
- 改用 qianfan sdk 重写 qianfan-api
- 将所有在线模型的测试用例统一在一起，简化测试用例编写
* Delete requirements_langflow.txt
|
2023-10-26 22:44:48 +08:00 |
|
liunux4odoo
|
d053950aee
|
新功能： (#1801)
- 更新langchain/fastchat依赖，添加xformers依赖
- 默认max_tokens=None, 生成tokens自动为模型支持的最大值
修复：
- history_len=0 时会带入1条不完整的历史消息，导致LLM错误
- 当对话轮数 达到history_len时，传入的历史消息为空
|
2023-10-19 22:09:15 +08:00 |
|
liunux4odoo
|
955b0bc211
|
修复ChatGPT api_base_url错误；用户可以在model_config在线模型配置中覆盖默认的api_base_url (#1496)
|
2023-09-15 22:56:13 +08:00 |
|
liunux4odoo
|
f7c73b842a
|
优化configs (#1474)
* remove llm_model_dict
* optimize configs
* fix get_model_path
* 更改一些默认参数，添加千帆的默认配置
* Update server_config.py.example
|
2023-09-15 17:52:22 +08:00 |
glide-the
|
5550e3c1a9
|
增加显示详细日志开关
|
2023-09-08 20:48:31 +08:00 |
|
liunux4odoo
|
775870a516
|
改变api视图函数的sync/async，提高api并发能力： (#1414)
1. 4个chat类接口改为async
2. 知识库操作，涉及向量库修改的使用async，避免FAISS写入错误；涉及向量库读取的改为sync，提高并发
|
2023-09-08 12:25:02 +08:00 |
|
liunux4odoo
|
3acbf4d5d1
|
增加数据库字段，重建知识库使用多线程 (#1280)
* close #1172: 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
* 修改知识库管理相关内容:
1.KnowledgeFileModel增加3个字段：file_mtime(文件修改时间),file_size(文件大小),custom_docs(是否使用自定义docs)。为后面比对上传文件做准备。
2.给所有String字段加上长度，防止mysql建表错误(pr#1177)
3.统一[faiss/milvus/pgvector]_kb_service.add_doc接口，使其支持自定义docs
4.为faiss_kb_service增加一些方法，便于调用
5.为KnowledgeFile增加一些方法，便于获取文件信息，缓存file2text的结果。
* 修复/chat/fastchat无法流式输出的问题
* 新增功能：
1、KnowledgeFileModel增加"docs_count"字段，代表该文件加载到向量库中的Document数量，并在WEBUI中进行展示。
2、重建知识库`python init_database.py --recreate-vs`支持多线程。
其它：
统一代码中知识库相关函数用词：file代表一个文件名称或路径，doc代表langchain加载后的Document。部分与API接口有关或含义重叠的函数暂未修改。
---------
Co-authored-by: liunux4odoo <liunux@qq.com>, hongkong9771
|
2023-08-28 13:50:35 +08:00 |
liunux4odoo
|
7c0e9c46db
|
fix api & webui: 1.add logs, 2. check json response, 3. set timeout=False in recreate_vector_stoore
|
2023-08-15 14:24:54 +08:00 |
imClumsyPanda
|
8a4d9168fa
|
update import pkgs and format
|
2023-08-10 21:26:05 +08:00 |
|
liunux4odoo
|
1a112c6908
|
update fastch_chat: disable streaming in swagger besides streaming in ApiRequest
|
2023-08-09 23:48:41 +08:00 |
liunux4odoo
|
179c2a9a92
|
修改server.chat.openai_chat中的参数定义，使其与openai中/v1/chat/completions接口的入参保持一致，并按照model_config提供默认值。
openai_chat中的接口还要修改：openai根据参数stream有不同的返回值，本接口要与其对应。
|
2023-07-30 08:56:49 +08:00 |
|
imClumsyPanda
|
dcf49a59ef
|
v0.2.0 first commit
|
2023-07-27 23:22:07 +08:00 |