liunux4odoo
|
775870a516
|
改变api视图函数的sync/async，提高api并发能力： (#1414)
1. 4个chat类接口改为async
2. 知识库操作，涉及向量库修改的使用async，避免FAISS写入错误；涉及向量库读取的改为sync，提高并发
|
2023-09-08 12:25:02 +08:00 |
|
liunux4odoo
|
3acbf4d5d1
|
增加数据库字段，重建知识库使用多线程 (#1280)
* close #1172: 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
* 修改知识库管理相关内容:
1.KnowledgeFileModel增加3个字段：file_mtime(文件修改时间),file_size(文件大小),custom_docs(是否使用自定义docs)。为后面比对上传文件做准备。
2.给所有String字段加上长度，防止mysql建表错误(pr#1177)
3.统一[faiss/milvus/pgvector]_kb_service.add_doc接口，使其支持自定义docs
4.为faiss_kb_service增加一些方法，便于调用
5.为KnowledgeFile增加一些方法，便于获取文件信息，缓存file2text的结果。
* 修复/chat/fastchat无法流式输出的问题
* 新增功能：
1、KnowledgeFileModel增加"docs_count"字段，代表该文件加载到向量库中的Document数量，并在WEBUI中进行展示。
2、重建知识库`python init_database.py --recreate-vs`支持多线程。
其它：
统一代码中知识库相关函数用词：file代表一个文件名称或路径，doc代表langchain加载后的Document。部分与API接口有关或含义重叠的函数暂未修改。
---------
Co-authored-by: liunux4odoo <liunux@qq.com>, hongkong9771
|
2023-08-28 13:50:35 +08:00 |
liunux4odoo
|
7c0e9c46db
|
fix api & webui: 1.add logs, 2. check json response, 3. set timeout=False in recreate_vector_stoore
|
2023-08-15 14:24:54 +08:00 |
imClumsyPanda
|
8a4d9168fa
|
update import pkgs and format
|
2023-08-10 21:26:05 +08:00 |
|
liunux4odoo
|
1a112c6908
|
update fastch_chat: disable streaming in swagger besides streaming in ApiRequest
|
2023-08-09 23:48:41 +08:00 |
liunux4odoo
|
179c2a9a92
|
修改server.chat.openai_chat中的参数定义，使其与openai中/v1/chat/completions接口的入参保持一致，并按照model_config提供默认值。
openai_chat中的接口还要修改：openai根据参数stream有不同的返回值，本接口要与其对应。
|
2023-07-30 08:56:49 +08:00 |
|
imClumsyPanda
|
dcf49a59ef
|
v0.2.0 first commit
|
2023-07-27 23:22:07 +08:00 |