8475a5dfd3
Merge branch 'chatchat-space:dev' into dev
2023-09-04 14:44:55 +08:00
38e7c8299c
Update README.md
2023-09-04 10:29:30 +08:00
857e689b8c
Add files via upload
2023-09-04 10:28:50 +08:00
0bc9d5c8ee
Merge branch 'dev' into opt_add_doc
2023-09-03 21:38:45 +08:00
27e9ac57cf
Merge branch 'master' into dev
2023-09-03 16:23:57 +08:00
e2354c215b
clean up qr_code
2023-09-03 16:23:37 +08:00
a9035205ff
Merge branch 'master' into dev
2023-09-03 16:22:08 +08:00
4fae7d4884
add unit test for RapidOCRLoader and RapidOCRPDFLoader
2023-09-03 16:13:37 +08:00
8a73673d6b
update model_config.py.example
2023-09-03 15:57:44 +08:00
9855bc6f55
update model_config.py.example
2023-09-03 15:52:17 +08:00
25880ebd52
fix bug when config["device"]="auto"
2023-09-02 22:11:54 +08:00
3de9b2649c
协程兼容python版本
2023-09-02 19:29:24 +08:00
d7c884e34a
注册器未启动时，整个启动链因为异常被终止
...
使用await asyncio.sleep(3)可以让后续代码等待一段时间，但不是最优解
2023-09-02 19:20:41 +08:00
3391155077
update model_config.py.example
2023-09-02 15:33:57 +08:00
3a660d4f74
TODO
2023-09-02 01:10:04 +08:00
6cb1bdf623
添加切换模型功能，支持智谱AI在线模型 ( #1342 )
...
* 添加LLM模型切换功能，需要在server_config中设置可切换的模型
* add tests for api.py/llm_model/*
* - 支持模型切换
- 支持智普AI线上模型
- startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a
(--all-webui), --all-api`时默认开启该选项
* 修复被fastchat覆盖的标准输出
* 对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
* 修正chatglm api的对话模板
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-09-01 23:58:09 +08:00
55e417a263
升级注意
...
数据库表发生变化，需要重建知识库
新功能
- 增加FileDocModel库表，存储知识文件与向量库Document ID对应关系以及元数据，便于检索向量库
- 增加FileDocModel对应的数据库操作函数（这些函数主要是给KBService调用，用户一般无需使用）：
- list_docs_from_db: 根据知识库名称、文件名称、元数据检索对应的Document IDs
- delete_docs_from_db: 根据知识库名称、文件名称删除对应的file-doc映射
- add_docs_to_db: 添加对应的file-doc映射
- KBService增加list_docs方法，可以根据文件名、元数据检索Document。当前仅支持FAISS，待milvus/pg实现get_doc_by_id方法后即自动支持。
- 去除server.utils对torch的依赖
待完善
- milvus/pg kb_service需要实现get_doc_by_id方法
2023-09-01 22:54:57 +08:00
96770cca53
Merge branch 'chatchat-space:dev' into dev
2023-09-01 21:01:29 +08:00
ab4c8d2e5d
Merge remote-tracking branch 'origin/dev' into dev
2023-09-01 18:10:32 +08:00
9b664d5eb2
添加例子例子"openai_proxy": ' http://127.0.0.1:4780 '
2023-09-01 18:09:59 +08:00
1db8a07765
Merge branch 'chatchat-space:dev' into dev
2023-09-01 14:37:32 +08:00
d6dce95682
bug fix
2023-09-01 14:15:13 +08:00
427646ff36
Merge branch 'chatchat-space:dev' into dev
2023-09-01 13:57:23 +08:00
6c4ef26e9a
add RapidOCRPDFLoader and RapidOCRLoader ( #1275 )
...
* add RapidOCRPDFLoader
* update mypdfloader.py and requirements.txt
* add myimgloader.py
* add test samples
* add TODO to mypdfloader
* add loaders to KnowledgeFile class
* add loaders to KnowledgeFile class
2023-09-01 10:23:57 +08:00
72b9da2649
startup.py增加参数-q | quiet，可以过滤fastchat的controller/model_worker不必要的日志输出 ( #1333 )
...
* startup.py增加参数`-q | quiet`，可以过滤fastchat的controller/model_worker不必要的日志输出
2023-08-31 22:55:07 +08:00
c54ee8c289
startup.py增加参数`-q | quiet`，可以过滤fastchat的controller/model_worker不必要的日志输出
2023-08-31 22:51:51 +08:00
ab70f5582d
Merge branch 'chatchat-space:dev' into dev
2023-08-31 22:51:30 +08:00
b1201a5f23
优化LLM和Embedding模型运行设备配置，可设为auto自动检测；修复：重建知识库时FAISS未保存 ( #1330 )
...
* 避免configs对torch的依赖；
* webui自动从configs获取api地址(close #1319 )
* bug fix: 重建知识库时FAISS未保存
* 优化LLM和Embedding模型运行设备配置，可设为auto自动检测
2023-08-31 17:44:48 +08:00
16fb19d2c3
优化LLM和Embedding模型运行设备配置，可设为auto自动检测
2023-08-31 17:41:09 +08:00
80590ef5dc
bug fix: faiss vector store not saved when recreate
2023-08-31 17:34:22 +08:00
4bdfb6e154
Merge branch 'chatchat-space:dev' into dev
2023-08-31 17:34:10 +08:00
26a9237237
避免configs对torch的依赖；webui自动从configs获取api地址( close #1319 ) ( #1328 )
2023-08-31 16:18:12 +08:00
4e73e561fd
避免configs对torch的依赖；webui自动从configs获取api地址( close #1319 )
2023-08-31 16:08:16 +08:00
a5ee38511d
Update README.md
2023-08-30 15:58:47 +08:00
b8831b6d91
Add files via upload
2023-08-30 15:57:29 +08:00
215bc25f5c
添加知识库使用的向量库测试用例
2023-08-29 15:01:26 +08:00
17c842df43
改正文本错误 ( #1296 )
2023-08-29 11:30:25 +08:00
34a416b941
优化server_config配置项 ( #1293 )
...
* update server_config.py:
- 在model_config中增加HISTORY_LEN配置参数
- 将server_config中helper function移动到server.utils中
- 统一set_httpx_timeout的定义和调用
* update webui.py:
应用model_config中的配置项：HISTORY_LEN,VECTOR_SEARCH_TOP_K,SEARCH_ENGINE_TOP_K
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-29 10:06:09 +08:00
ca0ae29fef
运行startup.py时，如果不加参数直接显示配置和帮助信息后退出 ( #1284 )
...
* 统一XX_kb_service.add_doc/do_add_doc接口，不再需要embeddings参数
* 运行startup.py时，如果不加参数直接显示配置和帮助信息后退出
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-28 16:03:53 +08:00
3acbf4d5d1
增加数据库字段，重建知识库使用多线程 ( #1280 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
* 修改知识库管理相关内容:
1.KnowledgeFileModel增加3个字段：file_mtime(文件修改时间),file_size(文件大小),custom_docs(是否使用自定义docs)。为后面比对上传文件做准备。
2.给所有String字段加上长度，防止mysql建表错误(pr#1177)
3.统一[faiss/milvus/pgvector]_kb_service.add_doc接口，使其支持自定义docs
4.为faiss_kb_service增加一些方法，便于调用
5.为KnowledgeFile增加一些方法，便于获取文件信息，缓存file2text的结果。
* 修复/chat/fastchat无法流式输出的问题
* 新增功能：
1、KnowledgeFileModel增加"docs_count"字段，代表该文件加载到向量库中的Document数量，并在WEBUI中进行展示。
2、重建知识库`python init_database.py --recreate-vs`支持多线程。
其它：
统一代码中知识库相关函数用词：file代表一个文件名称或路径，doc代表langchain加载后的Document。部分与API接口有关或含义重叠的函数暂未修改。
---------
Co-authored-by: liunux4odoo <liunux@qq.com>, hongkong9771
2023-08-28 13:50:35 +08:00
3eb3b7cbaa
Update README.md
2023-08-28 09:11:51 +08:00
9369a6031b
Add files via upload
2023-08-28 09:11:28 +08:00
89e3e9a691
Merge remote-tracking branch 'origin/dev' into dev
2023-08-27 20:23:19 +08:00
8faafa6a32
update format
2023-08-27 20:23:07 +08:00
6ef8844b2b
修复使用chatgpt等在线API服务时模型加载错误 ( #1271 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-27 16:46:59 +08:00
58d5787bdf
Merge branch 'master' into dev
2023-08-27 16:03:14 +08:00
1af8f89a49
Merge branch 'master' into pre-release
2023-08-27 16:02:57 +08:00
1fa4e906c7
适配score_threshold
2023-08-27 11:21:10 +08:00
ead2e26da1
Merge remote-tracking branch 'origin/dev' into dev
2023-08-27 10:32:02 +08:00
96f69edf7b
修复重建知识库界面无反应的问题，添加一些log信息 ( #1258 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-26 18:26:38 +08:00
liunux4odoo
imClumsyPanda
glide-the
liunux4odoo
zqt
miraged3