d6dce95682
bug fix
2023-09-01 14:15:13 +08:00
427646ff36
Merge branch 'chatchat-space:dev' into dev
2023-09-01 13:57:23 +08:00
6c4ef26e9a
add RapidOCRPDFLoader and RapidOCRLoader ( #1275 )
...
* add RapidOCRPDFLoader
* update mypdfloader.py and requirements.txt
* add myimgloader.py
* add test samples
* add TODO to mypdfloader
* add loaders to KnowledgeFile class
* add loaders to KnowledgeFile class
2023-09-01 10:23:57 +08:00
72b9da2649
startup.py增加参数-q | quiet，可以过滤fastchat的controller/model_worker不必要的日志输出 ( #1333 )
...
* startup.py增加参数`-q | quiet`，可以过滤fastchat的controller/model_worker不必要的日志输出
2023-08-31 22:55:07 +08:00
c54ee8c289
startup.py增加参数`-q | quiet`，可以过滤fastchat的controller/model_worker不必要的日志输出
2023-08-31 22:51:51 +08:00
ab70f5582d
Merge branch 'chatchat-space:dev' into dev
2023-08-31 22:51:30 +08:00
b1201a5f23
优化LLM和Embedding模型运行设备配置，可设为auto自动检测；修复：重建知识库时FAISS未保存 ( #1330 )
...
* 避免configs对torch的依赖；
* webui自动从configs获取api地址(close #1319 )
* bug fix: 重建知识库时FAISS未保存
* 优化LLM和Embedding模型运行设备配置，可设为auto自动检测
2023-08-31 17:44:48 +08:00
16fb19d2c3
优化LLM和Embedding模型运行设备配置，可设为auto自动检测
2023-08-31 17:41:09 +08:00
80590ef5dc
bug fix: faiss vector store not saved when recreate
2023-08-31 17:34:22 +08:00
4bdfb6e154
Merge branch 'chatchat-space:dev' into dev
2023-08-31 17:34:10 +08:00
26a9237237
避免configs对torch的依赖；webui自动从configs获取api地址( close #1319 ) ( #1328 )
2023-08-31 16:18:12 +08:00
4e73e561fd
避免configs对torch的依赖；webui自动从configs获取api地址( close #1319 )
2023-08-31 16:08:16 +08:00
a5ee38511d
Update README.md
2023-08-30 15:58:47 +08:00
b8831b6d91
Add files via upload
2023-08-30 15:57:29 +08:00
215bc25f5c
添加知识库使用的向量库测试用例
2023-08-29 15:01:26 +08:00
17c842df43
改正文本错误 ( #1296 )
2023-08-29 11:30:25 +08:00
34a416b941
优化server_config配置项 ( #1293 )
...
* update server_config.py:
- 在model_config中增加HISTORY_LEN配置参数
- 将server_config中helper function移动到server.utils中
- 统一set_httpx_timeout的定义和调用
* update webui.py:
应用model_config中的配置项：HISTORY_LEN,VECTOR_SEARCH_TOP_K,SEARCH_ENGINE_TOP_K
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-29 10:06:09 +08:00
ca0ae29fef
运行startup.py时，如果不加参数直接显示配置和帮助信息后退出 ( #1284 )
...
* 统一XX_kb_service.add_doc/do_add_doc接口，不再需要embeddings参数
* 运行startup.py时，如果不加参数直接显示配置和帮助信息后退出
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-28 16:03:53 +08:00
3acbf4d5d1
增加数据库字段，重建知识库使用多线程 ( #1280 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
* 修改知识库管理相关内容:
1.KnowledgeFileModel增加3个字段：file_mtime(文件修改时间),file_size(文件大小),custom_docs(是否使用自定义docs)。为后面比对上传文件做准备。
2.给所有String字段加上长度，防止mysql建表错误(pr#1177)
3.统一[faiss/milvus/pgvector]_kb_service.add_doc接口，使其支持自定义docs
4.为faiss_kb_service增加一些方法，便于调用
5.为KnowledgeFile增加一些方法，便于获取文件信息，缓存file2text的结果。
* 修复/chat/fastchat无法流式输出的问题
* 新增功能：
1、KnowledgeFileModel增加"docs_count"字段，代表该文件加载到向量库中的Document数量，并在WEBUI中进行展示。
2、重建知识库`python init_database.py --recreate-vs`支持多线程。
其它：
统一代码中知识库相关函数用词：file代表一个文件名称或路径，doc代表langchain加载后的Document。部分与API接口有关或含义重叠的函数暂未修改。
---------
Co-authored-by: liunux4odoo <liunux@qq.com>, hongkong9771
2023-08-28 13:50:35 +08:00
3eb3b7cbaa
Update README.md
2023-08-28 09:11:51 +08:00
9369a6031b
Add files via upload
2023-08-28 09:11:28 +08:00
89e3e9a691
Merge remote-tracking branch 'origin/dev' into dev
2023-08-27 20:23:19 +08:00
8faafa6a32
update format
2023-08-27 20:23:07 +08:00
6ef8844b2b
修复使用chatgpt等在线API服务时模型加载错误 ( #1271 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-27 16:46:59 +08:00
58d5787bdf
Merge branch 'master' into dev
2023-08-27 16:03:14 +08:00
1af8f89a49
Merge branch 'master' into pre-release
2023-08-27 16:02:57 +08:00
1fa4e906c7
适配score_threshold
2023-08-27 11:21:10 +08:00
ead2e26da1
Merge remote-tracking branch 'origin/dev' into dev
2023-08-27 10:32:02 +08:00
96f69edf7b
修复重建知识库界面无反应的问题，添加一些log信息 ( #1258 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-26 18:26:38 +08:00
9ca53fa3ad
fix #1224 : failed to load json and pdf files ( #1252 )
...
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-26 14:21:59 +08:00
37985f29f0
Update requirements.txt
2023-08-26 13:35:47 +08:00
78e79af68b
update INSTALL.md ( #1250 )
...
Co-authored-by: zzflybird <cmz1@qq.com>
2023-08-26 12:30:54 +08:00
7cbd8ee089
Merge remote-tracking branch 'origin/dev' into dev
2023-08-26 12:22:59 +08:00
f95d41ef47
[BUG] 修复csv文件读取后，单行数据被分成多段。
2023-08-26 11:45:01 +08:00
fea7e8ddf1
update VERSION
2023-08-26 11:10:45 +08:00
32bf508745
update requirements
2023-08-25 22:53:49 +08:00
ab5d1df2a3
update requirements
2023-08-25 22:16:49 +08:00
ec5e5c9b2a
Merge remote-tracking branch 'origin/master'
2023-08-25 22:15:12 +08:00
2e930cf43c
update requirements.txt
2023-08-25 22:14:56 +08:00
021677d5d6
Update README.md
2023-08-25 18:04:06 +08:00
79d225be36
update VERSION
2023-08-25 16:26:51 +08:00
4dafca2376
Merge branch 'master' into pre-release
2023-08-25 16:25:35 +08:00
aaa3e8133c
Merge branch 'dev' into pre-release
2023-08-25 16:24:34 +08:00
faba1b3877
update readme.md, shutdown_all.sh: 在Linux上使用ctrl+C退出可能会由于linux的多进程机制导致multiprocessing遗留孤儿进程
2023-08-25 16:16:44 +08:00
c5e6d4ddf8
Merge branch 'dev' of github.com:chatchat-space/Langchain-Chatchat into dev
2023-08-25 15:45:38 +08:00
33ce276e3e
change default search_engine option to 'duckduckgo'
2023-08-25 15:18:43 +08:00
e68e155687
Merge branch 'dev' of github.com:chatchat-space/Langchain-Chatchat into dev
2023-08-25 14:47:31 +08:00
9550c8262e
Merge branch 'master' into dev
2023-08-25 13:47:56 +08:00
b07d1da90f
Merge pull request #1236 from Pickupppp/master
...
修复上次提交错误
2023-08-25 13:16:28 +08:00
cc0bd4efd9
update server_config.py.example: 增加多卡启动的说明
2023-08-25 11:27:39 +08:00
imClumsyPanda
liunux4odoo
liunux4odoo
zqt
miraged3
mz
hzg0601
zqt996