3391155077
update model_config.py.example
2023-09-02 15:33:57 +08:00
3a660d4f74
TODO
2023-09-02 01:10:04 +08:00
6cb1bdf623
添加切换模型功能，支持智谱AI在线模型 ( #1342 )
...
* 添加LLM模型切换功能，需要在server_config中设置可切换的模型
* add tests for api.py/llm_model/*
* - 支持模型切换
- 支持智普AI线上模型
- startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a
(--all-webui), --all-api`时默认开启该选项
* 修复被fastchat覆盖的标准输出
* 对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
* 修正chatglm api的对话模板
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-09-01 23:58:09 +08:00
ab4c8d2e5d
Merge remote-tracking branch 'origin/dev' into dev
2023-09-01 18:10:32 +08:00
9b664d5eb2
添加例子例子"openai_proxy": ' http://127.0.0.1:4780 '
2023-09-01 18:09:59 +08:00
d6dce95682
bug fix
2023-09-01 14:15:13 +08:00
6c4ef26e9a
add RapidOCRPDFLoader and RapidOCRLoader ( #1275 )
...
* add RapidOCRPDFLoader
* update mypdfloader.py and requirements.txt
* add myimgloader.py
* add test samples
* add TODO to mypdfloader
* add loaders to KnowledgeFile class
* add loaders to KnowledgeFile class
2023-09-01 10:23:57 +08:00
72b9da2649
startup.py增加参数-q | quiet，可以过滤fastchat的controller/model_worker不必要的日志输出 ( #1333 )
...
* startup.py增加参数`-q | quiet`，可以过滤fastchat的controller/model_worker不必要的日志输出
2023-08-31 22:55:07 +08:00
b1201a5f23
优化LLM和Embedding模型运行设备配置，可设为auto自动检测；修复：重建知识库时FAISS未保存 ( #1330 )
...
* 避免configs对torch的依赖；
* webui自动从configs获取api地址(close #1319 )
* bug fix: 重建知识库时FAISS未保存
* 优化LLM和Embedding模型运行设备配置，可设为auto自动检测
2023-08-31 17:44:48 +08:00
26a9237237
避免configs对torch的依赖；webui自动从configs获取api地址( close #1319 ) ( #1328 )
2023-08-31 16:18:12 +08:00
215bc25f5c
添加知识库使用的向量库测试用例
2023-08-29 15:01:26 +08:00
34a416b941
优化server_config配置项 ( #1293 )
...
* update server_config.py:
- 在model_config中增加HISTORY_LEN配置参数
- 将server_config中helper function移动到server.utils中
- 统一set_httpx_timeout的定义和调用
* update webui.py:
应用model_config中的配置项：HISTORY_LEN,VECTOR_SEARCH_TOP_K,SEARCH_ENGINE_TOP_K
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-29 10:06:09 +08:00
ca0ae29fef
运行startup.py时，如果不加参数直接显示配置和帮助信息后退出 ( #1284 )
...
* 统一XX_kb_service.add_doc/do_add_doc接口，不再需要embeddings参数
* 运行startup.py时，如果不加参数直接显示配置和帮助信息后退出
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-28 16:03:53 +08:00
3acbf4d5d1
增加数据库字段，重建知识库使用多线程 ( #1280 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
* 修改知识库管理相关内容:
1.KnowledgeFileModel增加3个字段：file_mtime(文件修改时间),file_size(文件大小),custom_docs(是否使用自定义docs)。为后面比对上传文件做准备。
2.给所有String字段加上长度，防止mysql建表错误(pr#1177)
3.统一[faiss/milvus/pgvector]_kb_service.add_doc接口，使其支持自定义docs
4.为faiss_kb_service增加一些方法，便于调用
5.为KnowledgeFile增加一些方法，便于获取文件信息，缓存file2text的结果。
* 修复/chat/fastchat无法流式输出的问题
* 新增功能：
1、KnowledgeFileModel增加"docs_count"字段，代表该文件加载到向量库中的Document数量，并在WEBUI中进行展示。
2、重建知识库`python init_database.py --recreate-vs`支持多线程。
其它：
统一代码中知识库相关函数用词：file代表一个文件名称或路径，doc代表langchain加载后的Document。部分与API接口有关或含义重叠的函数暂未修改。
---------
Co-authored-by: liunux4odoo <liunux@qq.com>, hongkong9771
2023-08-28 13:50:35 +08:00
89e3e9a691
Merge remote-tracking branch 'origin/dev' into dev
2023-08-27 20:23:19 +08:00
8faafa6a32
update format
2023-08-27 20:23:07 +08:00
6ef8844b2b
修复使用chatgpt等在线API服务时模型加载错误 ( #1271 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-27 16:46:59 +08:00
58d5787bdf
Merge branch 'master' into dev
2023-08-27 16:03:14 +08:00
1fa4e906c7
适配score_threshold
2023-08-27 11:21:10 +08:00
ead2e26da1
Merge remote-tracking branch 'origin/dev' into dev
2023-08-27 10:32:02 +08:00
96f69edf7b
修复重建知识库界面无反应的问题，添加一些log信息 ( #1258 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-26 18:26:38 +08:00
9ca53fa3ad
fix #1224 : failed to load json and pdf files ( #1252 )
...
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-26 14:21:59 +08:00
37985f29f0
Update requirements.txt
2023-08-26 13:35:47 +08:00
78e79af68b
update INSTALL.md ( #1250 )
...
Co-authored-by: zzflybird <cmz1@qq.com>
2023-08-26 12:30:54 +08:00
7cbd8ee089
Merge remote-tracking branch 'origin/dev' into dev
2023-08-26 12:22:59 +08:00
f95d41ef47
[BUG] 修复csv文件读取后，单行数据被分成多段。
2023-08-26 11:45:01 +08:00
fea7e8ddf1
update VERSION
2023-08-26 11:10:45 +08:00
32bf508745
update requirements
2023-08-25 22:53:49 +08:00
ab5d1df2a3
update requirements
2023-08-25 22:16:49 +08:00
ec5e5c9b2a
Merge remote-tracking branch 'origin/master'
2023-08-25 22:15:12 +08:00
2e930cf43c
update requirements.txt
2023-08-25 22:14:56 +08:00
021677d5d6
Update README.md
2023-08-25 18:04:06 +08:00
79d225be36
update VERSION
2023-08-25 16:26:51 +08:00
4dafca2376
Merge branch 'master' into pre-release
2023-08-25 16:25:35 +08:00
aaa3e8133c
Merge branch 'dev' into pre-release
2023-08-25 16:24:34 +08:00
faba1b3877
update readme.md, shutdown_all.sh: 在Linux上使用ctrl+C退出可能会由于linux的多进程机制导致multiprocessing遗留孤儿进程
2023-08-25 16:16:44 +08:00
c5e6d4ddf8
Merge branch 'dev' of github.com:chatchat-space/Langchain-Chatchat into dev
2023-08-25 15:45:38 +08:00
33ce276e3e
change default search_engine option to 'duckduckgo'
2023-08-25 15:18:43 +08:00
e68e155687
Merge branch 'dev' of github.com:chatchat-space/Langchain-Chatchat into dev
2023-08-25 14:47:31 +08:00
9550c8262e
Merge branch 'master' into dev
2023-08-25 13:47:56 +08:00
b07d1da90f
Merge pull request #1236 from Pickupppp/master
...
修复上次提交错误
2023-08-25 13:16:28 +08:00
cc0bd4efd9
update server_config.py.example: 增加多卡启动的说明
2023-08-25 11:27:39 +08:00
447b370416
在search_engine_chat中检查Bing KEY，并更新tests
2023-08-25 10:58:40 +08:00
999870c3a7
Merge branch 'dev' of github.com:chatchat-space/Langchain-Chatchat into dev
2023-08-25 09:43:46 +08:00
29738c071c
update readme about startup.py
2023-08-25 08:19:58 +08:00
0c63839ff6
修正 milvus 更改错误
2023-08-24 22:53:13 +08:00
2604341e9e
调整KBService 接口函数do_search 并适配pg
2023-08-24 22:35:30 +08:00
24e7351d32
Merge branch 'master' into dev
2023-08-24 22:31:37 +08:00
67ac53242d
Merge pull request #1233 from Pickupppp/master
...
修复 milvus 作为默认数据库初始化异常和调用search方法异常
2023-08-24 22:28:38 +08:00
bc3dbb443e
修复搜索引擎聊天接口 ( #1228 )
...
* 修复搜索引擎聊天接口
* 修复知识库聊天接口
* 恢复
2023-08-24 22:18:33 +08:00
imClumsyPanda
glide-the
liunux4odoo
zqt
mz
hzg0601
zqt996
liunux4odoo
Pickupppp
Meiracle