weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,553 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

1553 Commits

Author SHA1 Message Date
zR 1b0cf67a57
支持软连接的知识库 (#2167) 
* GLM3支持传入提示词

支持传入提示词的Agent ChatGLM3-6B

* 软连接处理

1. 有效的软连接处理，参考了 #2125
2. 更新了依赖，现在fschat原生支持GLM3的全功能

* 更新了支持的模型列表和依赖
1. 推荐用户使用GLM3-6B取代2代GLM模型
2. 推荐用户使用性能更强的bge模型
3 推荐使用vllm和torch的最新稳定版本
 2023-11-24 22:47:55 +08:00
Eden dfcebf7bc3
支持昆仑万维天工大模型 (#2166) 
---------

Co-authored-by: Eden <chuangqi.huang@ubtrobot.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-24 22:25:35 +08:00
liunux4odoo 824c29a6d2
将 MiniMax 和 千帆 在线 Embedding 改为 10 个文本一批，防止接口数量限制 (#2161) 2023-11-24 16:42:20 +08:00
qiankunli 76151e884a
feat: add with-history prompt (#2156) 
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
 2023-11-24 10:05:50 +08:00
liunux4odoo 1b9b777eaf 使 MessageModel 中 conversation_id 为非必填项，避免前端请求错误 2023-11-23 21:42:27 +08:00
liunux4odoo aae4144476
数据库和向量库中文档 metadata["source"] 改为相对路径，便于向量库迁移 (#2153) 
修复：
- 上传知识库文件名称包括子目录时，自动创建子目录
 2023-11-23 19:54:00 +08:00
hzg0601 7a85fe74e9 add llm article to kb/smaples 2023-11-23 14:18:00 +08:00
qiankunli 1c97673d41
feat: add db memory (#2046) 
* feat: add db memory
* WEBUI 添加多会话功能

---------

Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-22 18:38:26 +08:00
glide-the 569209289b
Merge pull request #2130 from glide-the/dev 
统一在线模型异常报文、增加详细日志
 2023-11-21 21:48:39 +08:00
glide-the 17c9632942 统一在线模型异常报文、增加详细日志 2023-11-21 21:47:02 +08:00
liunux4odoo 3cf7422c21
修复：知识库json文件的中文被转为unicode码，导致无法匹配 (#2128) 2023-11-21 21:00:46 +08:00
liunux4odoo a9cf191532 update webui: 默认对话模式改为 LLM对话；lite 模式下可选模型列表不显示本地模型 2023-11-20 16:37:20 +08:00
Zhi-guo Huang 700c4ad170
Update requirements.txt 
删除中文以防止win上的安装错误
 2023-11-20 15:57:26 +08:00
Zhi-guo Huang 262c1fc8c3
Update requirements_api.txt 
删除中文以防止win安装错误
 2023-11-20 15:56:51 +08:00
Zhi-guo Huang 33f43f7a96
Update requirements_lite.txt 
删除中文，以防止win设备安装错误
 2023-11-20 15:56:16 +08:00
liunux4odoo 1a291d9db9 add .pdf & .pptx as knowledge test files; update wiki 2023-11-17 14:32:30 +08:00
liunux4odoo ad7a6fd438
开发者： (#2091) 
- 修复列出知识库磁盘文件时跳过临时文件的bug：只有目录被排除了，文件未排除
- 优化知识库文档加载器：
  - 将 elements 模式改为 single 模式，避免文档被切分得太碎
  - 给 get_loader 和 KnowledgeFile 增加 loader_kwargs 参数，可以自定义文档加载器参数
 2023-11-17 11:39:32 +08:00
liunux4odoo 68a544ea33 开发者：XXKBService.get_doc_by_id 改为批量处理，提高访问向量库效率。 2023-11-16 11:09:40 +08:00
liunux4odoo fbe214471b
知识库支持 .jsonl, .epub, .xlsx, .xlsd, .ipynb, .odt, .py, .srt, .toml, .doc, .ppt 文件 (#2079) 
* 知识库支持行式 json 文件
如果要使用 json 文件， 需要 `conda install jq`（windows 下 pip install jq 会失败）

开发者：
删除 CustomJsonLoader，使用 langchain 自带的 JsonLoader 处理 json 文件，添加 JsonLinesLoader 处理 jsonl 文件。

* 知识库支持 .epub, .xlsx, .xlsd, .ipynb, .odt, .py, .srt, .toml, .doc, .ppt 文件
为 .eml, .msg, .rst, .rtf, .tsv, .docx, .xml, .pptx 指定专用加载器
 2023-11-16 09:37:09 +08:00
liunux4odoo 3b3d948d27
添加文件对话模式 (#2071) 
开发者：
- 添加 /chat/file_chat, /knowledge_base/upload_temp_docs API 接口
- 添加 CACHED_MEMO_VS_NUM, BASE_TEMP_DIR 配置项
 2023-11-16 07:39:27 +08:00
liunux4odoo 2adfa4277c
在webui模型列表中包括：非model worker启动的在线模型（如openai-api）；已经下载的本地模型 (#2060) 2023-11-14 21:17:32 +08:00
zR 21b079d751
GLM3支持传入提示词 (#2058) 
支持传入提示词的Agent ChatGLM3-6B
 2023-11-14 17:45:22 +08:00
liunux4odoo e78a804ec6 close #2044: duplicated mount_knowledge_base_routes in server/api.py 2023-11-13 20:30:32 +08:00
zR 94d4304638
更新了chatglm3 6b agent的文档，提示词 (#2041) 
更新了chatglm3 6b agent的文档，提示词
修复代理no_proxy格式问题 #1838 的问题，感谢多次复现和验证
修改了pg清理知识库后还会引用之前知识库的问题
 2023-11-13 16:30:09 +08:00
zR 91ff0574df
支持ChatGLM3-6B (#2021) 
* 更新依赖和配置文件中的Agent模型

* 支持基础的glm3_agent
 2023-11-12 16:45:50 +08:00
imClumsyPanda 3462d06759 update model_config.py.example 2023-11-10 19:40:55 +08:00
imClumsyPanda 5e9acfd633 update model_config.py.example 2023-11-10 16:35:42 +08:00
imClumsyPanda 9a741fd14d update model_config.py.example 2023-11-10 16:34:13 +08:00
imClumsyPanda 3e20e47328 Merge branch 'dev' of https://github.com/chatchat-space/Langchain-Chatchat into dev 2023-11-10 16:32:21 +08:00
Zhi-guo Huang a8f4e7603e
Merge pull request #2011 from hzg0601/dev 
1. 增加ES支持；2. 修复了若干typo bug
 2023-11-10 16:30:18 +08:00
hzg0601 c1440c2609 增加ElasticSearch支持 2023-11-10 16:04:41 +08:00
liunux4odoo 63111a5c87 supdate model_config 2023-11-10 11:46:41 +08:00
liunux4odoo 261b4899c1 supdate model_config 2023-11-10 11:44:40 +08:00
liunux4odoo b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 (#2002) 
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库

依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误

修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
 2023-11-09 22:15:52 +08:00
WilliamChen-luckbob ce1001a043
bugfix:dev分支创建知识库必然失败的bug修复 (#1980) 
* bugfix:dev分支创建知识库必然失败的bug修复

* 统一 KBServiceFactory.get_service_by_name 的逻辑，数据库中不存在知识库时返回 None

---------

Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-09 17:45:21 +08:00
imClumsyPanda 9588bcfa94 Merge branch 'master' into dev 2023-11-09 09:41:26 +08:00
imClumsyPanda 35164b5196 delete outdated qrcode 2023-11-09 09:41:06 +08:00
liunux4odoo d0d688d4b0 修复：重建知识库时自动创建库表 2023-11-07 21:00:45 +08:00
imClumsyPanda ccf277c96f delete outdated qrcode 2023-11-07 16:32:44 +08:00
imClumsyPanda 0e8700edb9 Merge branch 'master' into dev 2023-11-07 16:31:45 +08:00
imClumsyPanda 349adbdfa7
Add files via upload 2023-11-07 16:05:26 +08:00
imClumsyPanda da1dbf9763
Update README.md 2023-11-07 16:05:03 +08:00
zR 3952fbd464
更新依赖和配置文件中的Agent模型 (#1984) 2023-11-07 13:52:47 +08:00
imClumsyPanda e233e4f220 reformat server/knowledge_base/migrate.py 2023-11-06 22:49:35 +08:00
imClumsyPanda fb32c31a70 reformat kb_doc_api.py 2023-11-06 22:44:50 +08:00
imClumsyPanda fe73ceab15 Merge branch 'master' into dev 2023-11-06 22:38:52 +08:00
imClumsyPanda 051a2e97dc add support for Zhipu-api "chatglm-turbo" 2023-11-06 22:38:05 +08:00
imClumsyPanda f4f7845f93 reformat startup.py 2023-11-06 22:31:09 +08:00
imClumsyPanda ce9160fbfa update requirements.txt 2023-11-06 22:11:55 +08:00
imClumsyPanda ed2122a8f6 fix bug in basic_config.py.example 2023-11-06 21:49:05 +08:00