weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,747 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

1747 Commits

Author SHA1 Message Date
wvivi2023 dce1d16e29 enhance splitter 
enhance splitter
 2023-11-29 13:25:44 +08:00
liunux4odoo 509dee0425 fix: empty docs error in KnowledgeFile 2023-11-29 11:33:43 +08:00
liunux4odoo 7d580d9a47 修复：*_chat 接口中重设 max_tokens 时导致 `local variable 'max_tokens' referenced before assignment` 错误 2023-11-28 21:00:00 +08:00
imClumsyPanda 6076ab1198
Update README.md 2023-11-27 11:59:35 +08:00
imClumsyPanda 02c33e6ce9
Add files via upload 2023-11-27 11:58:57 +08:00
liunux4odoo 8b695dba03 *_chat 接口中，当 max_tokens=0时，将其设为 None,避免 swagger ui 中默认值为0时访问出错 2023-11-26 16:47:58 +08:00
glide-the 75a2cba078
Merge pull request #2176 from glide-the/dev_command_summary 
单个知识库根据doc_ids摘要
 2023-11-25 23:32:19 +08:00
glide-the 279ffdf117 单个知识库根据doc_ids摘要 2023-11-25 23:31:13 +08:00
glide-the 33374bd9f2
Merge pull request #2175 from glide-the/dev_command_summary 
提供文档summary_chunk ，支持单文件总结业务实现 使用 MapReduceDocumentsChain 生成摘要
 2023-11-25 22:32:13 +08:00
glide-the 248db46187 Merge branch 'dev_summary' into dev_command_summary 
实现summary_chunk 文档分段总结业务实现
使用 MapReduceDocumentsChain 生成摘要
# Conflicts:
#	server/api.py
#	server/knowledge_base/kb_doc_api.py
#	server/knowledge_base/kb_service/base.py
#	server/knowledge_base/migrate.py
 2023-11-25 22:30:41 +08:00
glide-the f57837c07a Merge branch 'dev_summary' into dev_tmp 
# Conflicts:
#	server/api.py
#	server/knowledge_base/kb_doc_api.py
#	server/knowledge_base/kb_service/base.py
#	server/knowledge_base/migrate.py
 2023-11-25 21:02:46 +08:00
hzg0601 08530edb3d add some comment 2023-11-25 19:56:36 +08:00
Zhi-guo Huang 92dcb11b26
Merge pull request #2173 from chatchat-space/hzg0601-patch-4 
Update startup.py
 2023-11-25 19:45:13 +08:00
Zhi-guo Huang abb32722fe
Update startup.py 
修复vllm=0.2.2版本中vllm_worker启动失败的bug
 2023-11-25 19:44:33 +08:00
Zhi-guo Huang 717355bf1e
Merge pull request #2171 from chatchat-space/hzg0601-patch-3 
Update server_config.py.example
 2023-11-25 19:41:37 +08:00
Zhi-guo Huang a83e03011d
Update server_config.py.example 
针对fschat=0.2.33关于vllm启动的bug给出修补方案
 2023-11-25 19:41:21 +08:00
Zhi-guo Huang f9f16edd13
Update startup.py 
解决vllm在0.2.2版本启动的bug
 2023-11-25 19:38:18 +08:00
Zhi-guo Huang 63bdca1343
Merge pull request #2170 from chatchat-space/hzg0601-patch-2 
Update requirements.txt
 2023-11-25 19:35:11 +08:00
Zhi-guo Huang 3c4d4a5345
Update requirements.txt 
针对win上的reqirements某些包的安装安装增说明
 2023-11-25 19:34:57 +08:00
liunux4odoo 1de4258aa0
给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。 (#2169) 
* 给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。
/chat/chat 接口 conversation_id参数改为默认 ""，避免 swagger 页面默认值错误导致历史消息失效

* 修复在线模型一些bug
 2023-11-25 13:51:07 +08:00
zR 1b0cf67a57
支持软连接的知识库 (#2167) 
* GLM3支持传入提示词

支持传入提示词的Agent ChatGLM3-6B

* 软连接处理

1. 有效的软连接处理，参考了 #2125
2. 更新了依赖，现在fschat原生支持GLM3的全功能

* 更新了支持的模型列表和依赖
1. 推荐用户使用GLM3-6B取代2代GLM模型
2. 推荐用户使用性能更强的bge模型
3 推荐使用vllm和torch的最新稳定版本
 2023-11-24 22:47:55 +08:00
Eden dfcebf7bc3
支持昆仑万维天工大模型 (#2166) 
---------

Co-authored-by: Eden <chuangqi.huang@ubtrobot.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-24 22:25:35 +08:00
Zhi-guo Huang 3839c212db
Merge pull request #2162 from chatchat-space/hzg0601-patch-1 
Update startup.py
 2023-11-24 17:03:19 +08:00
Zhi-guo Huang 1d3a69ff86
Update startup.py 
解决vllm启动worker_id used before assigned的问题
 2023-11-24 17:03:02 +08:00
liunux4odoo 824c29a6d2
将 MiniMax 和 千帆 在线 Embedding 改为 10 个文本一批，防止接口数量限制 (#2161) 2023-11-24 16:42:20 +08:00
qiankunli 76151e884a
feat: add with-history prompt (#2156) 
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
 2023-11-24 10:05:50 +08:00
liunux4odoo 1b9b777eaf 使 MessageModel 中 conversation_id 为非必填项，避免前端请求错误 2023-11-23 21:42:27 +08:00
liunux4odoo aae4144476
数据库和向量库中文档 metadata["source"] 改为相对路径，便于向量库迁移 (#2153) 
修复：
- 上传知识库文件名称包括子目录时，自动创建子目录
 2023-11-23 19:54:00 +08:00
hzg0601 7a85fe74e9 add llm article to kb/smaples 2023-11-23 14:18:00 +08:00
wvivi2023 9ba2120129 enhance 
enhance
 2023-11-23 12:38:31 +08:00
qiankunli 1c97673d41
feat: add db memory (#2046) 
* feat: add db memory
* WEBUI 添加多会话功能

---------

Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-22 18:38:26 +08:00
imClumsyPanda 274e7a9c0a
Update README.md 2023-11-22 15:27:14 +08:00
imClumsyPanda 7eee9212e0
Add files via upload 2023-11-22 15:26:45 +08:00
glide-the 569209289b
Merge pull request #2130 from glide-the/dev 
统一在线模型异常报文、增加详细日志
 2023-11-21 21:48:39 +08:00
glide-the 17c9632942 统一在线模型异常报文、增加详细日志 2023-11-21 21:47:02 +08:00
liunux4odoo 3cf7422c21
修复：知识库json文件的中文被转为unicode码，导致无法匹配 (#2128) 2023-11-21 21:00:46 +08:00
Zhi-guo Huang ce7255dce1
Update model_config.py.example (#2110) 2023-11-20 16:45:55 +08:00
liunux4odoo a9cf191532 update webui: 默认对话模式改为 LLM对话；lite 模式下可选模型列表不显示本地模型 2023-11-20 16:37:20 +08:00
Zhi-guo Huang 700c4ad170
Update requirements.txt 
删除中文以防止win上的安装错误
 2023-11-20 15:57:26 +08:00
Zhi-guo Huang 262c1fc8c3
Update requirements_api.txt 
删除中文以防止win安装错误
 2023-11-20 15:56:51 +08:00
Zhi-guo Huang 33f43f7a96
Update requirements_lite.txt 
删除中文，以防止win设备安装错误
 2023-11-20 15:56:16 +08:00
liunux4odoo 1a291d9db9 add .pdf & .pptx as knowledge test files; update wiki 2023-11-17 14:32:30 +08:00
liunux4odoo ad7a6fd438
开发者： (#2091) 
- 修复列出知识库磁盘文件时跳过临时文件的bug：只有目录被排除了，文件未排除
- 优化知识库文档加载器：
  - 将 elements 模式改为 single 模式，避免文档被切分得太碎
  - 给 get_loader 和 KnowledgeFile 增加 loader_kwargs 参数，可以自定义文档加载器参数
 2023-11-17 11:39:32 +08:00
liunux4odoo 68a544ea33 开发者：XXKBService.get_doc_by_id 改为批量处理，提高访问向量库效率。 2023-11-16 11:09:40 +08:00
imClumsyPanda 4ed8f049ab
Update README.md 2023-11-16 10:20:39 +08:00
imClumsyPanda 51c43122cb
Add files via upload 2023-11-16 10:20:18 +08:00
liunux4odoo fbe214471b
知识库支持 .jsonl, .epub, .xlsx, .xlsd, .ipynb, .odt, .py, .srt, .toml, .doc, .ppt 文件 (#2079) 
* 知识库支持行式 json 文件
如果要使用 json 文件， 需要 `conda install jq`（windows 下 pip install jq 会失败）

开发者：
删除 CustomJsonLoader，使用 langchain 自带的 JsonLoader 处理 json 文件，添加 JsonLinesLoader 处理 jsonl 文件。

* 知识库支持 .epub, .xlsx, .xlsd, .ipynb, .odt, .py, .srt, .toml, .doc, .ppt 文件
为 .eml, .msg, .rst, .rtf, .tsv, .docx, .xml, .pptx 指定专用加载器
 2023-11-16 09:37:09 +08:00
liunux4odoo 3b3d948d27
添加文件对话模式 (#2071) 
开发者：
- 添加 /chat/file_chat, /knowledge_base/upload_temp_docs API 接口
- 添加 CACHED_MEMO_VS_NUM, BASE_TEMP_DIR 配置项
 2023-11-16 07:39:27 +08:00
liunux4odoo 2adfa4277c
在webui模型列表中包括：非model worker启动的在线模型（如openai-api）；已经下载的本地模型 (#2060) 2023-11-14 21:17:32 +08:00
wvivi2023 a59767711b enhance 
split by 1.2 first then split by 1.23
 2023-11-14 18:10:41 +08:00