weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,747 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

211 Commits

Author SHA1 Message Date
wvivi2023 0814d5e4ea fix minor typo 2024-03-21 15:20:26 +08:00
wvivi2023 319475e0f6 编辑分块功能 2024-03-21 11:11:34 +08:00
wvivi2023 6b82620033 fix minor typo 2024-03-13 16:10:23 +08:00
wvivi2023 ca9b09549f 将语义检索和词汇检索相结合提高检索准确性 2024-03-12 18:24:10 +08:00
wvivi2023 26f3f364d7 完善文档查询接口 2024-03-07 14:29:08 +08:00
wvivi2023 53fb9f6319 修复es重复入库的问题和文档分块字符串计算包括空格和换行符的问题 2024-03-06 14:50:45 +08:00
wvivi2023 df993defcc fix faiss vector error 2024-03-01 14:04:27 +08:00
wvivi2023 bac5b22879 title enhancement 2024-02-28 16:40:45 +08:00
wvivi2023 d123ad7c29 增加对四级目录的支持和其他支持目录的标题增强 2024-02-27 17:24:04 +08:00
wvivi2023 7f8855afe0 add a new api to search content by keyword for es 2024-02-27 11:05:55 +08:00
wvivi2023 5b211fc44d Merge branch 'master' into branch-0.2.9 2024-01-26 18:08:14 +08:00
wvivi2023 1d12f84310 fix the issue doc file can't be loaded 2024-01-26 14:18:57 +08:00
liunux4odoo 9c525b7fa5
publish 0.2.10 (#2797) 
新功能：
- 优化 PDF 文件的 OCR，过滤无意义的小图片 by @liunux4odoo #2525
- 支持 Gemini 在线模型 by @yhfgyyf #2630
- 支持 GLM4 在线模型 by @zRzRzRzRzRzRzR
- elasticsearch更新https连接 by @xldistance #2390
- 增强对PPT、DOC知识库文件的OCR识别 by @596192804 #2013
- 更新 Agent 对话功能 by @zRzRzRzRzRzRzR
- 每次创建对象时从连接池获取连接，避免每次执行方法时都新建连接 by @Lijia0 #2480
- 实现 ChatOpenAI 判断token有没有超过模型的context上下文长度 by @glide-the
- 更新运行数据库报错和项目里程碑 by @zRzRzRzRzRzRzR #2659
- 更新配置文件/文档/依赖 by @imClumsyPanda @zRzRzRzRzRzRzR
- 添加日文版 readme by @eltociear #2787

修复：
- langchain 更新后，PGVector 向量库连接错误 by @HALIndex #2591
- Minimax's model worker 错误 by @xyhshen 
- ES库无法向量检索.添加mappings创建向量索引 by MSZheng20 #2688
 2024-01-26 06:58:49 +08:00
wvivi2023 99969ef1e3 一级目录加强 2024-01-19 15:54:26 +08:00
wvivi2023 c3321a6a34 Merge branch 'master' into branch-0.2.9 2024-01-17 11:05:10 +08:00
wvivi2023 c5d1ff6621 enhance 2024-01-15 09:54:00 +08:00
Zhi-guo Huang e55f8cf7a9
Update milvus_kb_service.py 
修复typo
 2024-01-12 16:58:32 +08:00
wvivi2023 314f22886e enhance tfidf algorithm 2024-01-12 09:22:16 +08:00
天地 3da68b5ce3
删除重复的引入和纠正拼写错误 (#2599) 
* 1.删除重复的引入
2.拼写错误

* 1.参数或者文档拼写错误纠正
2.doc下的faq、install已经删除，更新为ES部署指南，考虑到doc下的文档经常更新，即使扫描doc文件夹，也可能为空的情况，readme.md大概率不会删除。
 2024-01-11 18:45:09 +08:00
wvivi2023 565a94c1bb customize word loader 2024-01-10 10:45:47 +08:00
wvivi2023 9d8ee7717c 不显示split.txt 和 source.txt 2024-01-08 14:53:13 +08:00
liunux4odoo 17e8bc072b
fix: make_text_splitter use wrong chunk_* parameters when exception. (close #2561) (#2564) 2024-01-05 15:06:59 +08:00
wvivi2023 9fc4793b79 enahnce 2024-01-05 09:58:29 +08:00
wvivi2023 3593e6ca2c update 2024-01-04 18:02:43 +08:00
wvivi2023 df348e96a5 add log 2024-01-02 15:22:35 +08:00
wvivi2023 7b7a180323 merge 0.2.6 
merge 0.2.6
 2024-01-02 10:10:41 +08:00
wvivi2023 5c8610f47f enhance 3rd catalog content 2023-12-28 10:52:52 +08:00
liunux4odoo 9ff7bef2c2
新功能：知识库管理界面支持查看、编辑、删除向量库文档 (#2471) 
* 新功能：
- 知识库管理界面支持查看、编辑、删除向量库文档。暂不支持增加（aggrid添加新行比较麻烦，需要另外实现）
- 去除知识库管理界面中重建知识库和删除知识库按钮，建议用户到终端命令操作

修复：
- 所有与知识库名称、文件名称有关的数据库操作函数都改成大小写不敏感，所有路径统一为 posix 风格，避免因路径文本不一致导致数据重复和操作失效 （close #2232）

开发者：
- 添加 update_docs_by_id 函数与 API 接口。当前仅支持 FAISS，暂时未用到，未将来对知识库做更细致的修改做准备
- 统一 DocumentWithScore 与 DocumentWithVsId
- FAISS 返回的 Document.metadata 中包含 ID， 方便后续查找比对
- /knowledge_base/search_docs 接口支持 file_name, metadata 参数，可以据此检索文档

* fix bug
 2023-12-26 13:44:36 +08:00
zR 2e1442a5c1 修复 Langchain 更新之后OpenAI在线embed无法正常使用问题 2023-12-23 11:36:11 +08:00
xldistance 332e1ccfaa
更新self.dims_length赋值错误 (#2380) 2023-12-14 19:56:39 +08:00
wvivi2023 bf21b8f116 merge single line to the next content 2023-12-13 18:06:49 +08:00
liunux4odoo 472a97a616 所有 chat 接口都改为 EventSourceResponse；ApiRequest 作对应修改 2023-12-13 16:53:24 +08:00
hzg0601 db008c1af8 为milvus增加额外索引与搜索配置 2023-12-13 15:52:11 +08:00
wvivi2023 8c367eb460 add log 2023-12-13 09:51:59 +08:00
wvivi2023 9fa7a1fbbf title enhancement and remove the logic of query scope 2023-12-13 09:51:17 +08:00
hzg0601 db1c1e2ee4 解决多次调用es创建索引失败的问题 2023-12-11 10:39:59 +08:00
liunux4odoo 2e9319846e support .xls files 2023-12-08 15:04:08 +08:00
liunux4odoo 7b70776810 fix: doc ext name error in LOADER_DICT 2023-12-08 13:59:55 +08:00
wvivi2023 b1abafeb50 commit 0.2.6 config 2023-12-07 14:37:55 +08:00
hzg0601 1fac51fe35 temporarily save faiss_cache 2023-12-06 09:45:56 +00:00
wvivi2023 c936f040e4 优化第一级目录分款 2023-12-05 16:51:45 +08:00
liunux4odoo 67b7c99d03
ocr 支持 GPU 加速（需要手动安装 rapidocr_paddle[gpu])；知识库支持 MHTML 和 Evernote 文件。 (#2265) 
在 requirements 和 Wiki 中增加对可选文档加载器 SDK 的说明 ( close #2264 )
 2023-12-04 09:39:56 +08:00
liunux4odoo 7d2de47bcf
文件对话和知识库对话 API 接口实现全异步操作，防止阻塞 (#2256) 
* EmbeddingFunAdapter 支持异步操作；文件对话和知识库对话 API 接口实现全异步操作，防止阻塞

* 修复： 使 list_files_from_folder 返回相对路径
 2023-12-02 19:22:44 +08:00
wvivi2023 dce1d16e29 enhance splitter 
enhance splitter
 2023-11-29 13:25:44 +08:00
liunux4odoo 509dee0425 fix: empty docs error in KnowledgeFile 2023-11-29 11:33:43 +08:00
glide-the 279ffdf117 单个知识库根据doc_ids摘要 2023-11-25 23:31:13 +08:00
glide-the 248db46187 Merge branch 'dev_summary' into dev_command_summary 
实现summary_chunk 文档分段总结业务实现
使用 MapReduceDocumentsChain 生成摘要
# Conflicts:
#	server/api.py
#	server/knowledge_base/kb_doc_api.py
#	server/knowledge_base/kb_service/base.py
#	server/knowledge_base/migrate.py
 2023-11-25 22:30:41 +08:00
glide-the f57837c07a Merge branch 'dev_summary' into dev_tmp 
# Conflicts:
#	server/api.py
#	server/knowledge_base/kb_doc_api.py
#	server/knowledge_base/kb_service/base.py
#	server/knowledge_base/migrate.py
 2023-11-25 21:02:46 +08:00
zR 1b0cf67a57
支持软连接的知识库 (#2167) 
* GLM3支持传入提示词

支持传入提示词的Agent ChatGLM3-6B

* 软连接处理

1. 有效的软连接处理，参考了 #2125
2. 更新了依赖，现在fschat原生支持GLM3的全功能

* 更新了支持的模型列表和依赖
1. 推荐用户使用GLM3-6B取代2代GLM模型
2. 推荐用户使用性能更强的bge模型
3 推荐使用vllm和torch的最新稳定版本
 2023-11-24 22:47:55 +08:00
liunux4odoo aae4144476
数据库和向量库中文档 metadata["source"] 改为相对路径，便于向量库迁移 (#2153) 
修复：
- 上传知识库文件名称包括子目录时，自动创建子目录
 2023-11-23 19:54:00 +08:00