wvivi2023
c5edea9522
enhance log
2024-04-03 11:03:27 +08:00
wvivi2023
cc706ce7ef
enhance log
2024-04-02 10:32:34 +08:00
wvivi2023
6ed7002758
fix the issue uploadding file and embedding take too long time
2024-04-01 13:54:24 +08:00
wvivi2023
df219c6ae6
fix download original issue when chating
2024-03-28 10:55:52 +08:00
wvivi2023
0814d5e4ea
fix minor typo
2024-03-21 15:20:26 +08:00
wvivi2023
319475e0f6
编辑分块功能
2024-03-21 11:11:34 +08:00
wvivi2023
6b82620033
fix minor typo
2024-03-13 16:10:23 +08:00
wvivi2023
ca9b09549f
将语义检索和词汇检索相结合提高检索准确性
2024-03-12 18:24:10 +08:00
wvivi2023
26f3f364d7
完善文档查询接口
2024-03-07 14:29:08 +08:00
wvivi2023
53fb9f6319
修复es重复入库的问题和文档分块字符串计算包括空格和换行符的问题
2024-03-06 14:50:45 +08:00
wvivi2023
df993defcc
fix faiss vector error
2024-03-01 14:04:27 +08:00
wvivi2023
bac5b22879
title enhancement
2024-02-28 16:40:45 +08:00
wvivi2023
d123ad7c29
增加对四级目录的支持和其他支持目录的标题增强
2024-02-27 17:24:04 +08:00
wvivi2023
7f8855afe0
add a new api to search content by keyword for es
2024-02-27 11:05:55 +08:00
wvivi2023
4acc5e7ad9
modify logo
...
modify logo
2024-02-19 09:49:44 +08:00
wvivi2023
5b211fc44d
Merge branch 'master' into branch-0.2.9
2024-01-26 18:08:14 +08:00
wvivi2023
5a9c25d010
roll back the last commit
2024-01-26 14:32:17 +08:00
wvivi2023
1d12f84310
fix the issue doc file can't be loaded
2024-01-26 14:18:57 +08:00
9c525b7fa5
publish 0.2.10 ( #2797 )
...
新功能：
- 优化 PDF 文件的 OCR，过滤无意义的小图片 by @liunux4odoo #2525
- 支持 Gemini 在线模型 by @yhfgyyf #2630
- 支持 GLM4 在线模型 by @zRzRzRzRzRzRzR
- elasticsearch更新https连接 by @xldistance #2390
- 增强对PPT、DOC知识库文件的OCR识别 by @596192804 #2013
- 更新 Agent 对话功能 by @zRzRzRzRzRzRzR
- 每次创建对象时从连接池获取连接，避免每次执行方法时都新建连接 by @Lijia0 #2480
- 实现 ChatOpenAI 判断token有没有超过模型的context上下文长度 by @glide-the
- 更新运行数据库报错和项目里程碑 by @zRzRzRzRzRzRzR #2659
- 更新配置文件/文档/依赖 by @imClumsyPanda @zRzRzRzRzRzRzR
- 添加日文版 readme by @eltociear #2787
修复：
- langchain 更新后，PGVector 向量库连接错误 by @HALIndex #2591
- Minimax's model worker 错误 by @xyhshen
- ES库无法向量检索.添加mappings创建向量索引 by MSZheng20 #2688
2024-01-26 06:58:49 +08:00
wvivi2023
99969ef1e3
一级目录加强
2024-01-19 15:54:26 +08:00
wvivi2023
c3321a6a34
Merge branch 'master' into branch-0.2.9
2024-01-17 11:05:10 +08:00
wvivi2023
afa07ad208
enhance
2024-01-16 15:37:47 +08:00
wvivi2023
c5d1ff6621
enhance
2024-01-15 09:54:00 +08:00
e55f8cf7a9
Update milvus_kb_service.py
...
修复typo
2024-01-12 16:58:32 +08:00
wvivi2023
314f22886e
enhance tfidf algorithm
2024-01-12 09:22:16 +08:00
3da68b5ce3
删除重复的引入和纠正拼写错误 ( #2599 )
...
* 1.删除重复的引入
2.拼写错误
* 1.参数或者文档拼写错误纠正
2.doc下的faq、install已经删除，更新为ES部署指南，考虑到doc下的文档经常更新，即使扫描doc文件夹，也可能为空的情况，readme.md大概率不会删除。
2024-01-11 18:45:09 +08:00
b653c25fbc
Fix device detection and fallback logic and add 'xpu' ( #2570 )
...
Co-authored-by: zR <2448370773@qq.com>
2024-01-11 18:36:38 +08:00
e7bba6bd0a
fix: automatically replace unsupported torch device ( #2514 )
2024-01-11 18:16:31 +08:00
wvivi2023
0c0c87a3fb
use streamingresponse to return
2024-01-11 09:06:27 +08:00
wvivi2023
565a94c1bb
customize word loader
2024-01-10 10:45:47 +08:00
448c99f969
fix: 过滤 sse_starlette 返回的 ping 包，避免 `JSON Decoder error : ping -...` ( #2585 )
2024-01-09 09:14:29 +08:00
wvivi2023
9d8ee7717c
不显示split.txt 和 source.txt
2024-01-08 14:53:13 +08:00
17e8bc072b
fix: make_text_splitter use wrong chunk_* parameters when exception. ( close #2561 ) ( #2564 )
2024-01-05 15:06:59 +08:00
wvivi2023
9fc4793b79
enahnce
2024-01-05 09:58:29 +08:00
wvivi2023
3593e6ca2c
update
2024-01-04 18:02:43 +08:00
wvivi2023
df348e96a5
add log
2024-01-02 15:22:35 +08:00
wvivi2023
7b7a180323
merge 0.2.6
...
merge 0.2.6
2024-01-02 10:10:41 +08:00
719e2713ed
fix typos
2023-12-31 20:13:14 +08:00
c179230ce0
remove /chat/fastchat API endpoint ( #2506 )
2023-12-29 09:44:37 +08:00
5cccd5e7aa
merge from master
2023-12-29 09:10:01 +08:00
wvivi2023
5c8610f47f
enhance 3rd catalog content
2023-12-28 10:52:52 +08:00
9ff7bef2c2
新功能：知识库管理界面支持查看、编辑、删除向量库文档 ( #2471 )
...
* 新功能：
- 知识库管理界面支持查看、编辑、删除向量库文档。暂不支持增加（aggrid添加新行比较麻烦，需要另外实现）
- 去除知识库管理界面中重建知识库和删除知识库按钮，建议用户到终端命令操作
修复：
- 所有与知识库名称、文件名称有关的数据库操作函数都改成大小写不敏感，所有路径统一为 posix 风格，避免因路径文本不一致导致数据重复和操作失效 （close #2232）
开发者：
- 添加 update_docs_by_id 函数与 API 接口。当前仅支持 FAISS，暂时未用到，未将来对知识库做更细致的修改做准备
- 统一 DocumentWithScore 与 DocumentWithVsId
- FAISS 返回的 Document.metadata 中包含 ID， 方便后续查找比对
- /knowledge_base/search_docs 接口支持 file_name, metadata 参数，可以据此检索文档
* fix bug
2023-12-26 13:44:36 +08:00
2e1442a5c1
修复 Langchain 更新之后OpenAI在线embed无法正常使用问题
2023-12-23 11:36:11 +08:00
4e5bc8b399
修复： zhipu-api 请求出错时返回准确的错误信息
2023-12-22 10:17:00 +08:00
129c765a74
新增特性:reranker对向量召回文本进行重排
2023-12-21 19:05:11 +08:00
5891f94c88
temporarily add reranker
2023-12-21 16:05:16 +08:00
c1a32d9f1a
fix:使用在线embedding模型时 报错 There is no current event loop in thread 'Any… ( #2393 )
...
* fix:使用在线embedding模型时 报错 There is no current event loop in thread 'AnyIO worker thread'
* 动态配置在线embbding模型
---------
Co-authored-by: fangkeke <3339698829@qq.com>
2023-12-20 08:40:53 +08:00
wvivi2023
77bc5891c8
manually split
2023-12-15 08:59:13 +08:00
7e01e82470
fixed 迭代器参数传递错误，知识库问答报错TypeError: unhashable type: 'list' ( #2383 )
...
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
2023-12-15 07:54:36 +08:00
7e8391eb55
修复knowledge_base_chat_iterator传参错误 ( #2386 )
2023-12-15 07:53:36 +08:00
wvivi2023
liunux4odoo
Zhi-guo Huang
天地
chatgpt-bot
高厉害
imClumsyPanda
liunux4odoo
zR
Funkeke
Astlvk
xldistance