wvivi2023
c3321a6a34
Merge branch 'master' into branch-0.2.9
2024-01-17 11:05:10 +08:00
wvivi2023
afa07ad208
enhance
2024-01-16 15:37:47 +08:00
wvivi2023
c5d1ff6621
enhance
2024-01-15 09:54:00 +08:00
e55f8cf7a9
Update milvus_kb_service.py
...
修复typo
2024-01-12 16:58:32 +08:00
wvivi2023
314f22886e
enhance tfidf algorithm
2024-01-12 09:22:16 +08:00
3da68b5ce3
删除重复的引入和纠正拼写错误 ( #2599 )
...
* 1.删除重复的引入
2.拼写错误
* 1.参数或者文档拼写错误纠正
2.doc下的faq、install已经删除，更新为ES部署指南，考虑到doc下的文档经常更新，即使扫描doc文件夹，也可能为空的情况，readme.md大概率不会删除。
2024-01-11 18:45:09 +08:00
b653c25fbc
Fix device detection and fallback logic and add 'xpu' ( #2570 )
...
Co-authored-by: zR <2448370773@qq.com>
2024-01-11 18:36:38 +08:00
e7bba6bd0a
fix: automatically replace unsupported torch device ( #2514 )
2024-01-11 18:16:31 +08:00
wvivi2023
0c0c87a3fb
use streamingresponse to return
2024-01-11 09:06:27 +08:00
wvivi2023
565a94c1bb
customize word loader
2024-01-10 10:45:47 +08:00
448c99f969
fix: 过滤 sse_starlette 返回的 ping 包，避免 `JSON Decoder error : ping -...` ( #2585 )
2024-01-09 09:14:29 +08:00
wvivi2023
9d8ee7717c
不显示split.txt 和 source.txt
2024-01-08 14:53:13 +08:00
17e8bc072b
fix: make_text_splitter use wrong chunk_* parameters when exception. ( close #2561 ) ( #2564 )
2024-01-05 15:06:59 +08:00
wvivi2023
9fc4793b79
enahnce
2024-01-05 09:58:29 +08:00
wvivi2023
3593e6ca2c
update
2024-01-04 18:02:43 +08:00
wvivi2023
df348e96a5
add log
2024-01-02 15:22:35 +08:00
wvivi2023
7b7a180323
merge 0.2.6
...
merge 0.2.6
2024-01-02 10:10:41 +08:00
719e2713ed
fix typos
2023-12-31 20:13:14 +08:00
c179230ce0
remove /chat/fastchat API endpoint ( #2506 )
2023-12-29 09:44:37 +08:00
5cccd5e7aa
merge from master
2023-12-29 09:10:01 +08:00
wvivi2023
5c8610f47f
enhance 3rd catalog content
2023-12-28 10:52:52 +08:00
9ff7bef2c2
新功能：知识库管理界面支持查看、编辑、删除向量库文档 ( #2471 )
...
* 新功能：
- 知识库管理界面支持查看、编辑、删除向量库文档。暂不支持增加（aggrid添加新行比较麻烦，需要另外实现）
- 去除知识库管理界面中重建知识库和删除知识库按钮，建议用户到终端命令操作
修复：
- 所有与知识库名称、文件名称有关的数据库操作函数都改成大小写不敏感，所有路径统一为 posix 风格，避免因路径文本不一致导致数据重复和操作失效 （close #2232）
开发者：
- 添加 update_docs_by_id 函数与 API 接口。当前仅支持 FAISS，暂时未用到，未将来对知识库做更细致的修改做准备
- 统一 DocumentWithScore 与 DocumentWithVsId
- FAISS 返回的 Document.metadata 中包含 ID， 方便后续查找比对
- /knowledge_base/search_docs 接口支持 file_name, metadata 参数，可以据此检索文档
* fix bug
2023-12-26 13:44:36 +08:00
2e1442a5c1
修复 Langchain 更新之后OpenAI在线embed无法正常使用问题
2023-12-23 11:36:11 +08:00
4e5bc8b399
修复： zhipu-api 请求出错时返回准确的错误信息
2023-12-22 10:17:00 +08:00
129c765a74
新增特性:reranker对向量召回文本进行重排
2023-12-21 19:05:11 +08:00
5891f94c88
temporarily add reranker
2023-12-21 16:05:16 +08:00
c1a32d9f1a
fix:使用在线embedding模型时 报错 There is no current event loop in thread 'Any… ( #2393 )
...
* fix:使用在线embedding模型时 报错 There is no current event loop in thread 'AnyIO worker thread'
* 动态配置在线embbding模型
---------
Co-authored-by: fangkeke <3339698829@qq.com>
2023-12-20 08:40:53 +08:00
wvivi2023
77bc5891c8
manually split
2023-12-15 08:59:13 +08:00
7e01e82470
fixed 迭代器参数传递错误，知识库问答报错TypeError: unhashable type: 'list' ( #2383 )
...
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
2023-12-15 07:54:36 +08:00
7e8391eb55
修复knowledge_base_chat_iterator传参错误 ( #2386 )
2023-12-15 07:53:36 +08:00
332e1ccfaa
更新self.dims_length赋值错误 ( #2380 )
2023-12-14 19:56:39 +08:00
wvivi2023
bf21b8f116
merge single line to the next content
2023-12-13 18:06:49 +08:00
472a97a616
所有 chat 接口都改为 EventSourceResponse；ApiRequest 作对应修改
2023-12-13 16:53:24 +08:00
c8fef3380c
merge from dev
2023-12-13 16:52:40 +08:00
db008c1af8
为milvus增加额外索引与搜索配置
2023-12-13 15:52:11 +08:00
wvivi2023
8c367eb460
add log
2023-12-13 09:51:59 +08:00
wvivi2023
9fa7a1fbbf
title enhancement and remove the logic of query scope
2023-12-13 09:51:17 +08:00
2604c9e761
fix: prompt template name error in file_chat ( #2366 )
2023-12-12 21:12:33 +08:00
db1c1e2ee4
解决多次调用es创建索引失败的问题
2023-12-11 10:39:59 +08:00
2e9319846e
support .xls files
2023-12-08 15:04:08 +08:00
7b70776810
fix: doc ext name error in LOADER_DICT
2023-12-08 13:59:55 +08:00
wvivi2023
b1abafeb50
commit 0.2.6 config
2023-12-07 14:37:55 +08:00
4c2fda7200
Merge branch 'dev' of https://github.com/chatchat-space/Langchain-Chatchat into dev
2023-12-06 20:42:32 +08:00
d1f94c2846
temporarily add reranker
2023-12-06 20:42:27 +08:00
1fac51fe35
temporarily save faiss_cache
2023-12-06 09:45:56 +00:00
wvivi2023
c936f040e4
优化第一级目录分款
2023-12-05 16:51:45 +08:00
67b7c99d03
ocr 支持 GPU 加速（需要手动安装 rapidocr_paddle[gpu])；知识库支持 MHTML 和 Evernote 文件。 ( #2265 )
...
在 requirements 和 Wiki 中增加对可选文档加载器 SDK 的说明 ( close #2264 )
2023-12-04 09:39:56 +08:00
7d2de47bcf
文件对话和知识库对话 API 接口实现全异步操作，防止阻塞 ( #2256 )
...
* EmbeddingFunAdapter 支持异步操作；文件对话和知识库对话 API 接口实现全异步操作，防止阻塞
* 修复： 使 list_files_from_folder 返回相对路径
2023-12-02 19:22:44 +08:00
dcb76984bc
修复Azure 不设置Max token的bug ( #2254 )
2023-12-02 16:50:56 +08:00
4fa28c71b1
修复：chat 接口默认使用 memory获取10条历史消息，导致最终拼接的prompt出错 ( #2247 )
...
修改后默认使用用户传入的history，只有同时传入conversation_id和history_len时才从数据库读取历史消息
使用memory还有一个问题，对话角色是固定的，不能适配不同的模型。
其它：注释一些无用的 print
2023-12-01 11:35:43 +08:00
wvivi2023
Zhi-guo Huang
天地
chatgpt-bot
高厉害
liunux4odoo
imClumsyPanda
liunux4odoo
zR
Funkeke
Astlvk
xldistance