wvivi2023
afa07ad208
enhance
2024-01-16 15:37:47 +08:00
wvivi2023
c5d1ff6621
enhance
2024-01-15 09:54:00 +08:00
wvivi2023
314f22886e
enhance tfidf algorithm
2024-01-12 09:22:16 +08:00
wvivi2023
0c0c87a3fb
use streamingresponse to return
2024-01-11 09:06:27 +08:00
wvivi2023
565a94c1bb
customize word loader
2024-01-10 10:45:47 +08:00
wvivi2023
9d8ee7717c
不显示split.txt 和 source.txt
2024-01-08 14:53:13 +08:00
wvivi2023
9fc4793b79
enahnce
2024-01-05 09:58:29 +08:00
wvivi2023
3593e6ca2c
update
2024-01-04 18:02:43 +08:00
wvivi2023
df348e96a5
add log
2024-01-02 15:22:35 +08:00
wvivi2023
7b7a180323
merge 0.2.6
...
merge 0.2.6
2024-01-02 10:10:41 +08:00
719e2713ed
fix typos
2023-12-31 20:13:14 +08:00
c179230ce0
remove /chat/fastchat API endpoint ( #2506 )
2023-12-29 09:44:37 +08:00
5cccd5e7aa
merge from master
2023-12-29 09:10:01 +08:00
wvivi2023
5c8610f47f
enhance 3rd catalog content
2023-12-28 10:52:52 +08:00
9ff7bef2c2
新功能：知识库管理界面支持查看、编辑、删除向量库文档 ( #2471 )
...
* 新功能：
- 知识库管理界面支持查看、编辑、删除向量库文档。暂不支持增加（aggrid添加新行比较麻烦，需要另外实现）
- 去除知识库管理界面中重建知识库和删除知识库按钮，建议用户到终端命令操作
修复：
- 所有与知识库名称、文件名称有关的数据库操作函数都改成大小写不敏感，所有路径统一为 posix 风格，避免因路径文本不一致导致数据重复和操作失效 （close #2232）
开发者：
- 添加 update_docs_by_id 函数与 API 接口。当前仅支持 FAISS，暂时未用到，未将来对知识库做更细致的修改做准备
- 统一 DocumentWithScore 与 DocumentWithVsId
- FAISS 返回的 Document.metadata 中包含 ID， 方便后续查找比对
- /knowledge_base/search_docs 接口支持 file_name, metadata 参数，可以据此检索文档
* fix bug
2023-12-26 13:44:36 +08:00
2e1442a5c1
修复 Langchain 更新之后OpenAI在线embed无法正常使用问题
2023-12-23 11:36:11 +08:00
4e5bc8b399
修复： zhipu-api 请求出错时返回准确的错误信息
2023-12-22 10:17:00 +08:00
129c765a74
新增特性:reranker对向量召回文本进行重排
2023-12-21 19:05:11 +08:00
5891f94c88
temporarily add reranker
2023-12-21 16:05:16 +08:00
c1a32d9f1a
fix:使用在线embedding模型时 报错 There is no current event loop in thread 'Any… ( #2393 )
...
* fix:使用在线embedding模型时 报错 There is no current event loop in thread 'AnyIO worker thread'
* 动态配置在线embbding模型
---------
Co-authored-by: fangkeke <3339698829@qq.com>
2023-12-20 08:40:53 +08:00
wvivi2023
77bc5891c8
manually split
2023-12-15 08:59:13 +08:00
7e01e82470
fixed 迭代器参数传递错误，知识库问答报错TypeError: unhashable type: 'list' ( #2383 )
...
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
2023-12-15 07:54:36 +08:00
7e8391eb55
修复knowledge_base_chat_iterator传参错误 ( #2386 )
2023-12-15 07:53:36 +08:00
332e1ccfaa
更新self.dims_length赋值错误 ( #2380 )
2023-12-14 19:56:39 +08:00
wvivi2023
bf21b8f116
merge single line to the next content
2023-12-13 18:06:49 +08:00
472a97a616
所有 chat 接口都改为 EventSourceResponse；ApiRequest 作对应修改
2023-12-13 16:53:24 +08:00
c8fef3380c
merge from dev
2023-12-13 16:52:40 +08:00
db008c1af8
为milvus增加额外索引与搜索配置
2023-12-13 15:52:11 +08:00
wvivi2023
8c367eb460
add log
2023-12-13 09:51:59 +08:00
wvivi2023
9fa7a1fbbf
title enhancement and remove the logic of query scope
2023-12-13 09:51:17 +08:00
2604c9e761
fix: prompt template name error in file_chat ( #2366 )
2023-12-12 21:12:33 +08:00
db1c1e2ee4
解决多次调用es创建索引失败的问题
2023-12-11 10:39:59 +08:00
2e9319846e
support .xls files
2023-12-08 15:04:08 +08:00
7b70776810
fix: doc ext name error in LOADER_DICT
2023-12-08 13:59:55 +08:00
wvivi2023
b1abafeb50
commit 0.2.6 config
2023-12-07 14:37:55 +08:00
4c2fda7200
Merge branch 'dev' of https://github.com/chatchat-space/Langchain-Chatchat into dev
2023-12-06 20:42:32 +08:00
d1f94c2846
temporarily add reranker
2023-12-06 20:42:27 +08:00
1fac51fe35
temporarily save faiss_cache
2023-12-06 09:45:56 +00:00
wvivi2023
c936f040e4
优化第一级目录分款
2023-12-05 16:51:45 +08:00
67b7c99d03
ocr 支持 GPU 加速（需要手动安装 rapidocr_paddle[gpu])；知识库支持 MHTML 和 Evernote 文件。 ( #2265 )
...
在 requirements 和 Wiki 中增加对可选文档加载器 SDK 的说明 ( close #2264 )
2023-12-04 09:39:56 +08:00
7d2de47bcf
文件对话和知识库对话 API 接口实现全异步操作，防止阻塞 ( #2256 )
...
* EmbeddingFunAdapter 支持异步操作；文件对话和知识库对话 API 接口实现全异步操作，防止阻塞
* 修复： 使 list_files_from_folder 返回相对路径
2023-12-02 19:22:44 +08:00
dcb76984bc
修复Azure 不设置Max token的bug ( #2254 )
2023-12-02 16:50:56 +08:00
4fa28c71b1
修复：chat 接口默认使用 memory获取10条历史消息，导致最终拼接的prompt出错 ( #2247 )
...
修改后默认使用用户传入的history，只有同时传入conversation_id和history_len时才从数据库读取历史消息
使用memory还有一个问题，对话角色是固定的，不能适配不同的模型。
其它：注释一些无用的 print
2023-12-01 11:35:43 +08:00
0cc1be224d
依赖升级 ( #2246 )
...
大量依赖升级到最新版
测试环境：Ubuntu 22.04 LTS kernel 6.6.3 Python 3.10.12，Cuda12.3 update1
2023-12-01 11:34:41 +08:00
c34b4136c0
update file format
2023-11-30 23:33:48 +08:00
072e0a2a32
update reqs and server/utils
2023-11-30 22:23:15 +08:00
5ac77e5089
修复: MiniMax和千帆在线embedding模型分批请求的bug ( #2208 )
...
* 修复: MiniMax和千帆在线embedding模型分批请求的bug
* 修改了一处typo
2023-11-30 17:28:22 +08:00
40918c21de
bug修复和提示词修改 ( #2230 )
...
* 更新Langchain依赖到0.0.343以上版本
* 更改了一些提示词和依赖，修改了openai异常的问题
* 注释data的打印日志
2023-11-30 12:09:53 +08:00
b7a50daa0f
更新Langchain依赖到0.0.342以上版本 ( #2212 )
2023-11-29 15:08:13 +08:00
wvivi2023
dce1d16e29
enhance splitter
...
enhance splitter
2023-11-29 13:25:44 +08:00
wvivi2023
imClumsyPanda
liunux4odoo
liunux4odoo
zR
hzg0601
Funkeke
Astlvk
xldistance
zty