wvivi2023
7b7a180323
merge 0.2.6
...
merge 0.2.6
2024-01-02 10:10:41 +08:00
3c33ca7b89
Release v0.2.9
2023-12-31 20:15:35 +08:00
719e2713ed
fix typos
2023-12-31 20:13:14 +08:00
5cccd5e7aa
merge from master
2023-12-29 09:10:01 +08:00
1f3a32ebaf
fix Yi-34b model config error( close #2491 ) ( #2492 )
2023-12-28 07:57:25 +08:00
4e5bc8b399
修复： zhipu-api 请求出错时返回准确的错误信息
2023-12-22 10:17:00 +08:00
129c765a74
新增特性:reranker对向量召回文本进行重排
2023-12-21 19:05:11 +08:00
5891f94c88
temporarily add reranker
2023-12-21 16:05:16 +08:00
60510ff2f0
Update model_config.py.example
2023-12-20 13:33:00 +08:00
c1a32d9f1a
fix:使用在线embedding模型时 报错 There is no current event loop in thread 'Any… ( #2393 )
...
* fix:使用在线embedding模型时 报错 There is no current event loop in thread 'AnyIO worker thread'
* 动态配置在线embbding模型
---------
Co-authored-by: fangkeke <3339698829@qq.com>
2023-12-20 08:40:53 +08:00
a870076051
在model_config.py.example中增加qwen量化模型启动的说明
2023-12-15 14:23:34 +08:00
472a97a616
所有 chat 接口都改为 EventSourceResponse；ApiRequest 作对应修改
2023-12-13 16:53:24 +08:00
95c09981a6
给出chatglm3-6b输出角色标签<|user|>等及自问自答的解决方案
2023-12-11 11:22:39 +08:00
wvivi2023
b1abafeb50
commit 0.2.6 config
2023-12-07 14:37:55 +08:00
ad0b133ac8
解决faiss相似度阈值不在0-1之间的问题
2023-12-06 21:57:59 +08:00
dcb76984bc
修复Azure 不设置Max token的bug ( #2254 )
2023-12-02 16:50:56 +08:00
6558647b65
update version
2023-12-01 21:55:35 +08:00
f9348326f5
update config template
2023-12-01 21:54:11 +08:00
0cc1be224d
依赖升级 ( #2246 )
...
大量依赖升级到最新版
测试环境：Ubuntu 22.04 LTS kernel 6.6.3 Python 3.10.12，Cuda12.3 update1
2023-12-01 11:34:41 +08:00
c34b4136c0
update file format
2023-11-30 23:33:48 +08:00
f2d917d1e4
update config templates
2023-11-30 23:26:15 +08:00
89b07ba55d
update config templates
2023-11-30 23:20:39 +08:00
8b70b1db7e
一些细节更新 ( #2235 )
...
* 更新Langchain依赖到0.0.342以上版本
* 更改了一些提示词和依赖，修改了openai异常的问题
* 注释data的打印日志
* 增加Qwen新模型的支持
2023-11-30 17:25:48 +08:00
40918c21de
bug修复和提示词修改 ( #2230 )
...
* 更新Langchain依赖到0.0.343以上版本
* 更改了一些提示词和依赖，修改了openai异常的问题
* 注释data的打印日志
2023-11-30 12:09:53 +08:00
08530edb3d
add some comment
2023-11-25 19:56:36 +08:00
1b0cf67a57
支持软连接的知识库 ( #2167 )
...
* GLM3支持传入提示词
支持传入提示词的Agent ChatGLM3-6B
* 软连接处理
1. 有效的软连接处理，参考了 #2125
2. 更新了依赖，现在fschat原生支持GLM3的全功能
* 更新了支持的模型列表和依赖
1. 推荐用户使用GLM3-6B取代2代GLM模型
2. 推荐用户使用性能更强的bge模型
3 推荐使用vllm和torch的最新稳定版本
2023-11-24 22:47:55 +08:00
dfcebf7bc3
支持昆仑万维天工大模型 ( #2166 )
...
---------
Co-authored-by: Eden <chuangqi.huang@ubtrobot.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
2023-11-24 22:25:35 +08:00
824c29a6d2
将 MiniMax 和 千帆 在线 Embedding 改为 10 个文本一批，防止接口数量限制 ( #2161 )
2023-11-24 16:42:20 +08:00
76151e884a
feat: add with-history prompt ( #2156 )
...
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
2023-11-24 10:05:50 +08:00
aae4144476
数据库和向量库中文档 metadata["source"] 改为相对路径，便于向量库迁移 ( #2153 )
...
修复：
- 上传知识库文件名称包括子目录时，自动创建子目录
2023-11-23 19:54:00 +08:00
1c97673d41
feat: add db memory ( #2046 )
...
* feat: add db memory
* WEBUI 添加多会话功能
---------
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
2023-11-22 18:38:26 +08:00
3b3d948d27
添加文件对话模式 ( #2071 )
...
开发者：
- 添加 /chat/file_chat, /knowledge_base/upload_temp_docs API 接口
- 添加 CACHED_MEMO_VS_NUM, BASE_TEMP_DIR 配置项
2023-11-16 07:39:27 +08:00
21b079d751
GLM3支持传入提示词 ( #2058 )
...
支持传入提示词的Agent ChatGLM3-6B
2023-11-14 17:45:22 +08:00
94d4304638
更新了chatglm3 6b agent的文档，提示词 ( #2041 )
...
更新了chatglm3 6b agent的文档，提示词
修复代理no_proxy格式问题 #1838 的问题，感谢多次复现和验证
修改了pg清理知识库后还会引用之前知识库的问题
2023-11-13 16:30:09 +08:00
91ff0574df
支持ChatGLM3-6B ( #2021 )
...
* 更新依赖和配置文件中的Agent模型
* 支持基础的glm3_agent
2023-11-12 16:45:50 +08:00
3462d06759
update model_config.py.example
2023-11-10 19:40:55 +08:00
5e9acfd633
update model_config.py.example
2023-11-10 16:35:42 +08:00
9a741fd14d
update model_config.py.example
2023-11-10 16:34:13 +08:00
c1440c2609
增加ElasticSearch支持
2023-11-10 16:04:41 +08:00
b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 ( #2002 )
...
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库
依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误
修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
2023-11-09 22:15:52 +08:00
3952fbd464
更新依赖和配置文件中的Agent模型 ( #1984 )
2023-11-07 13:52:47 +08:00
051a2e97dc
add support for Zhipu-api "chatglm-turbo"
2023-11-06 22:38:05 +08:00
ed2122a8f6
fix bug in basic_config.py.example
2023-11-06 21:49:05 +08:00
wvivi2023
526c4b52a8
search related doc title before similarity search
...
search related doc title before similarity search
2023-11-06 08:57:58 +08:00
a938b67163
reformat config files
2023-11-05 11:17:09 +08:00
57612d5232
修复一些bug ( #1965 )
...
* 修改一些bug
* 更新掉了一部分之前的bug
2023-11-03 18:56:27 +08:00
fa906b33a8
添加对话评分与历史消息保存功能 ( #1940 )
...
* 新功能：
- WEBUI 添加对话评分功能
- 增加 /chat/feedback 接口，用于接收对话评分
- /chat/chat 接口返回值由 str 改为 {"text":str, "chat_history_id": str}
- init_database.py 添加 --create-tables --clear-tables 参数
依赖：
- streamlit-chatbox==1.1.11
开发者：
- ChatHistoryModel 的 id 字段支持自动生成
- SAVE_CHAT_HISTORY 改到 basic_config.py
* 修复：点击反馈后页面未刷新
---------
Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
2023-11-03 11:31:45 +08:00
bb72d9ac26
支持GLM ( #1896 )
...
* 支持glm3
2023-10-27 17:56:27 +08:00
f19211b1f5
support adding keywords to model tokenizer ( #1622 )
...
* support adding keywords to model tokenizer
* add keyword_preprocess.py usage doc
* init new token with good weights
---------
Co-authored-by: Charles Ju <charlesyju@gmail.com>
2023-10-27 13:57:14 +08:00
dea468ab0f
Dev ( #1892 )
...
* 支持了agentlm
* 支持了agentlm和相关提示词
* 修改了Agent的一些功能，加入了Embed方面的一个优化
* 修改了部分Agent的工具
* 增加一些Langchain的自带工具
* 修复一些兼容性的bug
* 恢复知识库
* 恢复知识库
* 1
* 修复Azure问题
* 修复zilliz的问题
* 修复Agent历史记录问题，优化知识库问答搜索的uoji
* 修复讯飞大模型token问题
* 修复讯飞大模型token问题和配置文件
---------
Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-27 13:14:48 +08:00
wvivi2023
imClumsyPanda
liunux4odoo
liunux4odoo
hzg0601
Funkeke
zR
Eden
qiankunli
charlesyju