weiweiw
/
Langchain-Chatchat
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
1,747 Commits 1 Branch 0 Tags 72 MiB
Commit Graph

407 Commits

Author SHA1 Message Date
liunux4odoo c8fef3380c merge from dev 2023-12-13 16:52:40 +08:00
hzg0601 db008c1af8 为milvus增加额外索引与搜索配置 2023-12-13 15:52:11 +08:00
wvivi2023 8c367eb460 add log 2023-12-13 09:51:59 +08:00
wvivi2023 9fa7a1fbbf title enhancement and remove the logic of query scope 2023-12-13 09:51:17 +08:00
liunux4odoo 2604c9e761
fix: prompt template name error in file_chat (#2366) 2023-12-12 21:12:33 +08:00
hzg0601 db1c1e2ee4 解决多次调用es创建索引失败的问题 2023-12-11 10:39:59 +08:00
liunux4odoo 2e9319846e support .xls files 2023-12-08 15:04:08 +08:00
liunux4odoo 7b70776810 fix: doc ext name error in LOADER_DICT 2023-12-08 13:59:55 +08:00
wvivi2023 b1abafeb50 commit 0.2.6 config 2023-12-07 14:37:55 +08:00
hzg0601 4c2fda7200 Merge branch 'dev' of https://github.com/chatchat-space/Langchain-Chatchat into dev 2023-12-06 20:42:32 +08:00
hzg0601 d1f94c2846 temporarily add reranker 2023-12-06 20:42:27 +08:00
hzg0601 1fac51fe35 temporarily save faiss_cache 2023-12-06 09:45:56 +00:00
wvivi2023 c936f040e4 优化第一级目录分款 2023-12-05 16:51:45 +08:00
liunux4odoo 67b7c99d03
ocr 支持 GPU 加速（需要手动安装 rapidocr_paddle[gpu])；知识库支持 MHTML 和 Evernote 文件。 (#2265) 
在 requirements 和 Wiki 中增加对可选文档加载器 SDK 的说明 ( close #2264 )
 2023-12-04 09:39:56 +08:00
liunux4odoo 7d2de47bcf
文件对话和知识库对话 API 接口实现全异步操作，防止阻塞 (#2256) 
* EmbeddingFunAdapter 支持异步操作；文件对话和知识库对话 API 接口实现全异步操作，防止阻塞

* 修复： 使 list_files_from_folder 返回相对路径
 2023-12-02 19:22:44 +08:00
zR dcb76984bc
修复Azure 不设置Max token的bug (#2254) 2023-12-02 16:50:56 +08:00
liunux4odoo 4fa28c71b1
修复：chat 接口默认使用 memory获取10条历史消息，导致最终拼接的prompt出错 (#2247) 
修改后默认使用用户传入的history，只有同时传入conversation_id和history_len时才从数据库读取历史消息
使用memory还有一个问题，对话角色是固定的，不能适配不同的模型。

其它：注释一些无用的 print
 2023-12-01 11:35:43 +08:00
zR 0cc1be224d
依赖升级 (#2246) 
大量依赖升级到最新版
测试环境：Ubuntu 22.04 LTS kernel 6.6.3 Python 3.10.12，Cuda12.3 update1
 2023-12-01 11:34:41 +08:00
imClumsyPanda c34b4136c0 update file format 2023-11-30 23:33:48 +08:00
imClumsyPanda 072e0a2a32 update reqs and server/utils 2023-11-30 22:23:15 +08:00
zty 5ac77e5089
修复: MiniMax和千帆在线embedding模型分批请求的bug (#2208) 
* 修复: MiniMax和千帆在线embedding模型分批请求的bug

* 修改了一处typo
 2023-11-30 17:28:22 +08:00
zR 40918c21de
bug修复和提示词修改 (#2230) 
* 更新Langchain依赖到0.0.343以上版本

* 更改了一些提示词和依赖，修改了openai异常的问题

* 注释data的打印日志
 2023-11-30 12:09:53 +08:00
zR b7a50daa0f
更新Langchain依赖到0.0.342以上版本 (#2212) 2023-11-29 15:08:13 +08:00
wvivi2023 dce1d16e29 enhance splitter 
enhance splitter
 2023-11-29 13:25:44 +08:00
liunux4odoo 509dee0425 fix: empty docs error in KnowledgeFile 2023-11-29 11:33:43 +08:00
liunux4odoo 7d580d9a47 修复：*_chat 接口中重设 max_tokens 时导致 `local variable 'max_tokens' referenced before assignment` 错误 2023-11-28 21:00:00 +08:00
liunux4odoo 8b695dba03 *_chat 接口中，当 max_tokens=0时，将其设为 None,避免 swagger ui 中默认值为0时访问出错 2023-11-26 16:47:58 +08:00
glide-the 279ffdf117 单个知识库根据doc_ids摘要 2023-11-25 23:31:13 +08:00
glide-the 248db46187 Merge branch 'dev_summary' into dev_command_summary 
实现summary_chunk 文档分段总结业务实现
使用 MapReduceDocumentsChain 生成摘要
# Conflicts:
#	server/api.py
#	server/knowledge_base/kb_doc_api.py
#	server/knowledge_base/kb_service/base.py
#	server/knowledge_base/migrate.py
 2023-11-25 22:30:41 +08:00
glide-the f57837c07a Merge branch 'dev_summary' into dev_tmp 
# Conflicts:
#	server/api.py
#	server/knowledge_base/kb_doc_api.py
#	server/knowledge_base/kb_service/base.py
#	server/knowledge_base/migrate.py
 2023-11-25 21:02:46 +08:00
liunux4odoo 1de4258aa0
给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。 (#2169) 
* 给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。
/chat/chat 接口 conversation_id参数改为默认 ""，避免 swagger 页面默认值错误导致历史消息失效

* 修复在线模型一些bug
 2023-11-25 13:51:07 +08:00
zR 1b0cf67a57
支持软连接的知识库 (#2167) 
* GLM3支持传入提示词

支持传入提示词的Agent ChatGLM3-6B

* 软连接处理

1. 有效的软连接处理，参考了 #2125
2. 更新了依赖，现在fschat原生支持GLM3的全功能

* 更新了支持的模型列表和依赖
1. 推荐用户使用GLM3-6B取代2代GLM模型
2. 推荐用户使用性能更强的bge模型
3 推荐使用vllm和torch的最新稳定版本
 2023-11-24 22:47:55 +08:00
Eden dfcebf7bc3
支持昆仑万维天工大模型 (#2166) 
---------

Co-authored-by: Eden <chuangqi.huang@ubtrobot.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-24 22:25:35 +08:00
liunux4odoo 824c29a6d2
将 MiniMax 和 千帆 在线 Embedding 改为 10 个文本一批，防止接口数量限制 (#2161) 2023-11-24 16:42:20 +08:00
liunux4odoo 1b9b777eaf 使 MessageModel 中 conversation_id 为非必填项，避免前端请求错误 2023-11-23 21:42:27 +08:00
liunux4odoo aae4144476
数据库和向量库中文档 metadata["source"] 改为相对路径，便于向量库迁移 (#2153) 
修复：
- 上传知识库文件名称包括子目录时，自动创建子目录
 2023-11-23 19:54:00 +08:00
wvivi2023 9ba2120129 enhance 
enhance
 2023-11-23 12:38:31 +08:00
qiankunli 1c97673d41
feat: add db memory (#2046) 
* feat: add db memory
* WEBUI 添加多会话功能

---------

Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-22 18:38:26 +08:00
glide-the 17c9632942 统一在线模型异常报文、增加详细日志 2023-11-21 21:47:02 +08:00
liunux4odoo 3cf7422c21
修复：知识库json文件的中文被转为unicode码，导致无法匹配 (#2128) 2023-11-21 21:00:46 +08:00
liunux4odoo ad7a6fd438
开发者： (#2091) 
- 修复列出知识库磁盘文件时跳过临时文件的bug：只有目录被排除了，文件未排除
- 优化知识库文档加载器：
  - 将 elements 模式改为 single 模式，避免文档被切分得太碎
  - 给 get_loader 和 KnowledgeFile 增加 loader_kwargs 参数，可以自定义文档加载器参数
 2023-11-17 11:39:32 +08:00
liunux4odoo 68a544ea33 开发者：XXKBService.get_doc_by_id 改为批量处理，提高访问向量库效率。 2023-11-16 11:09:40 +08:00
liunux4odoo fbe214471b
知识库支持 .jsonl, .epub, .xlsx, .xlsd, .ipynb, .odt, .py, .srt, .toml, .doc, .ppt 文件 (#2079) 
* 知识库支持行式 json 文件
如果要使用 json 文件， 需要 `conda install jq`（windows 下 pip install jq 会失败）

开发者：
删除 CustomJsonLoader，使用 langchain 自带的 JsonLoader 处理 json 文件，添加 JsonLinesLoader 处理 jsonl 文件。

* 知识库支持 .epub, .xlsx, .xlsd, .ipynb, .odt, .py, .srt, .toml, .doc, .ppt 文件
为 .eml, .msg, .rst, .rtf, .tsv, .docx, .xml, .pptx 指定专用加载器
 2023-11-16 09:37:09 +08:00
liunux4odoo 3b3d948d27
添加文件对话模式 (#2071) 
开发者：
- 添加 /chat/file_chat, /knowledge_base/upload_temp_docs API 接口
- 添加 CACHED_MEMO_VS_NUM, BASE_TEMP_DIR 配置项
 2023-11-16 07:39:27 +08:00
liunux4odoo 2adfa4277c
在webui模型列表中包括：非model worker启动的在线模型（如openai-api）；已经下载的本地模型 (#2060) 2023-11-14 21:17:32 +08:00
wvivi2023 a59767711b enhance 
split by 1.2 first then split by 1.23
 2023-11-14 18:10:41 +08:00
zR 21b079d751
GLM3支持传入提示词 (#2058) 
支持传入提示词的Agent ChatGLM3-6B
 2023-11-14 17:45:22 +08:00
liunux4odoo e78a804ec6 close #2044: duplicated mount_knowledge_base_routes in server/api.py 2023-11-13 20:30:32 +08:00
zR 94d4304638
更新了chatglm3 6b agent的文档，提示词 (#2041) 
更新了chatglm3 6b agent的文档，提示词
修复代理no_proxy格式问题 #1838 的问题，感谢多次复现和验证
修改了pg清理知识库后还会引用之前知识库的问题
 2023-11-13 16:30:09 +08:00
wvivi2023 60a12c05f6 0.2.6 enhance 
0.2.6 enhance
 2023-11-13 09:20:19 +08:00
zR 91ff0574df
支持ChatGLM3-6B (#2021) 
* 更新依赖和配置文件中的Agent模型

* 支持基础的glm3_agent
 2023-11-12 16:45:50 +08:00
hzg0601 c1440c2609 增加ElasticSearch支持 2023-11-10 16:04:41 +08:00
liunux4odoo b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 (#2002) 
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库

依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误

修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
 2023-11-09 22:15:52 +08:00
WilliamChen-luckbob ce1001a043
bugfix:dev分支创建知识库必然失败的bug修复 (#1980) 
* bugfix:dev分支创建知识库必然失败的bug修复

* 统一 KBServiceFactory.get_service_by_name 的逻辑，数据库中不存在知识库时返回 None

---------

Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-09 17:45:21 +08:00
wvivi2023 4cdd2a5e79 enhance search similarity 
enhance search similarity
 2023-11-07 14:30:01 +08:00
imClumsyPanda e233e4f220 reformat server/knowledge_base/migrate.py 2023-11-06 22:49:35 +08:00
imClumsyPanda fb32c31a70 reformat kb_doc_api.py 2023-11-06 22:44:50 +08:00
imClumsyPanda 051a2e97dc add support for Zhipu-api "chatglm-turbo" 2023-11-06 22:38:05 +08:00
wvivi2023 526c4b52a8 search related doc title before similarity search 
search related doc title before similarity search
 2023-11-06 08:57:58 +08:00
zR 57612d5232
修复一些bug (#1965) 
* 修改一些bug

* 更新掉了一部分之前的bug
 2023-11-03 18:56:27 +08:00
qiankunli fa906b33a8
添加对话评分与历史消息保存功能 (#1940) 
* 新功能：
- WEBUI 添加对话评分功能
- 增加 /chat/feedback 接口，用于接收对话评分
- /chat/chat 接口返回值由 str 改为 {"text":str, "chat_history_id": str}
- init_database.py 添加 --create-tables --clear-tables 参数

依赖：
- streamlit-chatbox==1.1.11

开发者：
- ChatHistoryModel 的 id 字段支持自动生成
- SAVE_CHAT_HISTORY 改到 basic_config.py

* 修复：点击反馈后页面未刷新

---------

Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
 2023-11-03 11:31:45 +08:00
liunux4odoo 554122f60e
Feat (#1951) 
* 知识库支持子目录（不包括temp和tmp开头的目录），文件相对路径总长度不可超过255

* init_database.py 增加 --import-db 参数，在版本升级时，如果 info.db
表结构发生变化，但向量库无需重建，可以在重建数据库后，使用本参数从旧的数据库中导入信息
 2023-11-02 14:46:39 +08:00
liunux4odoo d8e15b57ba
知识库支持子目录（不包括temp和tmp开头的目录），文件相对路径总长度不可超过255 (#1928) 2023-10-31 16:59:40 +08:00
liunux4odoo 65592a45c3
支持在线 Embeddings, Lite 模式支持所有知识库相关功能 (#1924) 
新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）
- 对于 FAISS 知识库，支持多向量库，默认位置：{KB_PATH}/vector_store/{embed_model}
- Lite 模式支持所有知识库相关功能。此模式下最主要的限制是：
  - 不能使用本地 LLM 和 Embeddings 模型
  - 知识库不支持 PDF 文件
- init_database.py 重建知识库时不再默认情况数据库表，增加 clear-tables 参数手动控制。
- API 和 WEBUI 中 score_threshold 参数范围改为 [0, 2]，以更好的适应在线嵌入模型

问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误

开发者：
- 统一向量库的识别：以（kb_name,embed_model）为判断向量库唯一性的依据，避免 FAISS 知识库缓存加载逻辑错误
- KBServiceFactory.get_service_by_name 中添加 default_embed_model 参数，用于在构建新知识库时设置 embed_model
- 优化 kb_service 中 Embeddings 操作：
  - 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
  - 统一文本嵌入接口：server.knowledge_base.kb_service.base.[embed_texts, embed_documents]
- 重写 normalize 函数，去除对 scikit-learn/scipy 的依赖
 2023-10-31 14:26:50 +08:00
liunux4odoo deed92169f
支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api (#1907) 
* 新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）

问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误

开发者：
- 优化 kb_service 中 Embeddings 操作：
  - 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
  - 统一文本嵌入接口：server.embedding_api.[embed_texts, embed_documents]
 2023-10-28 23:37:30 +08:00
zR aa7c580974
Dev (#1902) 
修改Agent的内容
 2023-10-27 22:53:43 +08:00
zR bb72d9ac26
支持GLM (#1896) 
* 支持glm3
 2023-10-27 17:56:27 +08:00
zR 6ed87954b2
修复科大讯飞token问题和Azure的token问题 (#1894) 
Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-27 13:51:59 +08:00
liunux4odoo b68f7fcdea 修改qianfan-api使用原始post访问，qianfan sdk无法访问 2023-10-27 13:42:16 +08:00
zR dea468ab0f
Dev (#1892) 
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能，加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

* 修复一些兼容性的bug

* 恢复知识库

* 恢复知识库

* 1

* 修复Azure问题

* 修复zilliz的问题

* 修复Agent历史记录问题，优化知识库问答搜索的uoji

* 修复讯飞大模型token问题

* 修复讯飞大模型token问题和配置文件

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-27 13:14:48 +08:00
zR 24d1e28a07
一些细节优化 (#1891) 
Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-27 11:52:44 +08:00
liunux4odoo b4c68ddd05
优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式 (#1886) 
* 优化在线 API ，支持 completion 和 embedding，简化在线 API 开发方式

新功能
- 智谱AI、Minimax、千帆、千问 4 个在线模型支持 embeddings（不通过Fastchat，后续会单独提供相关api接口）
- 在线模型自动检测传入参数，在传入非 messages 格式的 prompt 时，自动转换为 completion 形式，以支持 completion 接口

开发者：
- 重构ApiModelWorker:
  - 所有在线 API 请求封装到 do_chat 方法：自动传入参数 ApiChatParams，简化参数与配置项的获取；自动处理与fastchat的接口
  - 加强 API 请求错误处理，返回更有意义的信息
  - 改用 qianfan sdk 重写 qianfan-api
  - 将所有在线模型的测试用例统一在一起，简化测试用例编写

* Delete requirements_langflow.txt
 2023-10-26 22:44:48 +08:00
zR e74fe2d950
Zilliz修复 (#1874) 
* 修复zilliz的问题
 2023-10-25 21:59:26 +08:00
zR 35a7ca74c0
Azure 的fschat支持，弃用Langchain-MODEL (#1873) 
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能，加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

* 修复一些兼容性的bug

* 恢复知识库

* 恢复知识库

* 修复Azure问题
 2023-10-25 21:32:40 +08:00
liunux4odoo 03e55e11c4
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话 (#1860) 
* move get_default_llm_model from webui to ApiRequest

增加API接口及其测试用例：
- /server/get_prompt_template: 获取服务器配置的 prompt 模板
- 增加知识库多线程访问测试用例

支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话

* fix bug in server.api

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-10-25 08:30:23 +08:00
Zhi-guo Huang be67ea43d8
Merge pull request #1828 from qiankunli/feat/add-completion-api 
增加completion功能的API接口，注意暂不支持online_api模型
 2023-10-24 22:10:54 +08:00
liunux4odoo 19f5f07d57 fix: unused imported faiss in milvus_kb_server (close #1849) 2023-10-24 15:01:19 +08:00
zR a036e3ccda
修改了部分Agent Prompt 修改了一些适配问题 (#1839) 
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能，加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

* 修复一些兼容性的bug
 2023-10-23 14:53:14 +08:00
zR e6382cacb1
修复了migrate兼容性错误，python3.8正常使用 (#1837) 
Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-23 14:41:56 +08:00
zR c983e9f559
增加一些Langchain的Agent工具 (#1836) 
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能，加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-23 13:22:10 +08:00
liqiankun.1111 b002a2879b feat: add completion api 2023-10-22 17:07:26 +08:00
zR 303c9d94df
修改，格式了部分Agent工具 (#1823) 
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能，加入了Embed方面的一个优化

* 修改了部分Agent的工具

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-22 00:07:32 +08:00
zR 1b50547e60
Dev (#1822) 
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能，加入了Embed方面的一个优化

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-22 00:00:15 +08:00
zR 1c5382d96b
支持AgentLM模型 (#1821) 
* 支持了agentlm

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-21 22:09:53 +08:00
liunux4odoo d316efe8d3
release 0.2.6 (#1815) 
## 🛠 新增功能

- 支持百川在线模型 (@hzg0601 @liunux4odoo in #1623)
- 支持 Azure OpenAI 与 claude 等 Langchain 自带模型 (@zRzRzRzRzRzRzR in #1808)
- Agent 功能大量更新，支持更多的工具、更换提示词、检索知识库 (@zRzRzRzRzRzRzR in #1626 #1666 #1785)
- 加长 32k 模型的历史记录 (@zRzRzRzRzRzRzR in #1629 #1630)
- *_chat 接口支持 max_tokens 参数 (@liunux4odoo in #1744)
- 实现 API 和 WebUI 的前后端分离 (@liunux4odoo in #1772)
- 支持 zlilliz 向量库 (@zRzRzRzRzRzRzR in #1785)
- 支持 metaphor 搜索引擎 (@liunux4odoo in #1792)
- 支持 p-tuning 模型 (@hzg0601 in #1810)
- 更新完善文档和 Wiki (@imClumsyPanda @zRzRzRzRzRzRzR @glide-the in #1680 #1811)

## 🐞 问题修复

- 修复 bge-* 模型匹配超过 1 的问题 (@zRzRzRzRzRzRzR in #1652)
- 修复系统代理为空的问题 (@glide-the in #1654)
- 修复重建知识库时 `d == self.d assert error` (@liunux4odoo in #1766)
- 修复对话历史消息错误 (@liunux4odoo in #1801)
- 修复 OpenAI 无法调用的 bug (@zRzRzRzRzRzRzR in #1808)
- 修复 windows下 BIND_HOST=0.0.0.0 时对话出错的问题 (@hzg0601 in #1810)
 2023-10-20 23:16:06 +08:00
liunux4odoo dd7223b3a9 merge master to dev 2023-10-20 21:48:24 +08:00
zR 46225ad784
Dev (#1811) 
* 北京黑客松更新

知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）

知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介

提示词选择
1. UI 和模板支持提示词模板更换选择

* 数据库更新介绍问题解决

* 关于Langchain自己支持的模型

1. 修复了Openai无法调用的bug
2. 支持了Azure Openai Claude模型
（在模型切换界面由于优先级问题，显示的会是其他联网模型)
3. 422问题被修复，用了另一种替代方案。
4. 更新了部分依赖

* 换一些图
 2023-10-20 20:07:59 +08:00
liunux4odoo 1d9d9df9e9 update baichuan-api: 修正messages参数；支持流式；添加测试用例 2023-10-20 19:09:05 +08:00
zR e920cd0064
合并分支，支持 (#1808) 
* 北京黑客松更新

知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）

知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介

提示词选择
1. UI 和模板支持提示词模板更换选择

* 数据库更新介绍问题解决

* 关于Langchain自己支持的模型

1. 修复了Openai无法调用的bug
2. 支持了Azure Openai Claude模型
（在模型切换界面由于优先级问题，显示的会是其他联网模型)
3. 422问题被修复，用了另一种替代方案。
4. 更新了部分依赖
 2023-10-20 18:13:55 +08:00
liunux4odoo 0b25d7b079 fix: correct model_worker's logger and semaphor 2023-10-20 11:50:50 +08:00
liunux4odoo d053950aee
新功能： (#1801) 
- 更新langchain/fastchat依赖，添加xformers依赖
- 默认max_tokens=None, 生成tokens自动为模型支持的最大值

修复：
- history_len=0 时会带入1条不完整的历史消息，导致LLM错误
- 当对话轮数 达到history_len时，传入的历史消息为空
 2023-10-19 22:09:15 +08:00
liunux4odoo b9b42991f6 - 支持metaphor搜索引擎（无需代理，key申请简单，目前不支持中文） 
- 增加默认知识库和默认搜索引擎的配置项
- 修复WEBUI弹出当前模型错误
 2023-10-18 23:02:20 +08:00
zR 69e5da4e7a
北京黑客松更新 (#1785) 
* 北京黑客松更新

知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）

知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介

提示词选择
1. UI 和模板支持提示词模板更换选择
 2023-10-18 15:19:02 +08:00
liunux4odoo 9ce328fea9
实现Api和WEBUI的前后端分离 (#1772) 
* update ApiRequest: 删除no_remote_api本地调用模式；支持同步/异步调用
* 实现API和WEBUI的分离：
- API运行服务器上的配置通过/llm_model/get_model_config、/server/configs接口提供，WEBUI运行机器上的配置项仅作为代码内部默认值使用
- 服务器可用的搜索引擎通过/server/list_search_engines提供
- WEBUI可选LLM列表中只列出在FSCHAT_MODEL_WORKERS中配置的模型
- 修改WEBUI中默认LLM_MODEL获取方式，改为从api端读取
- 删除knowledge_base_chat中`local_doc_url`参数

其它修改：
- 删除多余的kb_config.py.exmaple(名称错误)
- server_config中默认关闭vllm
- server_config中默认注释除智谱AI之外的在线模型
- 修改requests从系统获取的代理，避免model worker注册错误

* 修正：
- api.list_config_models返回模型原始配置
- api.list_config_models和api.get_model_config中过滤online api模型的敏感信息
- 将GPT等直接访问的模型列入WEBUI可选模型列表

其它：
- 指定langchain==0.3.313, fschat==0.2.30, langchain-experimental==0.0.30
 2023-10-17 16:52:07 +08:00
liunux4odoo 94977c7ab1
修复：切换embed_model时，FAISS向量库未正确释放，导致`d == self.d assert (#1766) 
修复：
- 切换embed_model时，FAISS向量库未正确释放，导致d == self.d assert error (close [求助] 初始化知识库发生错误 #1657 )
- ApiRequest中chat接口增加max_tokens参数
- FileDocModel模型字段错误(字段错误 #1691)
 2023-10-16 21:02:07 +08:00
liunux4odoo cd748128c3
add paramter `max_tokens` to 4 chat api with default value 1024 (#1744) 2023-10-12 16:18:56 +08:00
liunux4odoo 1ac173958d fix #1737: MakeFastAPIOffline函数内代码编写错误 2023-10-12 10:56:49 +08:00
zR 7475205eca
Agent提示词更改，增加图片 (#1667) 
* 更新上agent提示词代码

* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug

* 按需修改

* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具

* Agent大幅度优化

1. 修改了UI界面
(1)高亮所有没有进行agent对齐的模型，
(2)优化输出体验和逻辑，使用markdown

2. 降低天气工具使用门槛
3. 依赖更新
(1) vllm 更新到0.2.0，增加了一些参数
(2) torch 建议更新到2.1
(3)pydantic不要更新到1.10.12

* 更新了一些注释
 2023-10-07 11:52:54 +08:00
zR 2c8fc95f7a
Agent大更新合并 (#1666) 
* 更新上agent提示词代码

* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug

* 按需修改

* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具

* Agent大幅度优化

1. 修改了UI界面
(1)高亮所有没有进行agent对齐的模型，
(2)优化输出体验和逻辑，使用markdown

2. 降低天气工具使用门槛
3. 依赖更新
(1) vllm 更新到0.2.0，增加了一些参数
(2) torch 建议更新到2.1
(3)pydantic不要更新到1.10.12
 2023-10-07 11:26:11 +08:00
liunux4odoo 387b4cb967 fix #1638: baichuan-api未正确配置 2023-10-05 22:46:31 +08:00