Commit Graph

1690 Commits

Author SHA1 Message Date
zR aa7c580974
Dev (#1902)
修改Agent的内容
2023-10-27 22:53:43 +08:00
zR bb72d9ac26
支持GLM (#1896)
* 支持glm3
2023-10-27 17:56:27 +08:00
zR d054244e55
Dev (#1895)
* 修复科大讯飞token问题和Azure的token问题

* 合并PR并改变位置

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-27 14:38:24 +08:00
charlesyju f19211b1f5
support adding keywords to model tokenizer (#1622)
* support adding keywords to model tokenizer

* add keyword_preprocess.py usage doc

* init new token with good weights

---------

Co-authored-by: Charles Ju <charlesyju@gmail.com>
2023-10-27 13:57:14 +08:00
zR 6ed87954b2
修复科大讯飞token问题和Azure的token问题 (#1894)
Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-27 13:51:59 +08:00
liunux4odoo b68f7fcdea 修改qianfan-api使用原始post访问,qianfan sdk无法访问 2023-10-27 13:42:16 +08:00
zR dea468ab0f
Dev (#1892)
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能,加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

* 修复一些兼容性的bug

* 恢复知识库

* 恢复知识库

* 1

* 修复Azure问题

* 修复zilliz的问题

* 修复Agent历史记录问题,优化知识库问答搜索的uoji

* 修复讯飞大模型token问题

* 修复讯飞大模型token问题和配置文件

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-27 13:14:48 +08:00
zR 24d1e28a07
一些细节优化 (#1891)
Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-27 11:52:44 +08:00
liunux4odoo ce8e341b9f update server_config.py.example: qianfan-api 默认模型改为 ERNIE-Bot。qianfan sdk 对模型名称大小写敏感 2023-10-26 22:48:56 +08:00
liunux4odoo b4c68ddd05
优化在线 API ,支持 completion 和 embedding,简化在线 API 开发方式 (#1886)
* 优化在线 API ,支持 completion 和 embedding,简化在线 API 开发方式

新功能
- 智谱AI、Minimax、千帆、千问 4 个在线模型支持 embeddings(不通过Fastchat,后续会单独提供相关api接口)
- 在线模型自动检测传入参数,在传入非 messages 格式的 prompt 时,自动转换为 completion 形式,以支持 completion 接口

开发者:
- 重构ApiModelWorker:
  - 所有在线 API 请求封装到 do_chat 方法:自动传入参数 ApiChatParams,简化参数与配置项的获取;自动处理与fastchat的接口
  - 加强 API 请求错误处理,返回更有意义的信息
  - 改用 qianfan sdk 重写 qianfan-api
  - 将所有在线模型的测试用例统一在一起,简化测试用例编写

* Delete requirements_langflow.txt
2023-10-26 22:44:48 +08:00
zR e74fe2d950
Zilliz修复 (#1874)
* 修复zilliz的问题
2023-10-25 21:59:26 +08:00
zR 35a7ca74c0
Azure 的fschat支持,弃用Langchain-MODEL (#1873)
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能,加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

* 修复一些兼容性的bug

* 恢复知识库

* 恢复知识库

* 修复Azure问题
2023-10-25 21:32:40 +08:00
liunux4odoo 27418ba9fa fix bug, add dependencies: strsimpy, markdownify 2023-10-25 08:58:31 +08:00
liunux4odoo 03e55e11c4
支持lite模式:无需安装torch等重依赖,通过在线API实现LLM对话和搜索引擎对话 (#1860)
* move get_default_llm_model from webui to ApiRequest

增加API接口及其测试用例:
- /server/get_prompt_template: 获取服务器配置的 prompt 模板
- 增加知识库多线程访问测试用例

支持lite模式:无需安装torch等重依赖,通过在线API实现LLM对话和搜索引擎对话

* fix bug in server.api

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
2023-10-25 08:30:23 +08:00
Zhi-guo Huang be67ea43d8
Merge pull request #1828 from qiankunli/feat/add-completion-api
增加completion功能的API接口,注意暂不支持online_api模型
2023-10-24 22:10:54 +08:00
liunux4odoo 19f5f07d57 fix: unused imported faiss in milvus_kb_server (close #1849) 2023-10-24 15:01:19 +08:00
jinke 2f67e1d0cc update docker image to 0.2.6
43.4G, chatglm6b+text2vec-bge-large-chinese.
2023-10-24 12:32:26 +08:00
imClumsyPanda b166457897
Update README.md 2023-10-24 10:43:04 +08:00
imClumsyPanda e904bc2ade
Add files via upload 2023-10-24 10:42:34 +08:00
imClumsyPanda 68498bd93b
Update README.md 2023-10-23 22:40:14 +08:00
zR a036e3ccda
修改了部分Agent Prompt 修改了一些适配问题 (#1839)
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能,加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

* 修复一些兼容性的bug
2023-10-23 14:53:14 +08:00
zR e6382cacb1
修复了migrate兼容性错误,python3.8正常使用 (#1837)
Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-23 14:41:56 +08:00
zR c983e9f559
增加一些Langchain的Agent工具 (#1836)
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能,加入了Embed方面的一个优化

* 修改了部分Agent的工具

* 增加一些Langchain的自带工具

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-23 13:22:10 +08:00
liqiankun.1111 b002a2879b feat: add completion api 2023-10-22 17:07:26 +08:00
zR 303c9d94df
修改,格式了部分Agent工具 (#1823)
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能,加入了Embed方面的一个优化

* 修改了部分Agent的工具

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-22 00:07:32 +08:00
zR 1b50547e60
Dev (#1822)
* 支持了agentlm

* 支持了agentlm和相关提示词

* 修改了Agent的一些功能,加入了Embed方面的一个优化

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-22 00:00:15 +08:00
zR 1c5382d96b
支持AgentLM模型 (#1821)
* 支持了agentlm

Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-21 22:09:53 +08:00
zR fcbd97203a
Dev (#1817)
* 更新了最新的readme

* 更新readme,加上目录

* 删掉所有没用的材料,之后都转wiki

* 更新readme和新版本图
2023-10-21 11:35:51 +08:00
liunux4odoo 4aa16d1c7b merge dev from master hotfix: no temperature in webui 2023-10-21 07:17:18 +08:00
zR 38a48bc831
紧急修复 温度 参数代码消失问题 (#1816) 2023-10-21 01:28:34 +08:00
imClumsyPanda 115a123442
Update README.md 2023-10-20 23:34:05 +08:00
imClumsyPanda 9186532fcb
Update README.md 2023-10-20 23:33:04 +08:00
liunux4odoo 9b5f64788c update dev version: v0.2.7-preview 2023-10-20 23:32:30 +08:00
liunux4odoo d316efe8d3
release 0.2.6 (#1815)
## 🛠 新增功能

- 支持百川在线模型 (@hzg0601 @liunux4odoo in #1623)
- 支持 Azure OpenAI 与 claude 等 Langchain 自带模型 (@zRzRzRzRzRzRzR in #1808)
- Agent 功能大量更新,支持更多的工具、更换提示词、检索知识库 (@zRzRzRzRzRzRzR in #1626 #1666 #1785)
- 加长 32k 模型的历史记录 (@zRzRzRzRzRzRzR in #1629 #1630)
- *_chat 接口支持 max_tokens 参数 (@liunux4odoo in #1744)
- 实现 API 和 WebUI 的前后端分离 (@liunux4odoo in #1772)
- 支持 zlilliz 向量库 (@zRzRzRzRzRzRzR in #1785)
- 支持 metaphor 搜索引擎 (@liunux4odoo in #1792)
- 支持 p-tuning 模型 (@hzg0601 in #1810)
- 更新完善文档和 Wiki (@imClumsyPanda @zRzRzRzRzRzRzR @glide-the in #1680 #1811)

## 🐞 问题修复

- 修复 bge-* 模型匹配超过 1 的问题 (@zRzRzRzRzRzRzR in #1652)
- 修复系统代理为空的问题 (@glide-the in #1654)
- 修复重建知识库时 `d == self.d assert error` (@liunux4odoo in #1766)
- 修复对话历史消息错误 (@liunux4odoo in #1801)
- 修复 OpenAI 无法调用的 bug (@zRzRzRzRzRzRzR in #1808)
- 修复 windows下 BIND_HOST=0.0.0.0 时对话出错的问题 (@hzg0601 in #1810)
2023-10-20 23:16:06 +08:00
liunux4odoo 0e7f0e1452 update readme: remove milestone 2023-10-20 23:12:36 +08:00
zR c41d7add7d
Dev (#1814)
* 更新了最新的readme

* 更新readme,加上目录

* 删掉所有没用的材料,之后都转wiki
2023-10-20 23:02:21 +08:00
liunux4odoo df0ee992f3 update readme: remove milestone 2023-10-20 22:00:33 +08:00
liunux4odoo ce54414b4f update readme: remove partners 2023-10-20 21:53:36 +08:00
liunux4odoo dd7223b3a9 merge master to dev 2023-10-20 21:48:24 +08:00
zR 86ee6fe08c
更新readme (#1813)
* 更新了最新的readme

* 更新readme,加上目录
2023-10-20 21:37:43 +08:00
zR 46225ad784
Dev (#1811)
* 北京黑客松更新

知识库支持:
支持zilliz数据库
Agent支持:
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传)

知识库更新
1. 支持知识库简介,用于Agent选择
2. UI对应知识库简介

提示词选择
1. UI 和模板支持提示词模板更换选择

* 数据库更新介绍问题解决

* 关于Langchain自己支持的模型

1. 修复了Openai无法调用的bug
2. 支持了Azure Openai Claude模型
(在模型切换界面由于优先级问题,显示的会是其他联网模型)
3. 422问题被修复,用了另一种替代方案。
4. 更新了部分依赖

* 换一些图
2023-10-20 20:07:59 +08:00
Zhi-guo Huang 109bb7f6c5
Merge pull request #1810 from hzg0601/dev
1. 支持加载p-tuning,详细步骤见docs/chatchat加载ptuing.md;2. 根据系统自动指定binding_host
2023-10-20 19:34:02 +08:00
hzg0601 a81bd827dd 根据系统指定binding_host 2023-10-20 19:32:06 +08:00
hzg0601 6e9acfc1af Merge branch 'dev' of https://github.com/chatchat-space/Langchain-Chatchat into dev 2023-10-20 19:22:36 +08:00
hzg0601 195929b518 支持加载p-tuning,详细步骤见docs/chatchat加载ptuing.md 2023-10-20 19:22:24 +08:00
liunux4odoo 1d9d9df9e9 update baichuan-api: 修正messages参数;支持流式;添加测试用例 2023-10-20 19:09:05 +08:00
zR e920cd0064
合并分支,支持 (#1808)
* 北京黑客松更新

知识库支持:
支持zilliz数据库
Agent支持:
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传)

知识库更新
1. 支持知识库简介,用于Agent选择
2. UI对应知识库简介

提示词选择
1. UI 和模板支持提示词模板更换选择

* 数据库更新介绍问题解决

* 关于Langchain自己支持的模型

1. 修复了Openai无法调用的bug
2. 支持了Azure Openai Claude模型
(在模型切换界面由于优先级问题,显示的会是其他联网模型)
3. 422问题被修复,用了另一种替代方案。
4. 更新了部分依赖
2023-10-20 18:13:55 +08:00
liunux4odoo 83e25f8011 remove xformers from requirements*.txt; check llm_model before change model in webui 2023-10-20 15:01:39 +08:00
liunux4odoo 0b25d7b079 fix: correct model_worker's logger and semaphor 2023-10-20 11:50:50 +08:00
liunux4odoo 1b3bd4442c update model_config.py.example (#1784) 2023-10-19 22:37:08 +08:00