wvivi2023
cc706ce7ef
enhance log
2024-04-02 10:32:34 +08:00
9c525b7fa5
publish 0.2.10 ( #2797 )
...
新功能：
- 优化 PDF 文件的 OCR，过滤无意义的小图片 by @liunux4odoo #2525
- 支持 Gemini 在线模型 by @yhfgyyf #2630
- 支持 GLM4 在线模型 by @zRzRzRzRzRzRzR
- elasticsearch更新https连接 by @xldistance #2390
- 增强对PPT、DOC知识库文件的OCR识别 by @596192804 #2013
- 更新 Agent 对话功能 by @zRzRzRzRzRzRzR
- 每次创建对象时从连接池获取连接，避免每次执行方法时都新建连接 by @Lijia0 #2480
- 实现 ChatOpenAI 判断token有没有超过模型的context上下文长度 by @glide-the
- 更新运行数据库报错和项目里程碑 by @zRzRzRzRzRzRzR #2659
- 更新配置文件/文档/依赖 by @imClumsyPanda @zRzRzRzRzRzRzR
- 添加日文版 readme by @eltociear #2787
修复：
- langchain 更新后，PGVector 向量库连接错误 by @HALIndex #2591
- Minimax's model worker 错误 by @xyhshen
- ES库无法向量检索.添加mappings创建向量索引 by MSZheng20 #2688
2024-01-26 06:58:49 +08:00
ad0b133ac8
解决faiss相似度阈值不在0-1之间的问题
2023-12-06 21:57:59 +08:00
12113be6ec
在startup中自动执行 create_tables， 确保数据库表被创建
2023-12-02 10:52:29 +08:00
f9f16edd13
Update startup.py
...
解决vllm在0.2.2版本启动的bug
2023-11-25 19:38:18 +08:00
b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 ( #2002 )
...
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库
依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误
修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
2023-11-09 22:15:52 +08:00
f4f7845f93
reformat startup.py
2023-11-06 22:31:09 +08:00
03e55e11c4
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话 ( #1860 )
...
* move get_default_llm_model from webui to ApiRequest
增加API接口及其测试用例：
- /server/get_prompt_template: 获取服务器配置的 prompt 模板
- 增加知识库多线程访问测试用例
支持lite模式：无需安装torch等重依赖，通过在线API实现LLM对话和搜索引擎对话
* fix bug in server.api
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
2023-10-25 08:30:23 +08:00
1c5382d96b
支持AgentLM模型 ( #1821 )
...
* 支持了agentlm
Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-10-21 22:09:53 +08:00
e920cd0064
合并分支，支持 ( #1808 )
...
* 北京黑客松更新
知识库支持：
支持zilliz数据库
Agent支持：
支持以下工具调用
1. 支持互联网Agent调用
2. 支持知识库Agent调用
3. 支持旅游助手工具(未上传）
知识库更新
1. 支持知识库简介，用于Agent选择
2. UI对应知识库简介
提示词选择
1. UI 和模板支持提示词模板更换选择
* 数据库更新介绍问题解决
* 关于Langchain自己支持的模型
1. 修复了Openai无法调用的bug
2. 支持了Azure Openai Claude模型
（在模型切换界面由于优先级问题，显示的会是其他联网模型)
3. 422问题被修复，用了另一种替代方案。
4. 更新了部分依赖
2023-10-20 18:13:55 +08:00
0b25d7b079
fix: correct model_worker's logger and semaphor
2023-10-20 11:50:50 +08:00
01577d6264
只启动在server_config中配置的在线API模型
2023-10-12 10:55:53 +08:00
2c8fc95f7a
Agent大更新合并 ( #1666 )
...
* 更新上agent提示词代码
* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug
* 按需修改
* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具
* Agent大幅度优化
1. 修改了UI界面
(1)高亮所有没有进行agent对齐的模型，
(2)优化输出体验和逻辑，使用markdown
2. 降低天气工具使用门槛
3. 依赖更新
(1) vllm 更新到0.2.0，增加了一些参数
(2) torch 建议更新到2.1
(3)pydantic不要更新到1.10.12
2023-10-07 11:26:11 +08:00
fc6a3b07ed
Dev ( #1652 )
...
* 更新上agent提示词代码
* 更新部分文档，修复了issue中提到的bge匹配超过1 的bug
* 按需修改
* 解决了部分最新用户用依赖的bug，加了两个工具，移除google工具
2023-10-04 12:05:46 +08:00
efd8edda16
Dev ( #1618 )
...
* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写
* issue提到的一个bug
* 温度最小改成0，但是不应该支持负数
* 修改了最小的温度
* 增加了部分Agent支持和修改了启动文件的部分bug
* 修改了GPU数量配置文件
* 1
1
* 修复配置文件错误
* 更新readme，稳定测试
2023-09-28 20:19:26 +08:00
523764e284
fix: set vllm based on platform to avoid error on windows
2023-09-27 21:43:54 +08:00
2d823aa4b1
1. debug vllm加速框架完毕；2. 修改requirements,requirements_api对vllm的依赖；3.注释掉serve_config中baichuan-7b的device为cpu的配置
2023-09-24 02:05:40 +08:00
f4da0845b9
更新文件：1. startup,model_config.py.example,serve_config.py.example,FAQ
2023-09-23 01:38:54 +08:00
810145c5fb
新增特性：1.支持vllm推理加速框架；2. 更新支持模型列表
2023-09-23 01:37:37 +08:00
e4a927c5d1
将所有httpx请求改为使用Client，提高效率，方便以后设置代理等。 ( #1554 )
...
将所有httpx请求改为使用Client，提高效率，方便以后设置代理等。
将本项目相关服务加入无代理列表，避免fastchat的服务器请求错误。(windows下无效)
2023-09-21 15:19:51 +08:00
80375e1ff3
fix merge conflict for #1474 ( #1494 )
2023-09-15 18:11:15 +08:00
f7c73b842a
优化configs ( #1474 )
...
* remove llm_model_dict
* optimize configs
* fix get_model_path
* 更改一些默认参数，添加千帆的默认配置
* Update server_config.py.example
2023-09-15 17:52:22 +08:00
20eef45a58
update README.md
2023-09-15 09:53:58 +08:00
30aeec1c45
修改智谱API默认名称，给WEBUI设置主题 ( #1484 )
...
* 給WEBUI设置主题
* chatglm-api更名为zhipu-api
2023-09-15 01:48:02 +08:00
bfdbe69fa1
增加了自定义分词器适配 ( #1462 )
...
* 添加了自定义分词器适配和测试文件
---------
Co-authored-by: zR <zRzRzRzRzRzRzR>
2023-09-13 15:42:12 +08:00
a03b8d330d
升级到langchain==0.0.287,fschat==0.0.28;处理langchain.Milvus bug( #10492 ) ( #1454 )
...
* 修复milvus_kb_service中一些bug，添加文档后将数据同步到数据库
* 升级到langchain==0.0.287,fschat==0.0.28;处理langchain.Milvus bug(#10492 )
* 修复切换模型BUG: 从在线API切换模型时出错
2023-09-13 08:43:11 +08:00
6a03611750
fix api and webui: ( #1435 )
...
1. fix #1431 : 优化知识库问答与搜索引擎问答的API接口，避免docs重复返回
2. startup.py根据configs.log_verbose控制log级别
3. 修复/llm_model/list_models的bug:
只有一个参数时，fastapi未返回json导致视图函数出错
2023-09-12 08:31:17 +08:00
228fc5bd93
fix startup.py: correct processes count
2023-09-08 15:24:43 +08:00
f082edbaad
fix startup.py: correct processes count
2023-09-08 15:23:54 +08:00
f94f2793f8
update startup.py: ( #1416 )
...
1. 恢复模型切换功能
2. --model-name支持多个名称（空格分开），同时启动多个模型
3. 优化服务启动顺序。严格按照顺序启动：controller -> [openai-api,
model_worker, api_worker]并行 -> api.py -> webui.py
4. 修复：从在线API模型切换到本地模型时失败
2023-09-08 15:18:13 +08:00
053ebb82bf
update startup.py:
...
1. controller改为自动等待
2. 修复：分部分启动时进程引用错误
2023-09-05 09:55:13 +08:00
35f2c04535
启动进程放入 try catch 保证任务收到SIGINT后，能够正常退出
2023-09-04 23:03:56 +08:00
aa4a5ad224
CTRL-C exit with Python multiprocessing
2023-09-04 22:46:46 +08:00
3de9b2649c
协程兼容python版本
2023-09-02 19:29:24 +08:00
d7c884e34a
注册器未启动时，整个启动链因为异常被终止
...
使用await asyncio.sleep(3)可以让后续代码等待一段时间，但不是最优解
2023-09-02 19:20:41 +08:00
3a660d4f74
TODO
2023-09-02 01:10:04 +08:00
6cb1bdf623
添加切换模型功能，支持智谱AI在线模型 ( #1342 )
...
* 添加LLM模型切换功能，需要在server_config中设置可切换的模型
* add tests for api.py/llm_model/*
* - 支持模型切换
- 支持智普AI线上模型
- startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a
(--all-webui), --all-api`时默认开启该选项
* 修复被fastchat覆盖的标准输出
* 对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
* 修正chatglm api的对话模板
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-09-01 23:58:09 +08:00
72b9da2649
startup.py增加参数-q | quiet，可以过滤fastchat的controller/model_worker不必要的日志输出 ( #1333 )
...
* startup.py增加参数`-q | quiet`，可以过滤fastchat的controller/model_worker不必要的日志输出
2023-08-31 22:55:07 +08:00
b1201a5f23
优化LLM和Embedding模型运行设备配置，可设为auto自动检测；修复：重建知识库时FAISS未保存 ( #1330 )
...
* 避免configs对torch的依赖；
* webui自动从configs获取api地址(close #1319 )
* bug fix: 重建知识库时FAISS未保存
* 优化LLM和Embedding模型运行设备配置，可设为auto自动检测
2023-08-31 17:44:48 +08:00
34a416b941
优化server_config配置项 ( #1293 )
...
* update server_config.py:
- 在model_config中增加HISTORY_LEN配置参数
- 将server_config中helper function移动到server.utils中
- 统一set_httpx_timeout的定义和调用
* update webui.py:
应用model_config中的配置项：HISTORY_LEN,VECTOR_SEARCH_TOP_K,SEARCH_ENGINE_TOP_K
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-29 10:06:09 +08:00
ca0ae29fef
运行startup.py时，如果不加参数直接显示配置和帮助信息后退出 ( #1284 )
...
* 统一XX_kb_service.add_doc/do_add_doc接口，不再需要embeddings参数
* 运行startup.py时，如果不加参数直接显示配置和帮助信息后退出
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-28 16:03:53 +08:00
6ef8844b2b
修复使用chatgpt等在线API服务时模型加载错误 ( #1271 )
...
* close #1172 : 给webui_page/utils添加一些log信息，方便定位错误
* 修复：重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
2023-08-27 16:46:59 +08:00
447b370416
在search_engine_chat中检查Bing KEY，并更新tests
2023-08-25 10:58:40 +08:00
4899c3b3cc
set max threads of numexpr to improve performance and ommit warnings
2023-08-24 11:04:30 +08:00
c571585ffd
optimize recreate vector store: save vector store once after all docs parsed for FAISS
2023-08-21 08:50:15 +08:00
adbee9f777
fix add_argument fault in startup.py
2023-08-20 17:30:39 +08:00
62d6f44b28
fix startup.py
2023-08-18 21:30:50 +08:00
fe9f2df17d
fix startup.py: correct command help info
2023-08-18 16:46:59 +08:00
c3627de005
fix startup.py: add log info before server starting
2023-08-18 08:48:02 +08:00
67839daad3
reformat and add version to startup.py
2023-08-17 22:22:28 +08:00
wvivi2023
liunux4odoo
hzg0601
liunux4odoo
imClumsyPanda
zR
glide-the
liunux4odoo