liunux4odoo
|
6cb1bdf623
|
添加切换模型功能，支持智谱AI在线模型 (#1342)
* 添加LLM模型切换功能，需要在server_config中设置可切换的模型
* add tests for api.py/llm_model/*
* - 支持模型切换
- 支持智普AI线上模型
- startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a
(--all-webui), --all-api`时默认开启该选项
* 修复被fastchat覆盖的标准输出
* 对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
* 修正chatglm api的对话模板
Co-authored-by: liunux4odoo <liunu@qq.com>
|
2023-09-01 23:58:09 +08:00 |
|
liunux4odoo
|
34a416b941
|
优化server_config配置项 (#1293)
* update server_config.py:
- 在model_config中增加HISTORY_LEN配置参数
- 将server_config中helper function移动到server.utils中
- 统一set_httpx_timeout的定义和调用
* update webui.py:
应用model_config中的配置项：HISTORY_LEN,VECTOR_SEARCH_TOP_K,SEARCH_ENGINE_TOP_K
---------
Co-authored-by: liunux4odoo <liunu@qq.com>
|
2023-08-29 10:06:09 +08:00 |
hzg0601
|
cc0bd4efd9
|
update server_config.py.example: 增加多卡启动的说明
|
2023-08-25 11:27:39 +08:00 |
liunux4odoo
|
f8229fc4a9
|
update server_config example
|
2023-08-17 21:50:36 +08:00 |
imClumsyPanda
|
4318197ac7
|
reformat server_config.py.example
|
2023-08-17 21:30:40 +08:00 |
|
liunux4odoo
|
f92b002342
|
add startup.py: start specified servers with one command. see python startup.py --help
|
2023-08-17 13:24:53 +08:00 |