Langchain-Chatchat/chatchat_data/model_settings.yaml

# 模型配置项


# 默认选用的 LLM 名称
DEFAULT_LLM_MODEL: qwen2.5-instruct

# 默认选用的 Embedding 名称
DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5

# AgentLM模型的名称 (可以不指定，指定之后就锁定进入Agent之后的Chain的模型，不指定就是 DEFAULT_LLM_MODEL)
Agent_MODEL: ''

# 默认历史对话轮数
HISTORY_LEN: 3

# 大模型最长支持的长度，如果不填写，则使用模型默认的最大长度，如果填写，则为用户设定的最大长度
MAX_TOKENS:

# LLM通用对话参数
TEMPERATURE: 0.7

# 支持的Agent模型
SUPPORT_AGENT_MODELS:
  - chatglm3-6b
  - glm-4
  - openai-api
  - Qwen-2
  - qwen2-instruct
  - gpt-3.5-turbo
  - gpt-4o

# LLM模型配置，包括了不同模态初始化参数。
# `model` 如果留空则自动使用 DEFAULT_LLM_MODEL
LLM_MODEL_CONFIG:
  preprocess_model:
    model: ''
    temperature: 0.05
    max_tokens: 4096
    history_len: 10
    prompt_name: default
    callbacks: false
  llm_model:
    model: ''
    temperature: 0.9
    max_tokens: 4096
    history_len: 10
    prompt_name: default
    callbacks: true
  action_model:
    model: ''
    temperature: 0.01
    max_tokens: 4096
    history_len: 10
    prompt_name: ChatGLM3
    callbacks: true
  postprocess_model:
    model: ''
    temperature: 0.01
    max_tokens: 4096
    history_len: 10
    prompt_name: default
    callbacks: true
  image_model:
    model: sd-turbo
    size: 256*256

# # 模型加载平台配置


# # 平台名称
# platform_name: xinference

# # 平台类型
# # 可选值：['xinference', 'ollama', 'oneapi', 'fastchat', 'openai', 'custom openai']
# platform_type: xinference

# # openai api url
# api_base_url: http://127.0.0.1:9997/v1

# # api key if available
# api_key: EMPTY

# # API 代理
# api_proxy: ''

# # 该平台单模型最大并发数
# api_concurrencies: 5

# # 是否自动获取平台可用模型列表。设为 True 时下方不同模型类型可自动检测
# auto_detect_model: false

# # 该平台支持的大语言模型列表，auto_detect_model 设为 True 时自动检测
# llm_models: []

# # 该平台支持的嵌入模型列表，auto_detect_model 设为 True 时自动检测
# embed_models: []

# # 该平台支持的图像生成模型列表，auto_detect_model 设为 True 时自动检测
# text2image_models: []

# # 该平台支持的多模态模型列表，auto_detect_model 设为 True 时自动检测
# image2text_models: []

# # 该平台支持的重排模型列表，auto_detect_model 设为 True 时自动检测
# rerank_models: []

# # 该平台支持的 STT 模型列表，auto_detect_model 设为 True 时自动检测
# speech2text_models: []

# # 该平台支持的 TTS 模型列表，auto_detect_model 设为 True 时自动检测
# text2speech_models: []
MODEL_PLATFORMS:
  - platform_name: xinference
    platform_type: xinference
    api_base_url: http://192.168.0.21:9997/v1
    api_key: EMPTY
    api_proxy: ''
    api_concurrencies: 5
    auto_detect_model: true
    llm_models: [qwen2.5-instruct]
    embed_models: [bge-large-zh-v1.5]
    text2image_models: []
    image2text_models: []
    rerank_models: []
    speech2text_models: []
    text2speech_models: []
#  - platform_name: ollama
#    platform_type: ollama
#    api_base_url: http://127.0.0.1:11434/v1
#    api_key: EMPTY
#    api_proxy: ''
#    api_concurrencies: 5
#    auto_detect_model: false
#    llm_models:
#      - qwen:7b
#      - qwen2:7b
#    embed_models:
#      - quentinz/bge-large-zh-v1.5
#    text2image_models: []
#    image2text_models: []
#    rerank_models: []
#    speech2text_models: []
#    text2speech_models: []
#  - platform_name: oneapi
#    platform_type: oneapi
#    api_base_url: http://127.0.0.1:3000/v1
#    api_key: sk-
#    api_proxy: ''
#    api_concurrencies: 5
#    auto_detect_model: false
#    llm_models:
#      - chatglm_pro
#      - chatglm_turbo
#      - chatglm_std
#      - chatglm_lite
#      - qwen-turbo
#      - qwen-plus
#      - qwen-max
#      - qwen-max-longcontext
#      - ERNIE-Bot
#      - ERNIE-Bot-turbo
#      - ERNIE-Bot-4
#      - SparkDesk
#    embed_models:
#      - text-embedding-v1
#      - Embedding-V1
#    text2image_models: []
#    image2text_models: []
#    rerank_models: []
#    speech2text_models: []
#    text2speech_models: []
#  - platform_name: openai
#    platform_type: openai
#    api_base_url: https://api.openai.com/v1
#    api_key: sk-proj-
#    api_proxy: ''
#    api_concurrencies: 5
#    auto_detect_model: false
#    llm_models:
#      - gpt-4o
#      - gpt-3.5-turbo
#    embed_models:
#      - text-embedding-3-small
#      - text-embedding-3-large
#    text2image_models: []
#    image2text_models: []
#    rerank_models: []
#    speech2text_models: []
#    text2speech_models: []