glide-the
|
c5bc21781c
|
修改模型生成的调用方式，兼容Chain调用
修改模型切换的bug
|
2023-07-12 23:09:28 +08:00 |
Zhi-guo Huang
|
a5ca4bf26a
|
1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664)
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案
* 修改loader.py中load_in_8bit失败的原因和详细解决方案
* update loader.py
* stream_chat_bing
* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口
* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入
* update cli_demo.py
* add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1
* 1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有api,未测试)；5.增加了llama-cpp模型部署的说明
* llama模型兼容性说明
* modified: ../configs/model_config.py
modified: ../docs/INSTALL.md
在install.md里增加对llama-cpp模型调用的说明
* 修改llama_llm.py以适应llama-cpp模型
* 完成llama-cpp模型的支持；
* make fastchat and openapi compatiable
* 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;
* set default model be chatglm-6b
* 在多卡情况下也支持自定义GPU设备
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
|
2023-07-11 19:36:50 +08:00 |
|
glide-the
|
0abd2d9992
|
llama_llm.py 提示词修改
|
2023-06-13 18:36:07 +08:00 |
shrimp
|
57b4f9306d
|
修复BUG (#570)
一、修复模型历史记录仅一条问题，修改了模型加载代码，已修复。
二、修复模型历史记录仅一条问题，修改了webui有一个地方有问题，已修复。
三、知识库单条数据入库因知识库名称缓存问题导致的BUG，也已修复。
|
2023-06-07 18:12:51 +08:00 |
|
glide-the
|
c4ee36b8ac
|
删除 AnswerResultStream 、generate_with_callback收集器
|
2023-05-25 21:07:40 +08:00 |
|
glide-the
|
65412e6cfb
|
moss_llm.py 删除 stopping_criteria
|
2023-05-19 23:47:13 +08:00 |
imClumsyPanda
|
ff7ac0333e
|
update model_config.py
|
2023-05-19 23:45:01 +08:00 |
|
glide-the
|
5524c47645
|
Update moss_llm.py
|
2023-05-19 17:32:38 +08:00 |
|
glide-the
|
33bbb4779e
|
llm_model_dict 处理了loader的一些预设行为，如加载位置，模型名称，模型处理器实例, 定义checkpoint名称和远程路径
loader.py: 模型重载
定义 generatorAnswer 增加 AnswerResultStream
定义generate_with_callback收集器，在每次响应时将队列数据同步到AnswerResult
requirements.txt 变更项目依赖
|
2023-05-18 22:54:41 +08:00 |
Tyler Luan
|
64406cee45
|
Add MOSS (#317)
* Add MOSS
* Update local_doc_qa.py
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
|
2023-05-11 18:42:19 +08:00 |