9.7 KiB
意图识别和槽位抽取模型训练和推理
项目概述
本项目 1）通过大模型提示词实现将用户的多轮问答，还原出用户问题 2）通过训练百度的ernie和uie模型，实现意图识别和槽位抽取的目的。 3）对抽取出的槽位信息进行标准化后再返回 意图识别：即根据用户问题 返回用户的意图类型 槽位抽取：即根据用户问题 返回用户的问题中的槽位信息（对应api中的参数信息） 多轮问题还原：即根据用户的多轮问题和回复 还原用户最终问题
文件结构
项目根目录/
├── api/
│ ├── logs/ # 运行日志
│ └── standard_data/ #标准化数据本地文件（每天凌晨三天通过redis同步）
│ └── main.py #主程序
│ └── config.py #配置文件
│ └── constants.py #常量定义文件
│ └── globalData.py #全局数据同步文件类
│ └── intentRecognition.py #意图识别
│ └── logger_util.py #写日志文件
│ └── slotRecognition.py #槽位抽取
│ └── utis.py #通用具体类
│ └── standard_test.py #单元测试
│
├── ernie/ #意图训练
│ ├── data/ #意图训练数据集
│ └── data.yaml #意图训练配置
│ └── train.py #意图训练脚本
│
├── uie/ #槽位抽取训练
│ └── data/ #槽位抽取训练数据集
│ └── train.py #槽位抽取训练脚本
│
├── generated_data/ #生成训练数据集目录
│ └── data/ #训练数据集的中间文件
│ │ └──
│ │ └──
│ └──output/
│ │ └── ernie/ #最终生成的用于意图训练的数据集
│ │ └── uie/ #最终生成的用于槽位抽取训练的数据集
│ └── generated.py #根据意图和槽位数据模版 向本级data目录里产生数据集文件
│ └── 合并数据.py #将本级data目录里的数据合并到output 的merged_data.json
│ └── 按比例分配ernie数据.py #将本级data目录里的数据合并到output 的merged_data.json 按比例抽取意图训练数据集到output/ernie
│ └── 按比例分配uie数据.py #将本级data目录里的数据合并到output 的merged_data.json 按比例抽取意图训练数据集到output/uie
注意：第一次训练在联网的情况下不需要提前下载模型ernie和uie模型到服务器
项目接口
意图识别和槽位抽取api（在下面两个api的功能基础上增加了多轮问题的还原和槽位标准化）： POST：http://192.168.0.37:18074/agent {"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"送一分公司"},{"role":"assistant","content":"送电一分公司第一项目管理部（金上）风险等级为2级的有0项，3级的有0项，4级的有1项，5级的有0项，有1项作业计划"},{"role":"user","content":"今天有多少项作业计划"},{"role":"assistant","content":"2025-04-25 公司风险等级为2级的有15项，3级的有144项，4级的有262项，5级的有0项，有421项作业计划"},{"role":"user","content":"具体作业计划是什么"}]}
意图识别 api： POST：http://192.168.0.37:18074/intent_reco Body:{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750","text":"打开众兴-草庙乡牵引站220kV电缆线路工程（土建部分）(PROJ-2023-0328)一般跨越施工措施"}
槽位抽取api： POST：http://192.168.0.37:18074/slot_reco Body:{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750","text":"今天芦集变电站有多少作业计划"}
多轮问题还原类实例
需要通过http://192.168.0.37:18074/agent 这个接口去实现多轮还原和意图及槽位的提取
追问类
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"今天有多少项作业计划"},{"role":"assistant","content":"2025-04-25公司一共有421项作业计划，分别如下：风险等级为2级的有15项，3级的有144项，4级的有262项，5级的有0项"},{"role":"user","content":"作业内容"}]}
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"“送一分公司第一项目部金上今天有多少项作业计划"},{"role":"assistant","content":"今天送电一分公司第一项目管理部（金上）有21项作业计划"},{"role":"user","content":"班组详情呢"}]}
补充类
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"第10项目管理部特高压部门有多少作业计划？"},{"role":"assistant","content":"非常抱歉，请问你想查询什么时间的日计划数量查询?"},{"role":"user","content":"今天"},{"role":"assistant","content":"请补充该项目部所属的分公司名称"},{"role":"user","content":"变电分公司"}]}
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"第10项目管理部特高压有多少作业计划？"},{"role":"assistant","content":"非常抱歉，请问你想查询什么时间的日计划数量查询?"},{"role":"user","content":"今天"},{"role":"assistant","content":"请补充该项目部所属的分公司名称"},{"role":"user","content":"变电分公司"}]}
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"第一项目部有多少作业计划？"},{"role":"assistant","content":"非常抱歉，请问你想查询什么时间的日计划数量查询?"},{"role":"user","content":"今天的"}]}
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"第一项目部有多少作业计划？"},{"role":"assistant","content":"非常抱歉，请问你想查询什么时间的日计划数量查询?"},{"role":"user","content":"今天"},{"role":"assistant","content":"请补充该项目部所属的分公司名称"},{"role":"user","content":"送一分公司"}]}
序号词指代类
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"送一分公司第一项目部今天有多少作业计划"},{"role":"assistant","content":"您说的项目名可能是：第1个： 第一项目管理部（金上），第2个： 第一项目管理部（天津），请确认您要选择哪一个？"},{"role":"user","content":"第二个"}]}
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"打开合州换流站摄像头"},{"role":"assistant","content":"您说的工程名可能是：第1个：合州±800千伏换流站电气安装A包(PROJ-2025-0056)，第2个：陕北-安徽±800千伏特高压直流输电工程合州换流站交流系统调试及特殊试验(PROJ-2025-0159)，第3个：合州±800千伏换流站工程大件运输工程(PROJ-2024-1194)，第4个：合州换流站-文都500千伏线路工程(PROJ-2024-1089)，第5个：合州±800kV换流站电气A包工程（调试部分）(PROJ-2025-0102)，第6个：陕北-安徽直流工程合州±800千伏换流站土建A包(PROJ-2024-0312)，第7个：文都-官山改接入合州换流站500千伏线路工程(PROJ-2024-1090)，请确认您要选择哪一个？"},{"role":"user","content":"第1个"}]}
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"打开金牛紫蓬工程视频"},{"role":"assistant","content":" 您说的工程名可能是：第1个：金牛500kV变电站新建工程(PROJ-2024-0866)，第2个：换流站-金牛500kV线路工程(PROJ-2024-1249)，第3个：金牛-紫蓬500kV线路工程(PROJ-2023-0503)，第4个：郑蒲-金河口110kV线路工程(PROJ-2024-0223)，请确认您要选择哪一个个?"},{"role":"user","content":"第3个"}]}
综合类（综合以上）
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"宋1分公司第一项目部今天有多少作业计划"},{"role":"assistant","content":"您说的项目名可能是：第1个： 第一项目管理部（金上），第2个： 第2个：</strong第一项目管理部（天津），请确认您要选择哪一个？"},{"role":"user","content":"第1个"},{"role":"assistant","content":"2025-03-28 送电一分公司第一项目管理部金上）有2项作业计划"},{"role":"user","content":"2项作业计划是什么"},{"role":"assistant","content":"今天送电一分公司第一项目管理部(金上)有1项作业计划:第1项:工程名称:金上-湖北线路工程(川12标)(PROJ-2023-0152)，项目经理:姚永先，班组名称:李洋班组，班组人数:12，工作负责人:李洋，安全监护员:张节艳，班组质检员:刘永远，特种作业人员:许龙彪,宋伟云,况旻伦,刘付金，杨博文,徐云孝，，一般作业人员:方友昌,朱刘文,吴怀胜,作业部位:2601~2864，作业内容:验收消缺，风险等级:4级，风险可能导致的后果:高处坠落、物体打击、触由，8+2工况:无"},{"role":"user","content":"班组详情"}]}
{"user_id":"3bb66776-1722-4c36-b14a-73dd210fe750", "messages":[{"role":"user","content":"第10项目管理部特高压部门有多少作业计划？"},{"role":"assistant","content":"非常抱歉，请问你想查询什么时间的日计划数量查询?"},{"role":"user","content":"今天"},{"role":"assistant","content":"请补充该项目部所属的分公司名称"},{"role":"user","content":"变电分公司"},{"role":"assistant","content":"变电分公司第十项目管理部（特高压）有2项作业计划"},{"role":"user","content":"具体的作业计划内容"}]}