公开(公告)号：CN117113231B

公开(公告)日：2025-04-11

申请号：CN202311022203.6

申请日：2023-08-14

Applicant: 南通大学

Inventor： 王晗 ,  吉翔 ,  金磊 ,  何欣樾 ,  闫苏园 ,  季钰姣 ,  邓丽云

IPC: G06F18/243 ,  G06F18/241 ,  G06V10/82 ,  G06V10/25 ,  G06V10/764 ,  G06T7/50 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/084 ,  G06N5/01 ,  G08B21/02 ,  G01C21/12 ,  G01P15/18

Abstract: 本发明公开一种基于移动终端的多模态低头族危险环境感知与预警方法，包括以下步骤：步骤1：构建基于并行LSTM‑CNN网络的用户运动状态分类模块，对手机用户的当前运动状态进行识别；步骤2：利用单目摄像机采集图像，估计单目图像深度信息；面向彩色图像序列和深度图的深度信息，预测视角扩展图像；步骤3：分析步骤1的运动状态识别结果，构建基于YOLOv5轻型网络的危险环境检测模块，对危险环境进行识别；步骤4：构建基于决策树模型的低头族危险状态判定模块，对低头族当前的危险状态进行分类；步骤5：设计手机端用户界面，建立听觉‑视觉立体式预警方式。本发明能够在低头族使用手机时进行危险预警，有效降低事故发生率。

公开(公告)号：CN117113231A

公开(公告)日：2023-11-24

申请号：CN202311022203.6

申请日：2023-08-14

Applicant: 南通大学

Inventor： 王晗 ,  吉翔 ,  金磊 ,  何欣樾 ,  闫苏园 ,  季钰姣 ,  邓丽云

IPC: G06F18/243 ,  G06F18/241 ,  G06V10/82 ,  G06V10/25 ,  G06V10/764 ,  G06T7/50 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/084 ,  G06N5/01 ,  G08B21/02 ,  G01C21/12 ,  G01P15/18

Abstract: 本发明公开一种基于移动终端的多模态低头族危险环境感知与预警方法，包括以下步骤：步骤1：构建基于并行LSTM‑CNN网络的用户运动状态分类模块，对手机用户的当前运动状态进行识别；步骤2：利用单目摄像机采集图像，估计单目图像深度信息；面向彩色图像序列和深度图的深度信息，预测视角扩展图像；步骤3：分析步骤1的运动状态识别结果，构建基于YOLOv5轻型网络的危险环境检测模块，对危险环境进行识别；步骤4：构建基于决策树模型的低头族危险状态判定模块，对低头族当前的危险状态进行分类；步骤5：设计手机端用户界面，建立听觉‑视觉立体式预警方式。本发明能够在低头族使用手机时进行危险预警，有效降低事故发生率。