-
公开(公告)号:CN118538362B
公开(公告)日:2024-12-27
申请号:CN202410415119.9
申请日:2024-04-08
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于体感交互式虚拟康复训练方法及系统,属于人工智能技术领域,应用于康复训练系统;采集用户跟随NPC引导行为动作后的动作信息和语音信息;根据所述动作信息进行用户运动姿态模拟;根据预先设置的康复动作的要求和标准以及用户的动作信息和语音信息计算用户的康复动作的得分,根据用户的康复动作的得分,向用户提供相应的语音和图形反馈;根据用户运动姿态模拟的数据以及用户的康复动作的得分进行用户的康复进程和效果分析,输出康复报告。优点:能够利用虚拟现实技术和人体动作识别技术,为用户提供一个沉浸式的康复训练环境,同时能够实时监测和评估用户的康复动作,给出反馈和建议,增加用户的康复效率和体验。
-
公开(公告)号:CN119007925A
公开(公告)日:2024-11-22
申请号:CN202410806131.2
申请日:2024-06-21
Applicant: 南京信息工程大学
IPC: G16H20/30 , G06F3/01 , G06V40/20 , G06V10/764
Abstract: 本发明公开了一种基于动作识别与虚拟现实的康复训练方法及系统,包括:基于Unity开发平台构建虚拟康复场景;使用Leap Motion设备捕获用户的手部动作数据,基于动作识别算法对所述手部动作数据进行动作识别,根据动作识别的结果在虚拟康复场景模拟识别的动作;比较所述识别的动作和预设的康复动作,确定动作相似度;根据动作相似度确定康复效果,并基于所述康复效果生成针对所述用户的反馈和建议。优点:不仅可以提高患者的参与度,还可以通过提供社交互动的机会,帮助减轻他们的孤独感和压力,对提高康复效果和患者的生活质量产生积极影响,提高康复行业的服务水平。
-
公开(公告)号:CN119762301A
公开(公告)日:2025-04-04
申请号:CN202411841637.3
申请日:2024-12-13
Applicant: 南京信息工程大学
Abstract: 本发明提供了一种基于人体姿态课堂教学效果检测系统,包括教学面板、眼动仪、摄像头、课桌压力传感器组、座椅压力传感器组和时间模块;眼动仪、摄像头、课桌压力传感器组和座椅压力传感器组组成学生上课时姿态信息采集模块,通过眼动仪采集学生上课过程中眼球运动轨迹数据,通过摄像头采集学生上课过程中面部朝向和活动信息,课桌压力传感器组和座椅压力传感器组用于采集学生上课过程中身体活动信息。本发明通过时间模块设定单节课堂教学时长,开始时间以及结束时间为结合眼动仪和摄像头,完成课堂教学效果合格或不合格的检测,也能确定教学内容的最优教学部分,便于完成课堂教学检测,实时便捷。
-
公开(公告)号:CN118538367B
公开(公告)日:2024-11-19
申请号:CN202411003151.2
申请日:2024-07-25
Applicant: 南京信息工程大学
Abstract: 本发明公开了生物行为识别领域的一种基于面部和体态行为感知的渐进性放松训练方法,包括,播放预先设计的用于渐进性放松训练的音频;在音频播放过程中,执行以下训练操作:获取被训练人的图像数据;其中图像数据包括面部图像和躯体图像;基于面部图像,通过Blaze Face算法获取面部关键点信息,面部关键点信息包括双眼关键点信息和嘴巴关键点信息;根据双眼关键点信息计算双眼开合比,根据嘴巴关键点信息计算嘴巴开合比;基于躯体图像,通过Blaze Pose算法获取身体关键点信息,计算头‑肩夹角;根据双眼开合比、嘴巴开合比和头‑肩夹角,确定眼部特征值、嘴巴特征值和体态特征值;根据眼部特征值、嘴巴特征值和体态特征值,控制训练音频的播放。
-
公开(公告)号:CN118839701A
公开(公告)日:2024-10-25
申请号:CN202411328293.6
申请日:2024-09-24
Applicant: 南京信息工程大学
IPC: G06F40/30 , G06F18/10 , G06F18/2415 , G06F40/232 , G06F40/126 , G06F40/205 , G06F40/186 , G06N3/0464 , G06N3/0455 , G06N3/0895
Abstract: 本发明公开了一种融合交互式会话语境和会话者身份属性的情感识别方法,采集由多人参与的交互式会话记录,构建参与者会话队列;创建语境增强的交互式话语列表,通过提示驱动的情绪模板生成情绪感知增强的个性化话语表达,进行数值化处理并输入到SimCSE模型生成话语的情感嵌入特征;情感嵌入特征被组织成相同数量的批次,输入构建的EmoNet情绪编码器计算信息熵损失和正则化对比学习损失,将两种损失融合为混合对比学习损失用于训练EmoNet网络,优化情感识别的精确度;使用训练好的EmoNet对新输入的数据进行情感分类。本发明适用于大规模互动对话数据的多种应用场景,有效提升了情感识别的自动化水平和适应性。
-
公开(公告)号:CN118538362A
公开(公告)日:2024-08-23
申请号:CN202410415119.9
申请日:2024-04-08
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于体感交互式虚拟康复训练方法及系统,属于人工智能技术领域,应用于康复训练系统;采集用户跟随NPC引导行为动作后的动作信息和语音信息;根据所述动作信息进行用户运动姿态模拟;根据预先设置的康复动作的要求和标准以及用户的动作信息和语音信息计算用户的康复动作的得分,根据用户的康复动作的得分,向用户提供相应的语音和图形反馈;根据用户运动姿态模拟的数据以及用户的康复动作的得分进行用户的康复进程和效果分析,输出康复报告。优点:能够利用虚拟现实技术和人体动作识别技术,为用户提供一个沉浸式的康复训练环境,同时能够实时监测和评估用户的康复动作,给出反馈和建议,增加用户的康复效率和体验。
-
公开(公告)号:CN118839701B
公开(公告)日:2025-04-01
申请号:CN202411328293.6
申请日:2024-09-24
Applicant: 南京信息工程大学
IPC: G06F40/30 , G06F18/10 , G06F18/2415 , G06F40/232 , G06F40/126 , G06F40/205 , G06F40/186 , G06N3/0464 , G06N3/0455 , G06N3/0895
Abstract: 本发明公开了一种融合交互式会话语境和会话者身份属性的情感识别方法,采集由多人参与的交互式会话记录,构建参与者会话队列;创建语境增强的交互式话语列表,通过提示驱动的情绪模板生成情绪感知增强的个性化话语表达,进行数值化处理并输入到SimCSE模型生成话语的情感嵌入特征;情感嵌入特征被组织成相同数量的批次,输入构建的EmoNet情绪编码器计算信息熵损失和正则化对比学习损失,将两种损失融合为混合对比学习损失用于训练EmoNet网络,优化情感识别的精确度;使用训练好的EmoNet对新输入的数据进行情感分类。本发明适用于大规模互动对话数据的多种应用场景,有效提升了情感识别的自动化水平和适应性。
-
公开(公告)号:CN119668405A
公开(公告)日:2025-03-21
申请号:CN202411735094.7
申请日:2024-11-29
Applicant: 南京信息工程大学
IPC: G06F3/01 , H04L67/52 , H04L69/163 , H04L69/16
Abstract: 本发明公开了一种基于追踪器定位共享的虚拟现实控制方法,通过TCP网口获取目标用户穿戴的虚拟现实追踪器回传的定位数据;对所述定位数据进行解码、解析、滤波、校准步骤,提取用户的精确位置和姿态信息,将所述用户的精确位置和姿态信息存储到同步队列和共享内存的数据结构,所述同步队列和共享内存的数据结构;将用户的精确位置和姿态信息发送到Unity场景中,更新虚拟环境中的用户位置和动作。优点:通过搭建的Unity实时渲染平台和开发优化的虚拟现实追踪器算法,并且通过TCP网口发送虚拟现实追踪器获得的定位数据到主机地址,并在主机上完成数据的接收和分类处理,实现多个追踪器的定位共享,从而提高用户的虚拟现实体验。
-
公开(公告)号:CN118538367A
公开(公告)日:2024-08-23
申请号:CN202411003151.2
申请日:2024-07-25
Applicant: 南京信息工程大学
Abstract: 本发明公开了生物行为识别领域的一种基于面部和体态行为感知的渐进性放松训练方法,包括,播放预先设计的用于渐进性放松训练的音频;在音频播放过程中,执行以下训练操作:获取被训练人的图像数据;其中图像数据包括面部图像和躯体图像;基于面部图像,通过Blaze Face算法获取面部关键点信息,面部关键点信息包括双眼关键点信息和嘴巴关键点信息;根据双眼关键点信息计算双眼开合比,根据嘴巴关键点信息计算嘴巴开合比;基于躯体图像,通过Blaze Pose算法获取身体关键点信息,计算头‑肩夹角;根据双眼开合比、嘴巴开合比和头‑肩夹角,确定眼部特征值、嘴巴特征值和体态特征值;根据眼部特征值、嘴巴特征值和体态特征值,控制训练音频的播放。
-
公开(公告)号:CN118380096A
公开(公告)日:2024-07-23
申请号:CN202410535744.7
申请日:2024-04-30
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于算法追踪与虚拟现实的康复训练交互方法及装置,获取用户手部的图像信息,确定完整的连续帧图像信息;使用MediaPipe手部跟踪代码,从用户完整的连续帧图像信息中捕捉用户的手部信息;将手部信息在Unity实时渲染平台中进行动作显示;在Unity实时渲染平台中进行动作显示的同时,确定用户手部动作的完成精度和完成度;计算用户的康复动作得分;根据用户的康复动作得分向用户提供相应的语音和图形反馈。优点:使得康复训练正变得更加个性化和智能化;能够根据患者的具体情况和反应,实时调整训练计划。这种个性化的训练方法有助于确保每位患者都能获得最适合自己的治疗,从而最大限度地提高康复效果。
-
-
-
-
-
-
-
-
-