多模态融合的人机交互的意图理解方法及系统

    公开(公告)号:CN119068554A

    公开(公告)日:2024-12-03

    申请号:CN202411269806.0

    申请日:2024-09-11

    Applicant: 济南大学

    Abstract: 本申请公开了一种多模态融合的人机交互意图理解方法及系统。其实现步骤为:麦克风捕获语音,再转换为文字;摄像头捕获帧序列;文字与帧序列通过判断门判断输入是否为空;如果内容为文字,则文字通过特征提取模块,得到文本特征;如果为文字与帧序列,则帧序列通过门控模块判断手势类型;如果为动态手势,则帧序列通过网络提取特征,与文本特征通过特征融合模块进行融合;如果为静态手势,则静态手势通过特征提取模块提取特征,与文本特征通过融合网络进行融合;如果输入内容为动态手势,则帧序列通过时间空间特征网络;最终进行意图分类。本发明形成一个完整的多模态融合网络,作为机器人进行意图理解的重要过程,可以更好提高意图理解准确率。

    基于边缘信息和多尺度交叉融合网络的帧插入方法及系统

    公开(公告)号:CN116895037B

    公开(公告)日:2024-10-29

    申请号:CN202310912141.X

    申请日:2023-07-24

    Applicant: 济南大学

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于边缘信息和多尺度交叉融合网络的帧插入方法及系统,包括:获取连续的两帧图像,对图像进行裁剪和尺度变换,得到裁剪后的原尺度图像以及尺度变换后的图像;对原尺度图像进行特征提取,利用基于边缘信息的特征增强模块对提取的特征进行增强得到增强后的特征;对增强后的特征进行尺度变换后,分别对不同尺度的增强后的特征进行像素级参数提取,接着使用自适应流协作根据提取的像素级参数对不同尺度的图像进行帧扭曲操作,得到三个尺度的扭曲帧;将三个尺度的扭曲帧输入多尺度交叉融合网络中以合成插值帧。本发明的基于边缘信息的特征增强模块能够使模型获得更加完整的特征图,从而提高模型性能。

    一种动态手势识别方法及系统

    公开(公告)号:CN110308795B

    公开(公告)日:2022-10-11

    申请号:CN201910604878.9

    申请日:2019-07-05

    Applicant: 济南大学

    Abstract: 本发明公开了一种动态手势识别方法及系统,该方法包括以下步骤:获取手部运动数据,包括三轴加速度和角速度数据;对手部运动数据进行处理,截取有效的手势动作数据;对手势动作数据进行特征提取,得到特征值,包括手势动作的长度、加速度的平均值、角速度的平均值以及加速度的极值点;获取待测手势动作数据,基于BP神经网络算法与K‑means算法对待测手势动作数据进行动态手势识别。

    一种高分辨率遥感目标大数据集的高效标注方法及系统

    公开(公告)号:CN110348415B

    公开(公告)日:2022-09-30

    申请号:CN201910645316.9

    申请日:2019-07-17

    Applicant: 济南大学

    Abstract: 本申请公开了一种高分辨率遥感目标大数据集的高效标注方法及系统,在获取的每景高分辨率遥感图像上按照预设条件截取影像图片;创建影像图片创建工程矢量文件;在工程矢量文件上给矢量图层标注属性;根据标注属性判断标注位置的目标物类型;将选好的目标物根据目标物类型的不同进行标注;将标注好的工程矢量文件进行保存;判断是否存在其他类型影像的标注信息,如果存在,则将带有标注框的工程矢量文件对应到多光谱图像和融合图像上;或者,如果不存在,则将最终标注结果进行保存。形成一个标注目标物的完整体系,可以在分辨率最高的全色图像上进行标注,最终对应到多光谱图像和融合图像,标注更为贴合目标物,使得标注更加快速精确。

    一种遥感影像实例分类方法、系统、终端及存储介质

    公开(公告)号:CN113191440A

    公开(公告)日:2021-07-30

    申请号:CN202110516965.6

    申请日:2021-05-12

    Applicant: 济南大学

    Abstract: 本发明提供一种遥感影像实例分类方法、系统、终端及存储介质,均能:获取目标地理区域的高分辨率全色遥感影像及多光谱遥感影像;对获取到的高分辨率全色遥感影像和多光谱遥感影像均进行实例标注,得到标注好的高分辨率全色遥感影像以及标注好的多光谱遥感影像;对标注好的高分辨率全色遥感影像和多光谱遥感影像分别进行图像特征提取,得到全色图像特征图和多光谱图像特征图;对所得到的全色图像特征图和多光谱图像特征图进行特征融合,得到融合特征图;将融合特征图输入分类卷积神经网络进行实例分类。本发明用于提升遥感影像实例分类效果。

    一种基于老年人行为特征的老年人行为识别检测方法

    公开(公告)号:CN112101235A

    公开(公告)日:2020-12-18

    申请号:CN202010977729.X

    申请日:2020-09-16

    Applicant: 济南大学

    Abstract: 本发明公开一种基于老年人行为特征的老年人行为识别检测方法,包括:在老年人身体上佩戴加速度传感器,令老年人做指定动作;通过Kinect设备和所述加速度传感器进行数据采集,通过Kinect设备获取动作视频,所述加速度传感器获取身体加速度数据;从所述动作视频提取动作帧;以第一特征提取通道提取所述动作帧的空间特征和时间特征;以第二特征提取通道,提取所述身体加速度数据的数值特征和时间特征;将所述第一特征提取通道和第二特征提取通道的输出结果通过前馈神经网络融合获得目标结果。本发明利用老年人行为特征与年轻人行为特征在时间上的区别能识别老年人行为,而且通过对动作视频和身体加速度数据特征来进行行为识别,互为补充使得识别更加准确。

    一种面向老年陪护机器人的意图理解方法和系统

    公开(公告)号:CN112101219A

    公开(公告)日:2020-12-18

    申请号:CN202010970662.7

    申请日:2020-09-15

    Applicant: 济南大学

    Abstract: 本发明提出了一种面向老年陪护机器人的意图理解方法和系统,该方法包括:实时获取老年人的手势图像和姿态信息,对手势图像和姿态信息均进行图像分割分别形成手势数据集和姿态数据集;将手势数据集输入训练好的神经网络模型进行手势识别得到手势识别概率集、将姿态数据集输入训练好的隐马尔可夫模型进行姿态识别得到姿态识别概率集;基于混淆矩阵的融合算法将手势识别概率集和姿态识别概率集进行意图融合,在不同意图分类下,采用F1分数计算两个概率集融合时不同意图下的权重占比;进而确定出最终识别意图。基于该方法,还提出了意图理解系统。本发明提高了老年陪护机器人系统的意图理解率,以及老年人对于社交陪护机器人的使用满足感。

    一种面向虚拟实验的多模态语义融合人机交互系统和方法

    公开(公告)号:CN111665941A

    公开(公告)日:2020-09-15

    申请号:CN202010509144.5

    申请日:2020-06-07

    Applicant: 济南大学

    Abstract: 本发明涉及一种面向虚拟实验的多模态语义融合人机交互系统和方法,包括交互信息集成模块,还包括交互信息获取模块、交互意图推理模块和交互任务直行模块,其中,所述交互信息模块采用多模态融合模型来准确识别操作者的真实意图,并将获取到的信息提供给交互意图推理模块;所述交互意图推理模块根据手势语义和语言语义结合场景当前的交互情景来识别用户的交互意图,预测潜在的交互行为;所述交互任务执行模块根据交互意图推理模块预测的交互动作,生成用户期望的实验动作,生成响应的实验效果,返回对应的操作反馈,最后,实验效果和反馈通过不同的通道输出给用户。本发明解决了当下虚拟实验中面临的交互困难的问题。

    一种基于互补卷积特征的高分辨率遥感影像融合方法及系统

    公开(公告)号:CN111340080A

    公开(公告)日:2020-06-26

    申请号:CN202010100890.9

    申请日:2020-02-19

    Applicant: 济南大学

    Abstract: 本申请公开了一种基于互补卷积特征的高分辨率遥感影像融合方法及系统,在选取的高分辨率遥感影像上进行目标物手工标注;将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络;分别进行特征提取,分别得到全色图像特征图和多光谱图像特征图;叠加全色图像特征图和多光谱图像特征图,送入特征融合网络进行特征融合,得到高分辨率的多光谱图像。在进行高分辨率遥感影像融合时,形成一个基于互补卷积特征融合的完整体系,可以对全色图像和多光谱图像分别进行特征提取,叠加后输入融合网络最终得到融合图像,大大提升了图像质量。并且虑了样本的多样性,图像大小灵活多变,特征提取更为符合图像特点,使得融合后的图像质量更好。

Patent Agency Ranking