-
公开(公告)号:CN115797776A
公开(公告)日:2023-03-14
申请号:CN202211640734.7
申请日:2022-12-20
Applicant: 济南大学
Abstract: 本发明公开了遥感建筑物检测的方法及系统;其中所述方法,包括:构建训练集,所述训练集为已知遥感建筑物检测标签的遥感图像;采用训练集对建筑物检测模型进行训练,得到训练后的建筑物检测模型,其中,所述训练后的建筑物检测模型中设有边缘掩码网络;将边缘掩码网络,从训练后的建筑物检测模型中移除,得到修正的建筑物检测模型;获取待检测的遥感图像,将待检测的遥感图像输入到修正的建筑物检测模型中,输出图像中建筑物的检测结果。本发明利用边缘检测算子生成的边缘掩码标签和边缘掩码网络生成的特征图像进行训练,用来增强位置信息,在不增加计算代价的同时提高了物体检测精度。
-
公开(公告)号:CN115546503A
公开(公告)日:2022-12-30
申请号:CN202211285533.X
申请日:2022-10-20
Applicant: 济南大学
IPC: G06V10/42 , G06V10/26 , G06V10/764 , G06V10/82 , G06V10/774 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于深度注意力的自适应多尺度视觉特征表达方法及系统,包括:获取原始神经网络模型作为SDA网络模块的主干分支,用于分层特征的提取;设计SDA网络模块的轻量化深度注意力分支,用于动态加权分层特征;堆叠多个SDA网络模块构成神经网络,即为基于深度注意力的自适应多尺度视觉特征表达的神经网络方法;对自适应多尺度特征表达神经网络SDA‑Net进行参数优化,所得到的神经网络模型可用于图像分类、目标检测和语义分割等视觉任务的主干。
-
公开(公告)号:CN110348417B
公开(公告)日:2022-09-30
申请号:CN201910646658.2
申请日:2019-07-17
Applicant: 济南大学
IPC: G06V40/20 , G06V40/10 , G06V10/764
Abstract: 本申请公开了一种深度手势识别算法的优化方法,涉及人机交互技术领域,所述方法包括:建立统一的数据集存放结构和统一的数据集文件;根据配置文件将数据集样本以载入到内存中;将载入的数据集样本交给完整统一的训练模块;优化神经网络结构;根据配置信息来配置训练过程中各种可调参数和训练模块的行为并开始训练;训练结束后依据配置文件进行模型的保存和实验中数据的保存;将训练过程产生的数据加载到画图模块进行训练过程相关曲线的绘制。建立统一的数据集存放结构和统一的数据集文件,能在不同的项目间迁移,对多种传统网络的网络参数设置与优化,将传统网络结合实际使用情况加以优化和改进,增加训练速度,优化训练结果,减小模型体积。
-
公开(公告)号:CN112651326B
公开(公告)日:2022-09-27
申请号:CN202011530576.0
申请日:2020-12-22
Applicant: 济南大学
IPC: G06V20/59 , G06V40/10 , G06V10/774
Abstract: 本发明公开一种基于深度学习的驾驶员手部检测方法及系统,包括:获取手部标注图像;在深度学习网络模型的主干网络中每个特征层上添加注意力机制,在注意力机制后连接由空间金字塔池化层和金字塔注意力网络组成的残差单元;对手部标注图像依次经主干网络和残差单元进行自下而上和自上而下的特征提取,根据得到的特征图对深度学习网络模型进行训练;对待测手部图像根据训练后的深度学习网络模型得到驾驶员手部的位置。通过将注意力机制模块添加到YOLOv4中主干网络CSPDarknet53中,优化深度学习网络,降低复杂驾驶环境中光照、遮挡与自遮挡等对驾驶员手部检测的影响,提高驾驶员手部检测的准确性。
-
公开(公告)号:CN115018071A
公开(公告)日:2022-09-06
申请号:CN202210624662.0
申请日:2022-06-02
Applicant: 济南大学
IPC: G06N3/08 , G06N3/04 , G06V20/10 , G06V20/13 , G06V10/44 , G06V10/764 , G06V10/766 , G06V10/774 , G06V10/82
Abstract: 本发明公开了一种基于自解码的特征增强网络优化方法及系统,包括以下步骤:S1、构建自解码器模块;S2、将自解码器模块引入到一般的基于卷积神经网络的物体检测模型中,将构建好的自解码器模块引入到物体检测模型的骨干网络;S3、划分物体检测数据集;S4、对数据集中的图像进行预测处理;S5、使用训练数据用物体检测模型和解码器进行协同训练;S6、将自解码器移除;S7、将验证数据送入到检测模型进行检测;S8、得到检测结果,将S7得到检测结果映射到原图的相应位置并标注预测的类别信息。本发明具有将强的嵌入型,且不增加预测时长,而且和更深的骨干网络的预测结果相比也不逊色。
-
公开(公告)号:CN112651326A
公开(公告)日:2021-04-13
申请号:CN202011530576.0
申请日:2020-12-22
Applicant: 济南大学
Abstract: 本发明公开一种基于深度学习的驾驶员手部检测方法及系统,包括:获取手部标注图像;在深度学习网络模型的主干网络中每个特征层上添加注意力机制,在注意力机制后连接由空间金字塔池化层和金字塔注意力网络组成的残差单元;对手部标注图像依次经主干网络和残差单元进行自下而上和自上而下的特征提取,根据得到的特征图对深度学习网络模型进行训练;对待测手部图像根据训练后的深度学习网络模型得到驾驶员手部的位置。通过将注意力机制模块添加到YOLOv4中主干网络CSPDarknet53中,优化深度学习网络,降低复杂驾驶环境中光照、遮挡与自遮挡等对驾驶员手部检测的影响,提高驾驶员手部检测的准确性。
-
公开(公告)号:CN112099632A
公开(公告)日:2020-12-18
申请号:CN202010974163.5
申请日:2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种面向助老陪护的人‑机器人协同交互方法,本发明通过识别获得所需手势信息、认知目标和语音信息,并通过过滤处理,输出各模态的有效信息,通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽,实现用户意图的准确捕获,并对意图槽和必要的识别结果一起作为输入信息,通过基于认知模型的协同任务决策算法进行处理,在知识库和规则库的支持下,输出子任务执行的决策结果,实现人‑机器人协同工作。本发明可在降低老人交互负担的前提下,提高老年人和机器人之间的任务完成的绩效,使得老年人对机器人的陪护给予较高的满意度评价。
-
公开(公告)号:CN112099630A
公开(公告)日:2020-12-18
申请号:CN202010958262.4
申请日:2020-09-11
Applicant: 济南大学
Abstract: 本发明公开一种多模态意图逆向主动融合的人机交互方法,包括:获取环境数据、用户的手势数据以及用户的语音数据;对所述环境数据进行场景感知获取环境信息,对所述手势数据进行手势信息提取获取手势意图,对所述语音数据进行语音信息提取获取语音意图;进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图;对所述融合意图进行信任度评价获取目标融合意图;按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得,使得意图识别更加准确;能够避免老年人因健忘而重复某一意图;通过主动问询的方式确认发生概率较低的融合意图是否用户本意,获取反映用户本意的目标融合意图。
-
公开(公告)号:CN110077416B
公开(公告)日:2020-12-11
申请号:CN201910376543.6
申请日:2019-05-07
Applicant: 济南大学
IPC: B60W40/09
Abstract: 本公开提供了一种基于决策树的驾驶员意图分析方法及系统,本公开利用车载传感器采集驾驶员在实际驾驶过程中,车速、加速踏板的位移、制动踏板的位移、方向盘的转向角度以及距离路口的实时距离;然后,利用多流卷积神经网络检测驾驶员注视位置,并通过RGB摄像头获取驾驶员头部姿态信息;其次,对以上数据做相应标记后利用SVD降维筛选出关键特征;最后,使用决策树算法对以上采集到的数据进行分析得出驾驶员意图类型,以对汽车进行更好的控制。
-
公开(公告)号:CN110362210A
公开(公告)日:2019-10-22
申请号:CN201910670994.0
申请日:2019-07-24
Applicant: 济南大学
Abstract: 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置,根据获取到眼动数据,进行注视点跟踪;根据获取的手势信息,进行手势的识别,对得到的手势识别数据和眼动数据进行标注,构成训练集,构建多流卷积神经网络-长短期记忆网络模型,所述网络模型利用训练集进行自我学习;将训练得到的最优网络模型应用在虚拟装配过程,获取虚拟装配过程的眼动数据和手势信息,提取眼动与手势特征,根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题,并利用深度学习算法的优势,以较高的准确率识别视频中操作人员的行为,完成虚拟装配任务,实现人机交互。
-
-
-
-
-
-
-
-
-