公开(公告)号：CN119068355A

公开(公告)日：2024-12-03

申请号：CN202411269948.7

申请日：2024-09-11

Applicant: 济南大学

Inventor： 徐涛 ,  张瀚 ,  杨晓晖 ,  陈伟平 ,  臧俊源

IPC: G06V20/13 ,  G06V20/10 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 本申请公开了一种基于分组卷积注意力网络的多尺度检测优化方法及系统。其实现方法的实现步骤为：构造分组卷积注意力网络模块；将分组卷积注意力网络模块引入到一般的基于卷积神经网络的物体检测模型中；划分物体检测数据集；对数据集中的图像进行预测处理；使用训练数据用物体检测模型和分组卷积注意力网络模块进行协同训练；将验证数据送入到检测模型进行检测；得到检测结果；本发明利用构建的分组卷积注意力网络模块和一般的基于深度卷积神经网络的物体检测模型进行协同训练，用来增强检测模型的特征提取网络来用于多尺度物体检测，在不增加计算代价的同时提高了物体检测精度。

公开(公告)号：CN116681176B

公开(公告)日：2024-05-03

申请号：CN202310689450.5

申请日：2023-06-12

Applicant: 济南大学

Inventor： 韩士元 ,  罗磊 ,  李昊 ,  龚开 ,  李忠涛 ,  周劲 ,  杨晓晖

IPC: G06Q10/04 ,  G08G1/01 ,  G08G1/065 ,  G06Q50/40 ,  G06F18/23 ,  G06F18/22 ,  G06F17/16 ,  G06F17/10 ,  G06N3/04 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明提供了一种基于聚类和异构图神经网络的交通流预测方法，属于交通流预测领域，所述交通流预测方法包括聚类模块、图转换模块以及时空特征学习模块；聚类模块通过动态时间规整算法与瓦瑟斯坦距离度量各节点在交通模式上的相似性，并使用谱聚类将节点按交通模式划分为不同簇；图转换模块用以自适应地为同簇节点构造元路径图；时空特征学习模块用以根据元路径图捕获节点间的时空相关性。本发明可以移植并应用于多种现有的基于图神经网络的交通流预测模型，在其基础上对交通数据的异质性建模，提高其预测精度。

公开(公告)号：CN117896526A

公开(公告)日：2024-04-16

申请号：CN202410059485.5

申请日：2024-01-15

Applicant: 济南大学

Inventor： 杨晓晖 ,  王绍文 ,  王静 ,  张风 ,  司统振

IPC: H04N19/132 ,  H04N19/182 ,  H04N19/42 ,  H04N19/44 ,  G06T9/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了基于双向编码结构的视频帧插值方法及系统；对第一尺度的输入帧图像进行预处理，得到第二和第三尺度的输入帧图像；将第一尺度的输入帧图像，输入到训练后的插值帧生成模型得到插值帧；模型对第一尺度的输入帧图像进行处理，得到第一尺度原始特征；对第一尺度原始特征进行预处理，得到第二、三尺度的原始特征；将第一、二和三尺度的原始特征，各自输入到对应的子网络，分别得到第一、二和三尺度原始特征上每个目标像素的像素级参数；基于每个尺度原始特征上每个目标像素的像素级参数和AdaCoF，对相应尺度的输入图像进行扭曲操作，得到相应尺度的扭曲帧图像；对多个尺度的扭曲帧图像进行合成操作得到插值帧。

公开(公告)号：CN112099630B

公开(公告)日：2024-04-05

申请号：CN202010958262.4

申请日：2020-09-11

Applicant: 济南大学

Inventor： 冯志全 ,  郎需婕 ,  郭庆北 ,  徐涛 ,  杨晓晖 ,  范雪 ,  田京兰

IPC: G06F3/01 ,  G06V20/40 ,  G06V40/20 ,  G06V10/82 ,  G10L15/26 ,  G06F40/30 ,  G06F16/587

Abstract: 本发明公开一种多模态意图逆向主动融合的人机交互方法，包括：获取环境数据、用户的手势数据以及用户的语音数据；对所述环境数据进行场景感知获取环境信息，对所述手势数据进行手势信息提取获取手势意图，对所述语音数据进行语音信息提取获取语音意图；进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图；对所述融合意图进行信任度评价获取目标融合意图；按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得，使得意图识别更加准确；能够避免老年人因健忘而重复某一意图；通过主动问询的方式确认发生概率较低的融合意图是否用户本意，获取反映用户本意的目标融合意图。

公开(公告)号：CN115984712A

公开(公告)日：2023-04-18

申请号：CN202310011631.2

申请日：2023-01-05

Applicant: 济南大学

Inventor： 李岩 ,  陈伟平 ,  韩士元 ,  徐涛 ,  杨晓晖 ,  刘振 ,  董立凯

IPC: G06V20/13 ,  G06V10/40 ,  G06V10/80 ,  G06V10/25 ,  G06V10/82 ,  G06T5/00 ,  G06T5/20 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了基于多尺度特征的遥感图像小目标检测方法及系统；获取待检测的遥感图像；对待检测的遥感图像进行去雾处理和亮度增强处理；将亮度增强处理后的图像，输入到训练后的遥感图像小目标检测模型中，得到遥感图像的小目标检测结果；训练后的遥感图像小目标检测模型，其工作原理包括：对亮度增强处理后的遥感图像进行多尺度特征提取；对提取的多尺度特征进行特征融合和特征增强，得到特征图；对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框；将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果。

公开(公告)号：CN110175607B

公开(公告)日：2023-01-24

申请号：CN201910362144.4

申请日：2019-04-30

Applicant: 济南大学

Inventor： 冯志全 ,  孟俊宏 ,  徐涛 ,  杨晓晖 ,  田京兰 ,  范雪

IPC: G06V30/142 ,  G06F3/0354 ,  G09B17/02

Abstract: 本发明提供了一种激光笔套件及其画图跟踪实现方法，本发明利用Kinect设备与AR交互算法以及激光笔按钮相结合，只需要在Kinect设备前做动作即可实现远程任意画直线或曲线的操作，另外还可进行选择、旋转以及平移操作，当选择物体时，激光笔会发出激光，从而获知选择哪个物体，实现以简单的方式来进行数学图形的绘制，方便远程教学。在画图追踪算法上，将基于颜色特征的检测、五帧差分算法与混合高斯模型进行结合。将三个检测出的结果进行逻辑“与”运算，再通过连通性检测得到完整的运动目标。从而有效地克服光照变化噪声干扰、空洞的现象，具有鲁棒性和准确性。

公开(公告)号：CN115546620A

公开(公告)日：2022-12-30

申请号：CN202211315973.5

申请日：2022-10-26

Applicant: 济南大学

Inventor： 彭京亮 ,  孙淑奇 ,  杨晓晖

IPC: G06V20/00 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供的一种基于YOLO的轻量级目标检测网络、方法及电子设备，骨干网络选择轻量级网络作为基线骨干结构，靠近网络结构前端的位置设置简化的非局部块，在轻量级网络骨干上设置多个3×3卷积分支，每个分支平行于一个瓶颈模块序列，骨干网络接收端引入原始图像的高频小波信息；检测颈部中的每个3×3卷积替换为一个由3×3深度可分离卷积和一个挤压激励块融合而成的简洁块；检测头部中的一个3×3卷积替换为一个由3×3深度可分离卷积和一个挤压激励块融合而成的简洁块。使用原始图像的高频小波信息来增强输入，为神经网络提供目标定位和表征的初始指导。此外还简化了原始YOLO基线网络的主干、检测颈和检测头，在保证图像小目标检测精度的前提下，减小了网络的规模。

公开(公告)号：CN112101219B

公开(公告)日：2022-11-04

申请号：CN202010970662.7

申请日：2020-09-15

Applicant: 济南大学

Inventor： 冯志全 ,  豆少松 ,  郭庆北 ,  杨晓晖 ,  徐涛 ,  田京兰 ,  范雪

IPC: G06V40/20 ,  G06V10/26 ,  G06V10/764 ,  G06V10/84 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  G10L15/08 ,  G10L15/22

Abstract: 本发明提出了一种面向老年陪护机器人的意图理解方法和系统，该方法包括：实时获取老年人的手势图像和姿态信息，对手势图像和姿态信息均进行图像分割分别形成手势数据集和姿态数据集；将手势数据集输入训练好的神经网络模型进行手势识别得到手势识别概率集、将姿态数据集输入训练好的隐马尔可夫模型进行姿态识别得到姿态识别概率集；基于混淆矩阵的融合算法将手势识别概率集和姿态识别概率集进行意图融合，在不同意图分类下，采用F1分数计算两个概率集融合时不同意图下的权重占比；进而确定出最终识别意图。基于该方法，还提出了意图理解系统。本发明提高了老年陪护机器人系统的意图理解率，以及老年人对于社交陪护机器人的使用满足感。

公开(公告)号：CN112906617A

公开(公告)日：2021-06-04

申请号：CN202110251693.1

申请日：2021-03-08

Applicant: 济南大学

Inventor： 杨晓晖 ,  马哲 ,  冯志全 ,  韩士元 ,  范雪 ,  田京兰

IPC: G06K9/00 ,  G06K9/62

Abstract: 本公开公开的一种基于手部检测的驾驶员异常行为识别方法与系统，包括：获取待识别的驾驶员手势图像；将待识别的驾驶员手势图像输入训练好的手势检测模型中，获取驾驶员手势识别结果；其中，手势检测模型以CenterNet算法为基础，在CenterNet主干特征提取模块的每个Block中添加通道注意力模块。实现了对驾驶员手势的准确识别。

公开(公告)号：CN112149574A

公开(公告)日：2020-12-29

申请号：CN202011014566.1

申请日：2020-09-24

Applicant: 济南大学

Inventor： 冯志全 ,  邱小彧 ,  郭庆北 ,  杨晓晖 ,  徐涛 ,  田京兰 ,  范雪

IPC: G06K9/00 ,  G06K9/62 ,  G06T7/11 ,  G06T7/13 ,  G06T7/136 ,  G06F3/01

Abstract: 本发明为了解决现有技术中存在的技术问题，创新提出了一种面向陪护机器人的意图柔性映射方法，通过目标物体检测的方式感知交互情境，利用基于视觉的手势识别技术来进行人机交互，利用用户在使用同一种手势表达不同语义时，由于对不同事物的认知不同而形成的特征差异作为柔性映射的基础，实现了同一交互情境下一种手势到多种语义的映射，摆脱了传统的一种指令对应一种操作的人机交互模式，这样只需要规定少量的手势即可以完成多个功能，本发明还提出了一种面向陪护机器人的意图柔性映射装置，降低了老年人的认知负担，使得对陪护机器人的使用更加的简易、灵活。