基于边缘信息和多尺度交叉融合网络的帧插入方法及系统

    公开(公告)号:CN116895037B

    公开(公告)日:2024-10-29

    申请号:CN202310912141.X

    申请日:2023-07-24

    Applicant: 济南大学

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于边缘信息和多尺度交叉融合网络的帧插入方法及系统,包括:获取连续的两帧图像,对图像进行裁剪和尺度变换,得到裁剪后的原尺度图像以及尺度变换后的图像;对原尺度图像进行特征提取,利用基于边缘信息的特征增强模块对提取的特征进行增强得到增强后的特征;对增强后的特征进行尺度变换后,分别对不同尺度的增强后的特征进行像素级参数提取,接着使用自适应流协作根据提取的像素级参数对不同尺度的图像进行帧扭曲操作,得到三个尺度的扭曲帧;将三个尺度的扭曲帧输入多尺度交叉融合网络中以合成插值帧。本发明的基于边缘信息的特征增强模块能够使模型获得更加完整的特征图,从而提高模型性能。

    一种感知场景信息的方法、仿真装置、机器人

    公开(公告)号:CN111753696B

    公开(公告)日:2024-04-02

    申请号:CN202010552152.8

    申请日:2020-06-17

    Applicant: 济南大学

    Inventor: 冯志全

    Abstract: 本发明提供了一种感知场景信息的方法,所述的方法包括:S1:通过摄像头获取场景图像数据;S2:基于场景图像数据,计算虚拟物体在场景中的位置坐标;S3:基于场景图像数据,计算障碍物在场景中的位置坐标;S4:将障碍物坐标与虚拟物体坐标进行作差处理,确定场景内的各个物体的位置关系。本发明基于简单的实现逻辑,简化了应用条件,能够根据位置估计和地图进行自身定位,实现场景信息的感知。此外,还将该方法应用于仿真装置和机器人中。

    一种虚拟仿真实验系统
    4.
    发明授权

    公开(公告)号:CN110288714B

    公开(公告)日:2022-11-04

    申请号:CN201910543576.5

    申请日:2019-06-21

    Applicant: 济南大学

    Inventor: 冯志全

    Abstract: 本发明公开了一种虚拟仿真实验系统,其特征是,包括摄像头和虚拟实验容器,所述虚拟实验容器包括电子芯片和显示器,所述摄像头获取场景中物体和操作人员人脸数据图像,所述电子芯片处理所述数据图像,根据数据图像中人脸视线与虚拟实验容器的位置关系,计算得到电子芯片预存的实验三维动画序列沿视线方向的二维投影,所述显示器显示所述二维投影。该虚拟仿真实验系统在实验容器本体结构上设置显示器,解决了实验操作中用户眼睛和正在操作的实验容器方向不一致的问题,使用户的操作过程方便自然,减少用户的认知负荷,改善用户体验。

    一种基于多模态强化学习的人机协同框架

    公开(公告)号:CN114781652B

    公开(公告)日:2022-10-14

    申请号:CN202210700832.9

    申请日:2022-06-21

    Applicant: 济南大学

    Inventor: 冯志全 蔡泽源

    Abstract: 本发明公开了一种基于多模态强化学习的人机协同框架,涉及人机协同技术领域,包括多模态强化学习意图理解模块和任务分配模块,所述的多模态强化学习意图理解模块中机器人通过收集用户的三种模态的特征通过强化学习在反复的迭代中学习用户的行为习惯,进而消除由于不同用户的行为习惯差异而产生的误差,实现对用户的更加鲁棒的意图理解,所述的任务分配模块根据用户的行为获取用户的意图之后指定机器人的动作序列。本发明消除了用户个体之间习惯的差异性而导致的协作效果偏差的问题,具有用户感知实时性好、适应性强的有益效果。

    一种动态手势识别方法及系统

    公开(公告)号:CN110308795B

    公开(公告)日:2022-10-11

    申请号:CN201910604878.9

    申请日:2019-07-05

    Applicant: 济南大学

    Abstract: 本发明公开了一种动态手势识别方法及系统,该方法包括以下步骤:获取手部运动数据,包括三轴加速度和角速度数据;对手部运动数据进行处理,截取有效的手势动作数据;对手势动作数据进行特征提取,得到特征值,包括手势动作的长度、加速度的平均值、角速度的平均值以及加速度的极值点;获取待测手势动作数据,基于BP神经网络算法与K‑means算法对待测手势动作数据进行动态手势识别。

    一种基于机器视觉的双目相机障碍物检测方法

    公开(公告)号:CN115147493A

    公开(公告)日:2022-10-04

    申请号:CN202210483047.2

    申请日:2022-05-06

    Applicant: 济南大学

    Abstract: 本发明公开了一种基于机器视觉的双目相机障碍物检测方法,用于AGV对障碍物的检测。本发明首先使用双目相机作为传感器获取两张左右图像,根据相机标定参数对左右图像做畸变校正处理,然后对图像预处理消除环境噪声,使用立体匹配获得图像的视差图,最后计算视差图像中最大视差值,根据视差求出当前图像帧中最小的深度距离,将该距离与预先设定的安全距离比较,判断是否存在障碍物。

    一种具有认知功能的导航式实验交互装置

    公开(公告)号:CN110286763B

    公开(公告)日:2022-09-23

    申请号:CN201910543141.0

    申请日:2019-06-21

    Applicant: 济南大学

    Abstract: 本发明提出了一种具有认知功能的导航式实验交互装置,包括信息输入感知模块、信息融合模块以及操作应用模块;其中信息输入感知模块获取视觉感知;获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知,确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达,以多模态信息相交集合与意图特征集合进行匹配,构成多模态意图理解模型,完成多模态融合,通过文字或语音对关键操作进行提示或指引,根据用户意图与操作规范判断错误操作,并对错误操作行为进行提示或对其后果进行可视化呈现。

    一种基于深度哈希的运动捕获数据检索方法及系统

    公开(公告)号:CN112925936B

    公开(公告)日:2022-08-12

    申请号:CN202110196648.0

    申请日:2021-02-22

    Applicant: 济南大学

    Abstract: 本公开提供了一种基于深度哈希的运动捕获数据检索方法及系统,所述方案包括:基于运动捕获数据库中的运动捕获数据序列,生成每段运动捕获数据的运动表示图像;构建深度哈希特征提取模型,通过预训练的深度哈希特征提取模型提取所述运动表示图像的哈希特征;对于待检索的运动捕获数据,提取其哈希特征,并计算待检索的运动捕获数据哈希特征与所述运动捕获数据库中每段运动捕获数据哈希特征的距离,选择距离最近的前k个数据作为检索结果。本公开所述方案相对于现有技术具有更高的检索精度和效率。

Patent Agency Ranking