-
公开(公告)号:CN118172415A
公开(公告)日:2024-06-11
申请号:CN202410209646.4
申请日:2024-02-26
Applicant: 山东大学 , 山东正晨科技股份有限公司 , 山东芯辰人工智能科技有限公司
Abstract: 本发明属于图像处理技术领域,提供了基于多尺度特征与先验知识的抓取位姿检测方法及系统。其中,基于多尺度特征与先验知识的抓取位姿检测方法包括获取场景图像;提取所述场景图像中的粗粒度特征及不同层次的细粒度特征并进行融合,得到融合特征图;对融合特征图进行不同尺度特征修复,得到相应修复特征图并进行归一化,然后与融合特征图相乘后再次融合,得到修复后的融合特征图;将修复后的融合特征图转换为融合特征复用图,将融合特征复用图结合外部注意力机制的先验知识,得到关键特征图;基于关键特征图与抓取位姿的映射关系,确定出相应抓取位姿。其综合图像中多尺度特征融合及融合后特征的修复,避免错误的抓取位姿预测,提高了预测准确率。
-
公开(公告)号:CN114937083B
公开(公告)日:2024-04-02
申请号:CN202210586859.X
申请日:2022-05-27
Applicant: 山东大学
IPC: G06T7/73 , G06V10/82 , G06V10/26 , G06V10/764 , G06V10/766 , G06V20/70 , G06N3/045 , G06N3/0464 , G06N3/0895 , G01C21/00
Abstract: 本发明属于移动机器人自主定位领域,提供了一种应用于动态环境的激光SLAM系统及方法,采集机器人当前所在位置的周围环境信息,得到当前环境的三维点云数据;对当前环境的三维点云数据进行球面投影,生成规则的顶点图;基于规则的顶点图,利用预先训练好的激光SLAM模型进行位姿估计和地图构建;本发明解决现有技术中的不足,即环境中动态物体的存在会破坏SLAM的静态环境假设、激光里程计环节对深度学习的表的能力应用不充分,只简单地利用深度学习方法增加语义约束、闭环检测环节没有关注到场景中不同物体间的拓扑关系、在运动物体剔除方法中应用全类别语义分割造成信息浪费,增加无用人工标记成本和动态物体分割不完整等问题。
-
公开(公告)号:CN117473279A
公开(公告)日:2024-01-30
申请号:CN202311297418.9
申请日:2023-10-08
Applicant: 山东大学 , 山东芯辰人工智能科技有限公司 , 山东正晨科技股份有限公司
IPC: G06F18/21 , G06F18/214 , G06F16/583 , G06F16/532 , G06F16/332 , G06N3/0455 , G06N5/04 , G06N5/022
Abstract: 本发明属于人机交互技术领域,提供了基于问题类型感知的测试时VQA模型去偏方法及系统。其中,基于问题类型感知的测试时VQA模型去偏方法包括从测试集中依次选择一组数据作为正样本并建立负样本;每个样本所对应的问题类型自适应匹配不同答案熵值变化率阈值;使用经过训练集训练的VQA模型去预测正样本及负样本的答案;计算预测的正样本和负样本的答案熵值,采用自适应熵值最小化方法判断各个样本的可靠性;计算可靠样本的答案熵值变化率,再与对应类型问题的答案熵值变化率阈值比较来判断样本是否存在偏差,采用无偏差的样本来优化预训练VQA模型,直到预测完所有的测试集数据。其能够减轻测试集中的语言偏差样本对模型适配的影响。
-
公开(公告)号:CN116912837A
公开(公告)日:2023-10-20
申请号:CN202310784642.4
申请日:2023-06-29
Applicant: 山东大学 , 山东芯辰人工智能科技有限公司 , 山东正晨科技股份有限公司
IPC: G06V30/148 , G06V20/62 , G06V30/166 , G06V30/18 , G06V30/19
Abstract: 本发明提出了一种基于细节和边界驱动的指代目标图像分割方法及系统,包括:获取所需的场景图片和文本描述数据,所述文本描述数据为对所需目标的语言描述;对获取的数据进行预处理,包括:将获取的场景图片进行预处理得到归一化后的图片数据,将文本描述数据编码成向量;将预处理后的数据进行语言特征提取、视觉特征提取和多模态交互对齐,并使用边界、细节和显著性检测方法对特征进行融合增强,获得高质量的指代目标掩码,实现指代目标图像分割。
-
公开(公告)号:CN116541490A
公开(公告)日:2023-08-04
申请号:CN202310324898.7
申请日:2023-03-27
Applicant: 山东大学 , 山东芯辰人工智能科技有限公司 , 山东正晨科技股份有限公司
IPC: G06F16/332 , G06F16/783 , G06F40/284 , G06V20/40 , G06F18/25 , G06N3/0442 , G06N3/08
Abstract: 本发明属于服务机器人视频问答技术领域,提供云服务机器人的复杂场景视频问答方法及系统。其中,复杂场景视频问答方法包括获取问题文本信息及复杂场景视频,作为待查询的信息交互数据;从问题文本信息中提取所有动词及名词,从待交互的视频数据中提取物体动作信息和物体静态信息;融合动词和物体动作信息,得到视频框架特征;融合名词和物体静态信息,得到行为动作特征;将视频框架特征和行为动作特征这两个特征与先验数据集进行对比学习,从先验数据集中匹配出文本信息及定位出视频帧信息,进行多模态融合,得到融合预测结果;将待查询的信息交互数据与所述融合预测结果进行匹配,选取相似度最高的一组融合预测结果,作为视觉问答输出结果。
-
公开(公告)号:CN116524337A
公开(公告)日:2023-08-01
申请号:CN202310326414.2
申请日:2023-03-27
Applicant: 山东大学 , 山东芯辰人工智能科技有限公司 , 山东正晨科技股份有限公司
IPC: G06V20/00 , G06V10/764 , G06V10/40 , G06V10/80 , G06V10/82 , G06F16/36 , G06F16/901 , G06F18/22
Abstract: 本发明属于服务机器人视觉场景识别技术领域,提供了一种知识增强的多服务机器人物体类别识别方法及系统。其中,知识增强的多服务机器人物体类别识别方法获取机器人运行的场景图片,提取场景图片中的视觉信息特征图,得到场景图片中目标检测框及其物体类别的初步预测结果,并将所述视觉信息特征图转换成场景信息向量;选取预先构建的知识图谱中的信任目标标签节点,基于转换的场景信息向量及目标检测框信息组成匹配向量,计算所述匹配向量与以所述信任目标标签节点为起始的边的相似度,根据相似度大小确定出所述场景图片中物体类别的查询预测结果;将所述场景图片中物体类别的查询预测结果与初步预测结果进行融合,得到最终的物体类别识别结果。
-
公开(公告)号:CN113591781B
公开(公告)日:2023-07-28
申请号:CN202110920681.3
申请日:2021-08-11
Applicant: 山东大学
IPC: G06V20/10 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/049 , G06N3/08
Abstract: 本发明属于服务机器人图像处理领域,提供了一种基于服务机器人云平台的图像处理方法及系统。其中,该方法包括获取待分类图像;将待分类图像经所述服务机器人云平台内优化完成的图像分类网络模型处理后,得到图像分类结果;所述图像分类网络模型的优化过程为:基于图像样本集合计算图像分类网络模型梯度,并将梯度归一化;归一化梯度经元优化器系统处理得到设定数量的候选更新;利用Look‑Ahead算法将设定数量的候选更新融合为最终更新;利用最终更优化练图像分类网络模型的参数,并存储至服务机器人云平台内。
-
公开(公告)号:CN114970715A
公开(公告)日:2022-08-30
申请号:CN202210582774.4
申请日:2022-05-26
Applicant: 山东大学
Abstract: 本发明属于智能故障诊断领域,提供了小样本及不平衡数据约束下的变工况故障诊断方法及系统,该方法包括:获取待检测设备不同工况下的故障振动数据;将不同工况下的故障振动数据分为源域和目标域数据;基于目标域数据和训练后的故障诊断网络中,得到故障诊断结果;其中,所述故障诊断网络的训练过程包括:将源域和目标域数据分别结合基于胶囊特征构造的图卷积网络进行特征提取得到源域和目标域的特征分布;采用融合最大均值差异和领域对抗神经网络的混合领域自适应方法,对齐源域和目标域的特征分布并输出故障分类结果。使故障诊断方法在小样本及不平衡数据约束下实现良好的故障诊断性能。
-
公开(公告)号:CN114485673A
公开(公告)日:2022-05-13
申请号:CN202210122517.2
申请日:2022-02-09
Applicant: 山东大学
IPC: G01C21/20
Abstract: 本发明公开了基于深度强化学习的服务机器人人群感知导航方法及系统,包括:获取智能体的可观测状态和不可观测状态;所述智能体,包括服务机器人和行人;根据智能体的可观测状态和不可观测状态,找到服务机器人在每个时间步的最优导航策略,以实现机器人在n个行人之间导航,并在没有任何碰撞的情况下到达目标所在地;最优导航策略以满足最大化期望累积奖赏为目标;所述最优导航策略包括服务机器人在每个时间步的动作指令,即在每个时间步服务机器人需实现的速度。本发明能够有效预测行人的未来运动轨迹,进而提升机器人决策水平,实现机器人在人群环境中的可靠导航。
-
公开(公告)号:CN113591781A
公开(公告)日:2021-11-02
申请号:CN202110920681.3
申请日:2021-08-11
Applicant: 山东大学
Abstract: 本发明属于服务机器人图像处理领域,提供了一种基于服务机器人云平台的图像处理方法及系统。其中,该方法包括获取待分类图像;将待分类图像经所述服务机器人云平台内优化完成的图像分类网络模型处理后,得到图像分类结果;所述图像分类网络模型的优化过程为:基于图像样本集合计算图像分类网络模型梯度,并将梯度归一化;归一化梯度经元优化器系统处理得到设定数量的候选更新;利用Look‑Ahead算法将设定数量的候选更新融合为最终更新;利用最终更优化练图像分类网络模型的参数,并存储至服务机器人云平台内。
-
-
-
-
-
-
-
-
-