-
公开(公告)号:CN116737899A
公开(公告)日:2023-09-12
申请号:CN202310691898.0
申请日:2023-06-12
Applicant: 山东大学
IPC: G06F16/332 , G06F16/33 , G06F40/30 , G06N5/04
Abstract: 本发明公开了基于常识信息辅助的视觉自然语言导航方法及系统,属于视觉语言导航技术领域。本发明借鉴语义推理的思想,对输入的指令信息进行特征提取,对这些特征信息进行推理和添加常识性信息作为额外信息输入参与决策;利用跨模态Transformer,将输入的语言指令、环境输入和扩充信息聚合,获取目标预测点,进行智能体的行动控制;能够提高视觉自然语言导航的准确性。解决了现有技术中存在“不能使智能体真正理解语言中语义信息与实际场景之间的关系”的问题。
-
公开(公告)号:CN115809751B
公开(公告)日:2023-06-27
申请号:CN202211345844.0
申请日:2022-10-31
Applicant: 山东大学
IPC: G06Q10/047 , G06F18/214 , G06N3/0464 , G06N3/08
Abstract: 本发明提出了一种基于强化学习的两阶段多机器人环境覆盖方法及系统,涉及多机器人协同序列决策领域,检测未被覆盖的主动区域,为每个机器人分配一个规划路径最小且与其余机器人没有冲突的主动区域作为子目标;提取机器人在环境中感知到的局部信息的特征向量;融合邻居的局部感知信息特征向量;融合后的特征向量通过多层感知机映射出动作分布,根据采样到的执行动作,机器人完成覆盖的任务;本发明在较为高层的角度引导机器人规划至未被覆盖区域,基于通信交换和融合邻居的观测丰富机器人的局部感知信息,与此同时考虑机器人子目标之间的冲突问题,使机器人学会分散覆盖,极大地减少重复覆盖率,降低环境完整覆盖的时间成本,并提高覆盖效率。
-
公开(公告)号:CN113592855A
公开(公告)日:2021-11-02
申请号:CN202110955515.7
申请日:2021-08-19
Applicant: 山东大学
IPC: G06T7/00 , G06T7/11 , G06T7/73 , G06T17/00 , G06F16/51 , G06F16/587 , G06F30/27 , G06N3/08 , G06N7/00 , G06F111/08
Abstract: 本发明公开了基于启发式深度强化学习的自主抓取与装箱方法及系统,其技术方案为:包括:获取抓取区域的深度图像信息,根据深度图像信息得到待装箱物体位置信息;获取放置区域的深度图像信息和待装箱物体尺寸信息,结合待装箱物体位置信息,并通过启发式深度强化学习的预测网络得到放置策略。本发明通过启发式深度强化学习方法,能够实现变尺寸物体的装箱任务,提高了装箱的空间利用率,且能够适用于真实环境。
-
公开(公告)号:CN119474884B
公开(公告)日:2025-05-23
申请号:CN202510052267.3
申请日:2025-01-14
Applicant: 山东能源集团有限公司 , 山东大学
IPC: G06F18/214 , G06F18/2431 , G06F18/23 , G06N3/092
Abstract: 本发明涉及四足机器人技术领域,具体提供一种基于强化学习的步态学习方法、系统、设备及存储介质,包括:收集历史专家策略执行过程中产生的多种状态作为初始化状态;利用预构建的深度强化学习模型,基于所述初始化状态执行步态学习,得到步态控制策略。本发明丰富了深度强化学习模型的初始状态,提升了学习得到的步态控制策略的适应性。
-
公开(公告)号:CN119474884A
公开(公告)日:2025-02-18
申请号:CN202510052267.3
申请日:2025-01-14
Applicant: 山东能源集团有限公司 , 山东大学
IPC: G06F18/214 , G06F18/2431 , G06F18/23 , G06N3/092
Abstract: 本发明涉及四足机器人技术领域,具体提供一种基于强化学习的步态学习方法、系统、设备及存储介质,包括:收集历史专家策略执行过程中产生的多种状态作为初始化状态;利用预构建的深度强化学习模型,基于所述初始化状态执行步态学习,得到步态控制策略。本发明丰富了深度强化学习模型的初始状态,提升了学习得到的步态控制策略的适应性。
-
公开(公告)号:CN118376259B
公开(公告)日:2024-09-13
申请号:CN202410830963.8
申请日:2024-06-26
Applicant: 山东大学
Abstract: 本发明属于无人车导航技术领域,提供了一种无人车及基于多模态融合的无人车导航方法、装置,为了保证无人车导航模型多模态融合性能的同时提高融合的效率,本发明使用了一种高效的多模态特征融合网络,该模型可以使各模态的数据首先提取出模态内最关键的信息再进行跨模态数据融合,融合过程中只传递该部分少量关键信息,提升无人车感知环境的能力,同时避免了模态间数据的完全访问,可以有效去除数据冗余,减少模型运算量,对模型运算速度有明显提升,有效增强了无人车导航的实时性和安全性。
-
公开(公告)号:CN115709331B
公开(公告)日:2024-08-27
申请号:CN202211475125.0
申请日:2022-11-23
Applicant: 山东大学 , 山东奥太电气有限公司
IPC: B23K26/044 , B23K26/08 , B23K26/70 , B25J9/16 , B25J11/00
Abstract: 本发明公开了一种基于目标检测的焊接机器人全自主视觉引导方法及系统,包括:获取焊接工件RGB图像和深度信息,利用训练好的目标检测模型,得到图片中所有焊缝以及焊点的二维位置信息,结合深度信息,得到图片中所有焊缝以及焊点的三维空间坐标;基于所有焊缝的三维空间坐标计算最优的焊接顺序,并寻找最短的无碰撞路径;基于得到的焊接顺序和路径,结合焊缝的三维空间坐标,进行焊接机器人焊接位姿初步调整;激光焊缝跟踪器找到焊缝后,利用激光焊缝跟踪器上返回的距离信息,对焊接机器人位姿进行精细调整。本发明基于图像识别方法识别所有焊缝的位置,识别准确度提高,保证了焊缝检测结果的可靠性,避免错检、漏检的情况发生。
-
公开(公告)号:CN117892954A
公开(公告)日:2024-04-16
申请号:CN202410053276.X
申请日:2024-01-12
Applicant: 山东大学
IPC: G06Q10/0631
Abstract: 本发明公开了一种多机器人协同搜索任务自适应角色选择方法及系统,包括:定义角色动作空间为2个离散值:[探索,覆盖];获取局部感知信息#imgabs0#和联合感知信息#imgabs1#获取的信息输入至角色选择网络,输出角色动作#imgabs2#其中,所述局部感知信息包括障碍物地图、已探索地图、已覆盖地图和位置地图;所述联合感知信息包括联合探索地图和联合覆盖地图;将局部感知信息#imgabs3#以及输出的角色动作#imgabs4#输入至基础动作网络,输出机器人基础动作at与环境交互。本发明中多机器人的任务执行通过基础动作网络(基础策略)完成,是以上层角色策略输出的角色为条件,基于局部感知信息进行决策,使得基础策略的能力表征了探索或覆盖能力。
-
公开(公告)号:CN116452512A
公开(公告)日:2023-07-18
申请号:CN202310273768.5
申请日:2023-03-16
Applicant: 山东大学
IPC: G06T7/00 , G06V10/24 , G06V10/44 , G06V10/764 , G06V10/28 , G06V10/25 , G06V10/26 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及脊椎韧带骨化图像识别方法及系统,包括以下步骤:获取脊椎设定区域的CT图像,定位脊椎设定区域中的关键点,确定韧带所在的区域;根据定位的关键点确定韧带所在区域中基准线的位置,并截取包含基准线的感兴趣区域,经预处理后得到二值化图像;基于得到的二值化图像,根据基准线及两侧的像素值分布情况,剔除基准线穿过脊椎骨骼部分的情况,识别图像中的韧带骨化区域。
-
公开(公告)号:CN116243725A
公开(公告)日:2023-06-09
申请号:CN202310162565.9
申请日:2023-02-23
Applicant: 山东大学
IPC: G05D1/10
Abstract: 本发明公开了一种基于视觉导航的变电站无人机巡检方法及系统,包括:基于无人机采集的视频流数据,获取多张连续的视频帧图像;将视频帧图像输入特征提取网络,提取变电站道路环境特征,将提取的特征分别输入偏航角预测网络和水平飞行预测网络,输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数;根据输出的参数信息,基于高斯混合模型,确定无人机偏航角,进而生成无人机旋转方向控制指令以及生成无人机平移控制指令;根据控制指令,控制无人机飞行,进行巡检。本发明通过变电站的视觉图像学习,使得无人机能够认知预先设定的巡检路径及周边环境障碍,摆脱对GPS导航信号的依赖,实现变电站无人机自动巡检。
-
-
-
-
-
-
-
-
-