基于常识信息辅助的视觉自然语言导航系统及方法

    公开(公告)号:CN116737899A

    公开(公告)日:2023-09-12

    申请号:CN202310691898.0

    申请日:2023-06-12

    Applicant: 山东大学

    Abstract: 本发明公开了基于常识信息辅助的视觉自然语言导航方法及系统,属于视觉语言导航技术领域。本发明借鉴语义推理的思想,对输入的指令信息进行特征提取,对这些特征信息进行推理和添加常识性信息作为额外信息输入参与决策;利用跨模态Transformer,将输入的语言指令、环境输入和扩充信息聚合,获取目标预测点,进行智能体的行动控制;能够提高视觉自然语言导航的准确性。解决了现有技术中存在“不能使智能体真正理解语言中语义信息与实际场景之间的关系”的问题。

    一种基于强化学习的两阶段多机器人环境覆盖方法及系统

    公开(公告)号:CN115809751B

    公开(公告)日:2023-06-27

    申请号:CN202211345844.0

    申请日:2022-10-31

    Applicant: 山东大学

    Abstract: 本发明提出了一种基于强化学习的两阶段多机器人环境覆盖方法及系统,涉及多机器人协同序列决策领域,检测未被覆盖的主动区域,为每个机器人分配一个规划路径最小且与其余机器人没有冲突的主动区域作为子目标;提取机器人在环境中感知到的局部信息的特征向量;融合邻居的局部感知信息特征向量;融合后的特征向量通过多层感知机映射出动作分布,根据采样到的执行动作,机器人完成覆盖的任务;本发明在较为高层的角度引导机器人规划至未被覆盖区域,基于通信交换和融合邻居的观测丰富机器人的局部感知信息,与此同时考虑机器人子目标之间的冲突问题,使机器人学会分散覆盖,极大地减少重复覆盖率,降低环境完整覆盖的时间成本,并提高覆盖效率。

    一种无人车及基于多模态融合的无人车导航方法、装置

    公开(公告)号:CN118376259B

    公开(公告)日:2024-09-13

    申请号:CN202410830963.8

    申请日:2024-06-26

    Applicant: 山东大学

    Abstract: 本发明属于无人车导航技术领域,提供了一种无人车及基于多模态融合的无人车导航方法、装置,为了保证无人车导航模型多模态融合性能的同时提高融合的效率,本发明使用了一种高效的多模态特征融合网络,该模型可以使各模态的数据首先提取出模态内最关键的信息再进行跨模态数据融合,融合过程中只传递该部分少量关键信息,提升无人车感知环境的能力,同时避免了模态间数据的完全访问,可以有效去除数据冗余,减少模型运算量,对模型运算速度有明显提升,有效增强了无人车导航的实时性和安全性。

    多机器人协同搜索任务自适应角色选择方法及系统

    公开(公告)号:CN117892954A

    公开(公告)日:2024-04-16

    申请号:CN202410053276.X

    申请日:2024-01-12

    Applicant: 山东大学

    Abstract: 本发明公开了一种多机器人协同搜索任务自适应角色选择方法及系统,包括:定义角色动作空间为2个离散值:[探索,覆盖];获取局部感知信息#imgabs0#和联合感知信息#imgabs1#获取的信息输入至角色选择网络,输出角色动作#imgabs2#其中,所述局部感知信息包括障碍物地图、已探索地图、已覆盖地图和位置地图;所述联合感知信息包括联合探索地图和联合覆盖地图;将局部感知信息#imgabs3#以及输出的角色动作#imgabs4#输入至基础动作网络,输出机器人基础动作at与环境交互。本发明中多机器人的任务执行通过基础动作网络(基础策略)完成,是以上层角色策略输出的角色为条件,基于局部感知信息进行决策,使得基础策略的能力表征了探索或覆盖能力。

    基于视觉导航的变电站无人机巡检方法及系统

    公开(公告)号:CN116243725A

    公开(公告)日:2023-06-09

    申请号:CN202310162565.9

    申请日:2023-02-23

    Applicant: 山东大学

    Abstract: 本发明公开了一种基于视觉导航的变电站无人机巡检方法及系统,包括:基于无人机采集的视频流数据,获取多张连续的视频帧图像;将视频帧图像输入特征提取网络,提取变电站道路环境特征,将提取的特征分别输入偏航角预测网络和水平飞行预测网络,输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数;根据输出的参数信息,基于高斯混合模型,确定无人机偏航角,进而生成无人机旋转方向控制指令以及生成无人机平移控制指令;根据控制指令,控制无人机飞行,进行巡检。本发明通过变电站的视觉图像学习,使得无人机能够认知预先设定的巡检路径及周边环境障碍,摆脱对GPS导航信号的依赖,实现变电站无人机自动巡检。

Patent Agency Ranking