-
公开(公告)号:CN118372260A
公开(公告)日:2024-07-23
申请号:CN202410813226.7
申请日:2024-06-24
Applicant: 山东大学
IPC: B25J9/16 , G06N3/0464 , G06N3/042 , G06N3/092 , B25J19/00
Abstract: 本发明属于多机器人未知环境探索技术领域,提供了一种基于非对称拓扑表征的多机器人未知环境探索方法及系统,获取机器人的观测信息;获取环境的特权观测信息;采用训练后的差分形式的结构化特征提取网络对观测信息和特权观测信息分别进行编码,分别得到观测特征映射和特权观测特征映射,根据两者的差异生成状态价值和地图探索率;提取观测特征映射中包含机器人以及边界点的关键位置相关的结构化特征,与基于距离的几何拓扑图相结合,构建表征拓扑图;通过图神经网络进行表征拓扑图的匹配,为机器人分配边界点,被匹配到的边界点将作为机器人的长期目标点,用于指引机器人的移动。本发明具有较好的决策性和泛化能力。
-
公开(公告)号:CN113592855B
公开(公告)日:2024-02-13
申请号:CN202110955515.7
申请日:2021-08-19
Applicant: 山东大学
IPC: G06T7/00 , G06T7/11 , G06T7/73 , G06T17/00 , G06F16/51 , G06F16/587 , G06F30/27 , G06N3/092 , G06N7/01 , G06F111/08
Abstract: 本发明公开了基于启发式深度强化学习的自主抓取与装箱方法及系统,其技术方案为:包括:获取抓取区域的深度图像信息,根据深度图像信息得到待装箱物体位置信息;获取放置区域的深度图像信息和待装箱物体尺寸信息,结合待装箱物体位置信息,并通过启发式深度强化学习的预测网络得到放置策略。本发明通过启发式深度强化学习方法,能够实现变尺寸物体的装箱任务,提高了装箱的空间利用率,且能够适用于真实环境。
-
公开(公告)号:CN116737899B
公开(公告)日:2024-01-26
申请号:CN202310691898.0
申请日:2023-06-12
Applicant: 山东大学
IPC: G06F16/332 , G06F16/33 , G06F40/30 , G06N5/04
Abstract: 本发明公开了基于常识信息辅助的视觉自然语言导航方法及系统,属于视觉语言导航技术领域。本发明借鉴语义推理的思想,对输入的指令信息进行特征提取,对这些特征信息进行推理和添加常识性信息作为额外信息输入参与决策;利用跨模态Transformer,将输入的语言指令、环境输入和扩充信息聚合,获取目标预测点,进行智能体的行动控制;能够提高视觉自然语言导航的准确性。解决了现有技术中存在“不能使智能体真正理解语言中语义信息与实际场景之间的关系”的问题。
-
公开(公告)号:CN115759199B
公开(公告)日:2023-09-26
申请号:CN202211454807.3
申请日:2022-11-21
Applicant: 山东大学
IPC: G06N3/0464 , G06N3/08
Abstract: 本发明提出了基于层次化图神经网络的多机器人环境探索方法及系统,涉及多机器人未知环境探索领域。包括:基于拓扑图的环境建模方法把连续的环境地图表示为拓扑图;基于层次化图神经网络对拓扑图进行特征提取,将拓扑图中不同跳数的特征信息进行聚合,并利用多头注意力机制对拓扑图中结点和边的特征进行融合,得到最终输出拓扑图;将最终输出拓扑图中单个机器人节点对应的结点特征作为强化学习中对应智能体的状态,利用多头注意力机制对来自多个机器人的结点特征进行信息融合,得到机器人系统总状态价值。本发明有注意性地提取环境拓扑图中的特征信息,利用多智能体强化学习框架进行策略学习,提升多机器人系统整体的协同性和任务执行效率。
-
公开(公告)号:CN116452499A
公开(公告)日:2023-07-18
申请号:CN202310225252.3
申请日:2023-03-03
Applicant: 山东大学
IPC: G06T7/00 , A61B6/00 , G06T7/73 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明提出了一种基于Unet网络的腰椎失稳与滑脱诊断系统,涉及医学图像分析技术领域,模型训练模块,构建训练数据集和关键点定位模型,并对模型进行训练;关键点定位模块,获取待识别患者的过申位和过屈位两幅医学影像图像,分别输入到关键点定位模型中,输出两幅定位关键点的热力图;偏移计算模块,基于定位关键点的热力图,分别计算过申位和过屈位椎骨的偏移距离和角度;结果判断模块,根据过申位和过屈位之间相对位置的偏移距离差值及角度差值,输出诊断结果;本发明使用神经网络与深度学习技术,对输入的腰椎部位医学影像图像进行诊断,通过程序输出诊断结果,自动智能地诊断病人是否存在腰椎失稳与滑脱症,同时给出病症的严重程度。
-
公开(公告)号:CN116170638A
公开(公告)日:2023-05-26
申请号:CN202310049872.6
申请日:2023-02-01
Applicant: 山东大学
Abstract: 本发明提出了用于在线动作检测任务的自注意力视频流压缩方法及系统,包括:提取视频流的特征并划分为长期历史特征和短期历史特征;基于自注意力对于长期历史特征进行压缩;对短期历史特征及压缩后的长期历史特征基于注意力进行融合建模;利用所建模型对长视频流数据进行处理输出当前帧的动作预测概率分布。使用基于自注意力机制的关键帧筛选策略,实现了对长视频流数据的有效压缩并保证了在线推理的高效性。
-
公开(公告)号:CN115907248A
公开(公告)日:2023-04-04
申请号:CN202211328724.X
申请日:2022-10-26
Applicant: 山东大学
IPC: G06Q10/047 , G06F16/29 , G06N3/0442 , G06N3/0464 , G06N3/08 , G01C21/20
Abstract: 本发明提出了基于几何图神经网络的多机器人未知环境路径规划方法及系统,涉及人工智能技术领域,通过几何图神经网络的方法,实现机器人之间相对位置的有效编码,并根据位置编码对邻居机器人信息加权,采用深度强化学习的方法实现去中心化的分布控制方式,提高机器人对邻居机器人信息聚合的准确度,提升多机器人路径规划的成功率,具体方案包括:基于机器人当前时刻所在位置周围的地图感知信息,提取机器人地图感知特征;几何图神经网络将机器人地图感知特征和相对位置编码进行加权信息聚合,得到机器人完整状态表征;将机器人完整状态表征输入到长短期记忆力网络中,提取时序特征;计算行为决策,生成机器人当前时刻应执行的动作。
-
公开(公告)号:CN118567232A
公开(公告)日:2024-08-30
申请号:CN202410610763.1
申请日:2024-05-16
Applicant: 山东大学
IPC: G05B13/04 , G06N3/0464 , G06F18/25 , G06N5/04
Abstract: 本发明提出了一种大模型驱动的机器人操作任务执行方法及系统,涉及智能机器人控制技术领域,具体方案包括:获取待操作物体图像和待执行的语言指令;将物体图像和语言指令输入到训练好的指令引导操作可供性预测网络中,生成操作可供性图,进而确定物体的操作区域,其中,所述操作可供性图是为物体图像的每个像素点分配一个可供性值;基于语言指令和操作区域,生成可执行的动作,指导智能机器人完成操作任务;本发明提出了指令引导操作可供性预测网络,利用在数据增强后的数据集上训练后的强大先验,预测指令引导的机器人操作任务的可供性图,进而得到可执行的动作。
-
公开(公告)号:CN117892954B
公开(公告)日:2024-08-16
申请号:CN202410053276.X
申请日:2024-01-12
Applicant: 山东大学
IPC: G06Q10/0631
Abstract: 本发明公开了一种多机器人协同搜索任务自适应角色选择方法及系统,包括:定义角色动作空间为2个离散值:[探索,覆盖];获取局部感知信息#imgabs0#和联合感知信息#imgabs1#获取的信息输入至角色选择网络,输出角色动作#imgabs2#其中,所述局部感知信息包括障碍物地图、已探索地图、已覆盖地图和位置地图;所述联合感知信息包括联合探索地图和联合覆盖地图;将局部感知信息#imgabs3#以及输出的角色动作#imgabs4#输入至基础动作网络,输出机器人基础动作at与环境交互。本发明中多机器人的任务执行通过基础动作网络(基础策略)完成,是以上层角色策略输出的角色为条件,基于局部感知信息进行决策,使得基础策略的能力表征了探索或覆盖能力。
-
公开(公告)号:CN118376259A
公开(公告)日:2024-07-23
申请号:CN202410830963.8
申请日:2024-06-26
Applicant: 山东大学
Abstract: 本发明属于无人车导航技术领域,提供了一种无人车及基于多模态融合的无人车导航方法、装置,为了保证无人车导航模型多模态融合性能的同时提高融合的效率,本发明使用了一种高效的多模态特征融合网络,该模型可以使各模态的数据首先提取出模态内最关键的信息再进行跨模态数据融合,融合过程中只传递该部分少量关键信息,提升无人车感知环境的能力,同时避免了模态间数据的完全访问,可以有效去除数据冗余,减少模型运算量,对模型运算速度有明显提升,有效增强了无人车导航的实时性和安全性。
-
-
-
-
-
-
-
-
-