一种基于深度强化学习的部分可观测多船避碰方法

    公开(公告)号:CN116107299A

    公开(公告)日:2023-05-12

    申请号:CN202211282731.0

    申请日:2022-10-19

    Abstract: 本发明提供一种基于深度强化学习的部分可观测多船避碰方法,包括以下步骤:初始化地图信息;获取本船在可观测范围内的图像作为输入;通过神经网络对本船在可观测范围内的图像特征进行提取;根据提出的部分可观测模型判断障碍物类型;根据部分可观测模型中的避碰风险计算方法计算风险;如果有本船有避碰风险则根据算法计算避碰动作,如果没有风险则保持原始航向;当避碰动作结束时如果本船到达了终点则结束该轮训练,否则循环上次过程,重新获取本船的本船在可观测范围内的图像作为输入。本发明基于部分可观察马尔可夫决策过程提出了一个多船会遇下部分可观测的的避碰决策模型,并设计了密集奖励机制,有效实现无人船避碰,同时提高了算法的学习效率。

    一种采用内部激励信号与学习经验复用的高效强化学习自主船舶避碰方法

    公开(公告)号:CN115107948A

    公开(公告)日:2022-09-27

    申请号:CN202210731061.X

    申请日:2022-06-24

    Abstract: 本发明提供一种采用内部激励信号与学习经验复用的高效强化学习自主船舶避碰方法,解决不确定环境下采用强化学习算法实现自主船舶避碰过程中易陷入局部迭代和收敛速度过慢问题。本发明针对实际航行环境下船舶避让决策考虑的会遇态势变化和转向率问题,构建综合考虑外部收益信号与内部激励信号结合的全新奖励函数,鼓励自主船舶对状态迁移概率较低的环境进行搜索。在内部激励信号与外部收益信号协同驱动训练的过程中,利用学习经验复用,挖掘历史训练数据的隐藏特征,保存累计回报期望值较大的策略,并利用随机概率模型对好的策略迁移应用,减少强化学习在自主船舶搜索过程中刻意学习和盲目性学习问题,进一步提高了自主船舶避碰方法的学习效率。

    一种基于互操作技术的船舶避碰决策方法及系统

    公开(公告)号:CN115273556B

    公开(公告)日:2024-10-29

    申请号:CN202210731056.9

    申请日:2022-06-24

    Abstract: 本发明提供一种基于互操作技术的船舶避碰决策方法及系统。本发明系统,包括:基于宽度优先互操作,实现了分布式避碰决策系统同一层次的避碰决策信息计算、交换、存储、反馈修正以及演示功能;基于深度优先互操作,实现了避碰决策系统内不同深度的数据获取、交换、理解及显示功能,并构建了船舶综合信息显示、智能避碰决策计算与智能避碰决策演示相应的分布式子系统。三个子系统通过人机交互界面显示并进行控制操作,可编辑系统参数可以控制各子系统按照人机交互界面输入的操作运行。本发明的技术方案解决了现有技术中的严重依赖船员人工认知避碰危险度和避让方案制定、系统面向目标与功能间均是独立运行的问题。

    一种基于迁移强化学习的海上自主水面船舶避碰决策方法

    公开(公告)号:CN115167404B

    公开(公告)日:2024-04-19

    申请号:CN202210730090.4

    申请日:2022-06-24

    Abstract: 本发明提供一种基于迁移强化学习的海上自主水面船舶避碰决策方法,包括:获取船舶航行状态及周围环境信息;基于船舶航行状态和《规则》进行船舶会遇场景划分,确定各会遇态势下的船舶推荐避让行为;考虑国际海上避碰规则与良好船艺的制约,引入碰撞危险度概念设计奖励函数,构建基于深度强化学习的船舶自主避碰决策模型;重复训练构建的模型,构建船舶避碰任务集,提出船舶避碰任务的相似度和复杂度度量模型,进行源任务筛选;通过源任务的选择和特征函数提取进行知识的获取,引入知识迁移方法加速目标任务中船舶智能体的训练,在保证避碰安全性的基础上优化决策的实时性。本发明能够有效提升船舶在复杂航行环境中的避碰决策的安全性和实时性。

    一种基于本体与贝叶斯网络的无人船态势认知与决策方法

    公开(公告)号:CN115713121A

    公开(公告)日:2023-02-24

    申请号:CN202211494570.1

    申请日:2022-11-25

    Abstract: 本发明提供一种基于本体与贝叶斯网络的无人船态势认知与决策方法,方法包括:分析无人驾驶船舶航行场景要素和态势感知信息构成以及之间的关联属性;基于本体论构建航行态势认知概念模型;结合航行态势感知数据对本体航行态势认知概念模型实例化;分析本体与贝叶斯网络结构,将本体owl语言转换为贝叶斯网络;利用转换后的贝叶斯网络结合当前航行场景进行行为决策推理。本发明可以充分利用本体知识模型整合驾驶先验信息的能力解决多源异构信息表达不充分的问题,并运用贝叶斯网络实现考虑不确定信息的决策推理,提高复杂航行场景下无人驾驶船舶行为决策的准确性。

    一种基于多源异构船舶航运数据的船舶轨迹预测方法

    公开(公告)号:CN115545293A

    公开(公告)日:2022-12-30

    申请号:CN202211193969.6

    申请日:2022-09-28

    Abstract: 本发明公开了一种基于多源异构船舶航运数据的船舶轨迹预测方法,包括:对多源异构船舶航运数据进行数据完整性分析、时空轨迹同步以及船舶轨迹提取;基于船舶轨迹状态构建三级轨迹缓存,并设计增量式轨迹状态挖掘算法,学习预测模型特征参数并实现船舶运动规律挖掘;利用挖掘规律构建船舶轨迹预测算法,输出预测船舶轨迹以及概率。本发明充分利用多源异构船舶航运数据信息互补优势,同时兼顾预测结果的可解释性,通过设计轨迹提取框架、增量式轨迹状态挖掘算法、轨迹预测算法等关键技术,实现港口水域中长期期序列的船舶轨迹预测,从而提前对船舶进行安全预警,指导驾驶员提前做出避障等安全驾驶行为,保障船舶的航行安全。

    一种基于动态博弈的海上自主水面船舶避让行为决策方法

    公开(公告)号:CN113849909A

    公开(公告)日:2021-12-28

    申请号:CN202111101192.1

    申请日:2021-09-18

    Abstract: 本发明提供一种基于动态博弈的海上自主水面船舶避让行为决策方法,包括:获取周围环境及船舶信息,构建博弈参与船舶集合,基于所述周围环境及船舶信息分析航行会遇态势;基于船舶操纵性、船舶类型、船舶航行状态以及不同局势下船舶间的避让关系确定避让行动优先级;根据所述船舶驾驶认知实践构建可供参与船舶选择的行动集合;计算参与船舶收益函数,并结合模糊理论构建每个收益类别的隶属度函数,所述收益函数类别包括衡量船舶航行安全距离的安全性收益、衡量船舶能源消耗的经济性收益以及衡量避让策略合规性的社会性收益;构建避碰博弈树,并基于逆向归纳算法求解船舶最优的避碰行动序列。本发明能够有效提升船舶在复杂航行环境中的避碰能力。

    一种基于迁移强化学习的海上自主水面船舶避碰决策方法

    公开(公告)号:CN115167404A

    公开(公告)日:2022-10-11

    申请号:CN202210730090.4

    申请日:2022-06-24

    Abstract: 本发明提供一种基于迁移强化学习的海上自主水面船舶避碰决策方法,包括:获取船舶航行状态及周围环境信息;基于船舶航行状态和《规则》进行船舶会遇场景划分,确定各会遇态势下的船舶推荐避让行为;考虑国际海上避碰规则与良好船艺的制约,引入碰撞危险度概念设计奖励函数,构建基于深度强化学习的船舶自主避碰决策模型;重复训练构建的模型,构建船舶避碰任务集,提出船舶避碰任务的相似度和复杂度度量模型,进行源任务筛选;通过源任务的选择和特征函数提取进行知识的获取,引入知识迁移方法加速目标任务中船舶智能体的训练,在保证避碰安全性的基础上优化决策的实时性。本发明能够有效提升船舶在复杂航行环境中的避碰决策的安全性和实时性。

    基于gRPC的分布式电子海图信息系统及信息交互方法

    公开(公告)号:CN113434622A

    公开(公告)日:2021-09-24

    申请号:CN202110721634.6

    申请日:2021-06-28

    Abstract: 本发明公开了一种基于gRPC的分布式电子海图信息系统及信息交互方法,系统主要包括分布式海事时空数据引擎、海事数据服务端、服务注册中心、代理服务器以及电子海图应用客户端。针对各类海事时空数据,基于时空索引、NoSQL数据库、分布式内存计算引擎构建分布式时空数据引擎;电子海图应用客户端通过gRPC调用海事服务进程并获得调用结果;海事服务端是基于gRPC构建的服务端进程;海事数据服务端将服务注册于服务注册中心,并生成相应的服务注册表,电子海图应用客户端通过发现服务即可订阅到相应的服务地址。本发明能够实现海事时空大数据的分布式跨进程处理,极大提升海事时空大数据分布式分析能力,为海事部门高效监管提供有力的信息支持。

    一种基于互操作技术的船舶避碰决策方法及系统

    公开(公告)号:CN115273556A

    公开(公告)日:2022-11-01

    申请号:CN202210731056.9

    申请日:2022-06-24

    Abstract: 本发明提供一种基于互操作技术的船舶避碰决策方法及系统。本发明系统,包括:基于宽度优先互操作,实现了分布式避碰决策系统同一层次的避碰决策信息计算、交换、存储、反馈修正以及演示功能;基于深度优先互操作,实现了避碰决策系统内不同深度的数据获取、交换、理解及显示功能,并构建了船舶综合信息显示、智能避碰决策计算与智能避碰决策演示相应的分布式子系统。三个子系统通过人机交互界面显示并进行控制操作,可编辑系统参数可以控制各子系统按照人机交互界面输入的操作运行。本发明的技术方案解决了现有技术中的严重依赖船员人工认知避碰危险度和避让方案制定、系统面向目标与功能间均是独立运行的问题。

Patent Agency Ranking