一种基于单目视觉和雷达伪图像融合的三维目标检测方法

    公开(公告)号:CN115082924B

    公开(公告)日:2024-03-29

    申请号:CN202210446524.8

    申请日:2022-04-26

    Abstract: 本发明公开了一种基于单目视觉和雷达伪图像融合的三维目标检测方法,包括步骤:获取单目视觉和毫米波雷达点云数据对图像进行语义分割获取目标的二维边框与像素点分类得分;对初始毫米波雷达点云数据进行预处理操作;基于雷达点云和图像语义分割信息生成语义雷达伪图像;将视觉图像和语义雷达伪图像分别输入到卷积神经网络中进行特征融合;将融合特征图输入到检测网络中回归得到三维目标信息。本发明将光学图像与毫米波雷达点云信息进行有效融合,在雷达信息中加入图像分割所得的语义信息在与视觉进行融合,解决雷达点云缺少纹理信息的问题,实现两种模态信息的优势互补,具有提高三维目标检测系统准确率和鲁棒性的优点。

    一种基于单目视觉和雷达伪图像融合的三维目标检测方法

    公开(公告)号:CN115082924A

    公开(公告)日:2022-09-20

    申请号:CN202210446524.8

    申请日:2022-04-26

    Abstract: 本发明公开了一种基于单目视觉和雷达伪图像融合的三维目标检测方法,包括步骤:获取单目视觉和毫米波雷达点云数据对图像进行语义分割获取目标的二维边框与像素点分类得分;对初始毫米波雷达点云数据进行预处理操作;基于雷达点云和图像语义分割信息生成语义雷达伪图像;将视觉图像和语义雷达伪图像分别输入到卷积神经网络中进行特征融合;将融合特征图输入到检测网络中回归得到三维目标信息。本发明将光学图像与毫米波雷达点云信息进行有效融合,在雷达信息中加入图像分割所得的语义信息在与视觉进行融合,解决雷达点云缺少纹理信息的问题,实现两种模态信息的优势互补,具有提高三维目标检测系统准确率和鲁棒性的优点。

    一种基于SOA和DDS的服务模型和分布式数据通信方法

    公开(公告)号:CN111698308A

    公开(公告)日:2020-09-22

    申请号:CN202010502655.4

    申请日:2020-06-05

    Abstract: 本发明提出一种基于SOA和DDS的服务模型以及分布式数据通信方法。服务模型包括服务属性和服务接口。服务接口包括功能函数接口和发布/订阅接口;功能函数接口用于实现服务组件的注册、查找和调用;功能函数接口包括服务注册接口、服务查找接口和用户自定义接口。发布/订阅接口用于支持数据分发服务DDS标准的以数据为中心的发布/订阅通信机制;发布/订阅接口包括发布主题接口、订阅主题接口、数据写者接口和数据读者接口。分布式数据通信方法包括服务注册步骤、服务查找步骤、主题发布步骤、主题订阅步骤和主题匹配步骤。本发明以服务的方式实现DDS标准的分布式数据通信。

    一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法

    公开(公告)号:CN114708585B

    公开(公告)日:2023-10-10

    申请号:CN202210399603.8

    申请日:2022-04-15

    Abstract: 本发明提供一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法,包括数据采集与处理步骤:采集时间近似同步的毫米波雷达点云与视觉图像数据;融合步骤:将毫米波雷达点云数据从雷达坐标系转换到相机坐标系实现空间同步后进行预处理操作,提取点云框内目标点云的速度和深度信息构建雷达矩阵数据完成雷达信息提取;再在融合框架中通过神经网络提取图像特征图和雷达特征图并结合注意力机制进行特征融合得到融合特征图;检测步骤:将融合特征图进行上采样输入至分支卷积网络,对分支卷积的输出信息进行解码后得到目标的类别和三维信息。本发明高效地融合了视觉图像数据与毫米波雷达数据,有效提高了复杂场景下三维目标检测的准确率和可靠性。

    一种用于软件化雷达中间件的构建方法

    公开(公告)号:CN111580790B

    公开(公告)日:2023-07-21

    申请号:CN202010320291.8

    申请日:2020-04-22

    Abstract: 本发明提供一种用于软件化雷达中间件的构建方法,设置并行计算中间件包括步骤:基础函数中间件构建步骤、雷达专用功能中间件构建步骤、运行时函数中间件构建步骤和实时服务质量QOS中间件构建步骤;其中,基础函数中间件的构建方法利用VSIPL程序构建一套比较完备的基础数学函数库;该函数库向上层提供统一的接口API,具备高性能的同时还具有良好的可移植性和可扩展性。使用该方法开发雷达基础函数库,提高了雷达应用组件开发人员的开发效率;利用VSIPL提供的与平台无关的标准接口API,能够保证算法函数在不同平台上的接口是固定的,实现一次编写,多平台运行。

    一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法

    公开(公告)号:CN114708585A

    公开(公告)日:2022-07-05

    申请号:CN202210399603.8

    申请日:2022-04-15

    Abstract: 本发明提供一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法,包括数据采集与处理步骤:采集时间近似同步的毫米波雷达点云与视觉图像数据;融合步骤:将毫米波雷达点云数据从雷达坐标系转换到相机坐标系实现空间同步后进行预处理操作,提取点云框内目标点云的速度和深度信息构建雷达矩阵数据完成雷达信息提取;再在融合框架中通过神经网络提取图像特征图和雷达特征图并结合注意力机制进行特征融合得到融合特征图;检测步骤:将融合特征图进行上采样输入至分支卷积网络,对分支卷积的输出信息进行解码后得到目标的类别和三维信息。本发明高效地融合了视觉图像数据与毫米波雷达数据,有效提高了复杂场景下三维目标检测的准确率和可靠性。

    一种软件化雷达通用通信中间件

    公开(公告)号:CN111698217A

    公开(公告)日:2020-09-22

    申请号:CN202010424730.X

    申请日:2020-05-19

    Abstract: 本发明为了解决目前雷达通信设备的五花八门,出厂定制终身,维护成本高,升级难等缺陷,提出一种软件化雷达通用通信中间件,通过一个层次化的体系结构进行设计,主要包括:1)发布/订阅接口层,为服务化应用软件层提供统一的API接口;2)实时信息交换层,完成消息的解析和转换;3)传输控制层,为实时信息交换层提供标准简单的通信链路接口。各层之间定义了统一开放的接口,层与层之间相互独立,每层的设计、升级、更新均不会影响其它层的运行,大大提高了开发效率并且降低了维护成本。且支持不同的通信协议,支持雷达节点内不同组件之间的通信、不同计算节点的分布式系统通信、板间、核间、进程间、线程间等通信。

    一种基于SOA和DDS的服务模型和分布式数据通信方法

    公开(公告)号:CN111698308B

    公开(公告)日:2021-12-03

    申请号:CN202010502655.4

    申请日:2020-06-05

    Abstract: 本发明提出一种基于SOA和DDS的服务模型以及分布式数据通信方法。服务模型包括服务属性和服务接口。服务接口包括功能函数接口和发布/订阅接口;功能函数接口用于实现服务组件的注册、查找和调用;功能函数接口包括服务注册接口、服务查找接口和用户自定义接口。发布/订阅接口用于支持数据分发服务DDS标准的以数据为中心的发布/订阅通信机制;发布/订阅接口包括发布主题接口、订阅主题接口、数据写者接口和数据读者接口。分布式数据通信方法包括服务注册步骤、服务查找步骤、主题发布步骤、主题订阅步骤和主题匹配步骤。本发明以服务的方式实现DDS标准的分布式数据通信。

    一种用于软件化雷达中间件的构建方法

    公开(公告)号:CN111580790A

    公开(公告)日:2020-08-25

    申请号:CN202010320291.8

    申请日:2020-04-22

    Abstract: 本发明提供一种用于软件化雷达中间件的构建方法,设置并行计算中间件包括步骤:基础函数中间件构建步骤、雷达专用功能中间件构建步骤、运行时函数中间件构建步骤和实时服务质量QOS中间件构建步骤;其中,基础函数中间件的构建方法利用VSIPL程序构建一套比较完备的基础数学函数库;该函数库向上层提供统一的接口API,具备高性能的同时还具有良好的可移植性和可扩展性。使用该方法开发雷达基础函数库,提高了雷达应用组件开发人员的开发效率;利用VSIPL提供的与平台无关的标准接口API,能够保证算法函数在不同平台上的接口是固定的,实现一次编写,多平台运行。

    一种基于用户行为序列填充和筛选的新闻点击率预测方法

    公开(公告)号:CN113343142B

    公开(公告)日:2022-05-31

    申请号:CN202110527149.5

    申请日:2021-05-14

    Abstract: 该发明公开了一种基于用户行为序列填充和筛选的新闻点击率预测方法,属于信息处理领域,特别是基于用户行为序列填充和筛选的新闻点击率预测方法。和现有的技术相比,本发明在用户行为序列较短时,对行为序列进行了有意义的填充,使得序列填充用户潜在可能会点击的行为;当用户行为序列较长时,进行行为的筛选,使得行为序列能够近似全局兴趣的情况下兼顾考虑和候选新闻的关系;建立了用户行为序列填充和筛选方法,只需要通过简单的预训练方法就可以进行文本语义相似度的计算,从而进行用户行为的填充和筛选,大大的节约了计算时间和有助于方法的快速迁移;在真实的数据集上进行了大量的实验并且进行了充分的对比,本发明方法能够取得更好的实验结果。

Patent Agency Ranking