公开(公告)号：CN117706506A

公开(公告)日：2024-03-15

申请号：CN202211080281.7

申请日：2022-09-05

Applicant: 北京邮电大学

Inventor： 赵东 ,  马华东 ,  邓凯凯 ,  韩乔岳 ,  王书岳 ,  张紫涵

IPC: G01S7/41 ,  G01S13/86 ,  G06N3/0464 ,  G06V10/25 ,  G06V10/46 ,  G06V10/762 ,  G06V10/80 ,  G06V10/82 ,  G06V20/17

Abstract: 本发明公开了一种边缘辅助的雷视融合的无人机目标检测方法与系统，对无人机采集的毫米波雷达点云和视频数据进行预处理，利用相机分支协助毫米波雷达分支进行多帧合成来解决无人机移动下毫米波雷达点云的稀疏性和噪声加剧的问题；利用多帧合成方法输出的雷达点云帧辅助相机分支进行目标显著区域提取与编码，以此减少传输的数据量和相应的卸载延迟；将毫米波雷达和相机数据的编码、传输、解码和推理并行化，以进一步减少卸载延迟；同时，在推理过程中采用边界框增强方案来确保准确率‑延迟之间的平衡，最终达到实时、鲁棒的目标检测目的。本发明可以应用到各种需要无人机进行目标检测的任务中，可以高效率完成恶劣条件下对相关区域的巡检。

公开(公告)号：CN116721135A

公开(公告)日：2023-09-08

申请号：CN202310715862.1

申请日：2023-06-16

Applicant: 北京邮电大学

Inventor： 马华东 ,  赵东 ,  王书岳 ,  邓凯凯 ,  郑文昕 ,  张紫涵

IPC: G06T7/33 ,  G06T7/10

Abstract: 本发明公开了一种面向车路协同自动驾驶的毫米波雷达点云配准方法及装置，属于点云配准领域。本发明利用摄像机和毫米波雷达的互补优势，实现车辆‑基础设施稀疏无序的3D雷达点云的准确配准，解决了稀疏无序雷达点云语义特征难提取及点对难对应的问题。同时设计自适应调度策略，考虑车辆的触发因素和基础设施视野内点云的变化程度来自适应触发数据请求，以确保多车‑基础设施之间实时的配准。本发明将车辆和基础设施的摄像机数据和雷达点云数据作为输入并最终完成点云配准，同时满足毫米波雷达点云配准的实时性和准确性，实现了在大雾天气下，对车辆感知范围和感知精度的提升，并支持毫米波雷达在目标检测、路径规划等应用上性能的进一步提高。

公开(公告)号：CN119380410A

公开(公告)日：2025-01-28

申请号：CN202411479856.1

申请日：2024-10-23

Applicant: 北京邮电大学

Inventor： 赵东 ,  马华东 ,  殷康文 ,  凌月 ,  邓凯凯 ,  郑文昕

IPC: G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/42 ,  G06V10/44

Abstract: 本发明提供一种面向移动场景手势识别的毫米波雷达数据生成方法，其特征在于，包括：动态数据生成网络(人体‑相机位置估计器、深度预测模型、背景反射提取器、人体反射模型和数据拟合模型)和动态手势识别网络(空间特征提取模块和全局特征融合模块)两个单元架构，通过动态数据生成网络生成的大规模逼真的雷达数据，训练动态手势识别网络架构，利用动态视频数据来生成动态的毫米波雷达手势数据，提出适用于移动场景的毫米波雷达手势识别模型；解决了移动场景中背景和人的复杂反射特性难模拟问题、手势特征难提取问题；实现移动场景下普适的手势识别，有效扩充了毫米波雷达数据集，降低数据收集的成本，拓宽了移动场景下无线传感的潜在应用。

公开(公告)号：CN118379580A

公开(公告)日：2024-07-23

申请号：CN202410480166.1

申请日：2024-04-22

Applicant: 北京邮电大学

Inventor： 马华东 ,  赵东 ,  郑文昕 ,  邓凯凯 ,  凌月 ,  殷康文

IPC: G06V10/774 ,  G01S13/88 ,  G01S7/41 ,  G06V10/25 ,  G06V10/44 ,  G06V40/20 ,  G06V20/40 ,  G06V20/64 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/042

Abstract: 一种面向手势识别的细粒度毫米波雷达数据生成方法，属于毫米波雷达感知领域，包括：提取人体组成部位、2D骨骼点坐标和深度信息；根据深度信息将2D骨骼点转换成3D骨骼点；对其进行扩充生成手势运动反射点；根据反射点计算出每个手势运动反射点相对于雷达的RCS和径向速度；输入深度信息和RCS来模拟雷达信号的传播特性并输出人体反射强度图；将其与径向速度拼接成雷达数据；利用编码‑解码模型生成逼真的雷达数据；采用损失函数来衡量生成和真实的雷达数据在数量和分布上的相关性；用生成和真实数据混合训练手势识别模型。本发明有效解决了细粒度毫米波雷达数据不足及多样化、细粒度手势反射特征难模拟的问题，降低了数据采集成本。

公开(公告)号：CN116310941A

公开(公告)日：2023-06-23

申请号：CN202211719956.8

申请日：2022-12-30

Applicant: 北京邮电大学

Inventor： 赵东 ,  马华东 ,  韩乔岳 ,  邓凯凯 ,  张紫涵 ,  王书岳

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/40 ,  G06V10/74 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于视频生成毫米波雷达数据的方法及装置，首先利用变体孪生网络选择出视频中的关键数据片段，然后利用人体区域索引算法实现人体网格数据和人体位置信息的一对一匹配，再利用人体网格模型和深度预测模型生成相应的深度信息、雷达横截面和径向速度，随后采用多人反射模型模拟雷达信号的多径反射和衰减，输出可转换的粗糙雷达数据，最后使用Transformer模型生成逼真的雷达数据，解决了不同动作类别之间的不平衡问题，同时确保了用于人体感知的机器学习模型稳定性，解决了深度信息和多人网格数据错误匹配问题，解决了雷达信号在发射和接收过程中存在的多径反射和衰减问题，可应用到人体动作识别、目标检测等人体感知相关下游任务中。

公开(公告)号：CN116704002A

公开(公告)日：2023-09-05

申请号：CN202310725723.7

申请日：2023-06-19

Applicant: 北京邮电大学

Inventor： 赵东 ,  马华东 ,  张紫涵 ,  邓凯凯 ,  王书岳 ,  郑文昕

IPC: G06T7/579 ,  G06T5/00 ,  G06T7/207 ,  G06T7/194 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G01S13/86 ,  G01S13/88 ,  G01S7/41

Abstract: 本发明公开了一种移动场景下基于视频生成毫米波雷达数据的方法及装置，属于毫米波雷达移动感知领域，包括人体网格提取与校准和反射与噪声信号估计两个组件。人体网格提取与校准组件，用于准确估计相机和人的真实位置，包括模糊和抖动过滤器、人体网格提取模块、相机姿态估计模块和人体位置校准模块；反射与噪声信号估计组件，用于模拟雷达信号的多径反射与衰减以及背景噪声，包括深度预测模型、反射模型、时空噪声估计模块和U‑Net网络模块。本发明利用丰富的动态视频数据生成大量逼真的、可转换的动态毫米波雷达数据，包括多普勒数据和点云数据，有效解决了移动场景中毫米波雷达数据不足的问题，可应用于动作识别、目标检测等应用中。