公开(公告)号：CN117706506A

公开(公告)日：2024-03-15

申请号：CN202211080281.7

申请日：2022-09-05

Applicant: 北京邮电大学

Inventor： 赵东 ,  马华东 ,  邓凯凯 ,  韩乔岳 ,  王书岳 ,  张紫涵

IPC: G01S7/41 ,  G01S13/86 ,  G06N3/0464 ,  G06V10/25 ,  G06V10/46 ,  G06V10/762 ,  G06V10/80 ,  G06V10/82 ,  G06V20/17

Abstract: 本发明公开了一种边缘辅助的雷视融合的无人机目标检测方法与系统，对无人机采集的毫米波雷达点云和视频数据进行预处理，利用相机分支协助毫米波雷达分支进行多帧合成来解决无人机移动下毫米波雷达点云的稀疏性和噪声加剧的问题；利用多帧合成方法输出的雷达点云帧辅助相机分支进行目标显著区域提取与编码，以此减少传输的数据量和相应的卸载延迟；将毫米波雷达和相机数据的编码、传输、解码和推理并行化，以进一步减少卸载延迟；同时，在推理过程中采用边界框增强方案来确保准确率‑延迟之间的平衡，最终达到实时、鲁棒的目标检测目的。本发明可以应用到各种需要无人机进行目标检测的任务中，可以高效率完成恶劣条件下对相关区域的巡检。

公开(公告)号：CN116310941A

公开(公告)日：2023-06-23

申请号：CN202211719956.8

申请日：2022-12-30

Applicant: 北京邮电大学

Inventor： 赵东 ,  马华东 ,  韩乔岳 ,  邓凯凯 ,  张紫涵 ,  王书岳

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/40 ,  G06V10/74 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于视频生成毫米波雷达数据的方法及装置，首先利用变体孪生网络选择出视频中的关键数据片段，然后利用人体区域索引算法实现人体网格数据和人体位置信息的一对一匹配，再利用人体网格模型和深度预测模型生成相应的深度信息、雷达横截面和径向速度，随后采用多人反射模型模拟雷达信号的多径反射和衰减，输出可转换的粗糙雷达数据，最后使用Transformer模型生成逼真的雷达数据，解决了不同动作类别之间的不平衡问题，同时确保了用于人体感知的机器学习模型稳定性，解决了深度信息和多人网格数据错误匹配问题，解决了雷达信号在发射和接收过程中存在的多径反射和衰减问题，可应用到人体动作识别、目标检测等人体感知相关下游任务中。