-
公开(公告)号：CN118900337A
公开(公告)日：2024-11-05
申请号：CN202410574260.3
申请日：2024-05-10
Applicant: 南京邮电大学
IPC: H04N21/234 , H04N21/44 , G06N3/0464
Abstract: 本发明涉及深度学习技术领域，公开了一种面向跨模态通信的未来帧预测方法，获取跨模态通信系统接收端的触觉数据和视频数据，将所述视频数据的视频帧图像裁剪与对应的所述触觉数据的触觉信号打包作为训练集；建立所述触觉数据辅助下的跨模态视频帧预测模型；对所述触觉数据辅助下的跨模态视频帧预测模型进行训练，计算得到多个损失用于更新跨模态视频帧预测模型的参数；当模型的参数收敛后，得到最优跨模态视频帧预测模型及参数，将跨模态通信系统接收端接收到的历史视频帧和未来帧对应的触觉数据输入训练好的最优跨模态视频帧预测模型，输出为未来视频帧；本发明深入挖掘多模态数据间的内在联系，克服传统单模态视频帧预测导致的模糊问题。
Search Results
1
records
(took 0.017 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
