公开(公告)号：CN113628294A

公开(公告)日：2021-11-09

申请号：CN202110776726.4

申请日：2021-07-09

Applicant: 南京邮电大学

Inventor： 魏昕 ,  章萌 ,  高子涵 ,  周亮

IPC: G06T11/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F30/27

Abstract: 本发明公开了一种面向跨模态通信系统的图像重建方法，所述方法利用跨模态通信系统中接收端所接收到完整触觉信号对传输过程中所存在的缺失图像进行重建，同时结合注意力机制构造跨模态交互网络，解决传统生成模型只能训练成对样本的局限性。本发明还公开了一种面向跨模态通信系统的图像重建装置。本发明充分利用不同模态数据间的语义相关性，针对未配对数据实现触觉信号到图像的跨模态生成，克服跨模态通信系统中用于实际的训练触觉信号—图像数据难以成对采集的问题，显著提高了生成图像的质量和类别精度。

公开(公告)号：CN113628294B

公开(公告)日：2023-06-20

申请号：CN202110776726.4

申请日：2021-07-09

Applicant: 南京邮电大学

Inventor： 魏昕 ,  章萌 ,  高子涵 ,  周亮

IPC: G06T11/00 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094 ,  G06F30/27

Abstract: 本发明公开了一种面向跨模态通信系统的图像重建方法，所述方法利用跨模态通信系统中接收端所接收到完整触觉信号对传输过程中所存在的缺失图像进行重建，同时结合注意力机制构造跨模态交互网络，解决传统生成模型只能训练成对样本的局限性。本发明还公开了一种面向跨模态通信系统的图像重建装置。本发明充分利用不同模态数据间的语义相关性，针对未配对数据实现触觉信号到图像的跨模态生成，克服跨模态通信系统中用于实际的训练触觉信号—图像数据难以成对采集的问题，显著提高了生成图像的质量和类别精度。

公开(公告)号：CN115993888A

公开(公告)日：2023-04-21

申请号：CN202211651436.8

申请日：2022-12-21

Applicant: 南京邮电大学

Inventor： 魏昕 ,  高子涵 ,  张家豪 ,  张翠芳 ,  周亮

IPC: G06F3/01 ,  G06N3/096 ,  G06N3/0464

Abstract: 本发明公开了一种基于迁移学习的视觉‑触觉信号自适应重建方法包括：基于中心云端存储的大规模视觉和触觉数据集执行监督学习任务，并获取知识；利用迁移学习技术将知识迁移到边缘节点，并在边缘节点建立跨模态迁移重建模型；通过梯度下降算法在云端和边缘节点对跨模态迁移重建模型进行训练，以获取最优的模型结构和参数；将需要重建的视觉信号和触觉信号输入跨模态迁移重建模型生成重建后的视觉信号和触觉信号，实现受损、丢失、延迟的视觉和触觉自适应重建；本发明通过充分利用大规模数据集中所蕴含的知识信息以及充分挖掘不同模态间信号语义相关性有效的解决了跨模态通信中受损的视觉和触觉信号的自适应重建问题。