公开(公告)号：CN115905838A

公开(公告)日：2023-04-04

申请号：CN202211446581.2

申请日：2022-11-18

Applicant: 南京邮电大学

Inventor： 魏昕 ,  杨镇宇 ,  王浩宇 ,  石莹莹 ,  周亮

IPC: G06F18/213 ,  G06F18/24 ,  G06F18/23213 ,  G06F18/241 ,  G06F18/2415 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0455 ,  G06N3/08 ,  G10L25/03

Abstract: 本发明公开了一种视听辅助的细粒度触觉信号重建方法，首先将用于训练的触觉信号通过触觉自编码器，基于聚类任务提取触觉特征，并将该特征迁移至音频、图像特征提取网络中，实现针对音频、图像信号的特征提取；接着，利用三元组约束对触觉、音频、图像多模态融合映射函数进行优化，从而由提取出的音频、图像特征得到融合特征，最后将融合特征输入到触觉生成网络之中，实现细粒度触觉信号的重建；本发明很好地解决了多模态信号之间所存在弱监督和弱配对的问题，实现了跨模态共享语义学习，在保证了所生成的触觉信号结构以及语义完整性的同时还加强了其聚类特性，从而使得触觉信号的重建质量得到显著提升。

公开(公告)号：CN113642604B

公开(公告)日：2023-08-18

申请号：CN202110776711.8

申请日：2021-07-09

Applicant: 南京邮电大学

Inventor： 魏昕 ,  石莹莹 ,  张思琪 ,  周亮

IPC: G06F18/25 ,  G06F18/2415 ,  G06N3/0499 ,  G06N3/0895 ,  H04L67/1097

Abstract: 本发明公开了一种基于云边协同的音视频辅助触觉信号重建方法，首先利用中心云使用存储的大规模音视频数据库来学习知识，并将其转移到边缘节点；而后边缘节点将自身接收到的音视频信号与中心云的知识相结合，充分挖掘模态间内在语义的相关性和一致性；最后融合所得音频和视频信号的语义特征并输入触觉生成网络，从而实现触觉信号的重建。本发明很好地解决了多模态数据集的音频和视频信号的数量不足以及人工标注无法为训练数据集中的所有音视频信号添加语义标签的问题；还更好地挖掘了不同模态异构数据之间的语义关联，消除了模态间的异质性差距；多模态语义特征的融合实现了模态间信息的互补与增强，能够提升触觉信号的生成效果。

公开(公告)号：CN113642604A

公开(公告)日：2021-11-12

申请号：CN202110776711.8

申请日：2021-07-09

Applicant: 南京邮电大学

Inventor： 魏昕 ,  石莹莹 ,  张思琪 ,  周亮

IPC: G06K9/62 ,  H04L29/08

Abstract: 本发明公开了一种基于云边协同的音视频辅助触觉信号重建方法，首先利用中心云使用存储的大规模音视频数据库来学习知识，并将其转移到边缘节点；而后边缘节点将自身接收到的音视频信号与中心云的知识相结合，充分挖掘模态间内在语义的相关性和一致性；最后融合所得音频和视频信号的语义特征并输入触觉生成网络，从而实现触觉信号的重建。本发明很好地解决了多模态数据集的音频和视频信号的数量不足以及人工标注无法为训练数据集中的所有音视频信号添加语义标签的问题；还更好地挖掘了不同模态异构数据之间的语义关联，消除了模态间的异质性差距；多模态语义特征的融合实现了模态间信息的互补与增强，能够提升触觉信号的生成效果。