一种多模态深度神经网络的特征融合方法

    公开(公告)号:CN112288041A

    公开(公告)日:2021-01-29

    申请号:CN202011477932.7

    申请日:2020-12-15

    Abstract: 本发明公开了一种多模态深度神经网络的特征融合方法,在多模态深度三维CNN里,通过在深度学习特征域上,利用压缩激励(squeeze and excitation,S&E)模块,可获得关于模态之间的通道注意力掩膜,即在所有模态中,给予那些对于任务目标有着显著帮助的通道更大的关注,从而显式地建立了多模态三维深度特征图在通道上的权重分布;随后,利用四维卷积和Sigmoid激活函数计算,可获得关于模态之间的空间注意力掩膜,即在每个模态的三维特征图中,空间中哪些位置需要给予更大的关注,从而显式地建立了多模态三维深度特征图在空间上的相关性,对模态、通道、空间中具有重要信息的位置给予更大的关注,从而提高多模态智能诊断系统的诊断效能。

    一种多模态深度神经网络的特征融合方法

    公开(公告)号:CN112288041B

    公开(公告)日:2021-03-30

    申请号:CN202011477932.7

    申请日:2020-12-15

    Abstract: 本发明公开了一种多模态深度神经网络的特征融合方法,在多模态深度三维CNN里,通过在深度学习特征域上,利用压缩激励(squeeze and excitation,S&E)模块,可获得关于模态之间的通道注意力掩膜,即在所有模态中,给予那些对于任务目标有着显著帮助的通道更大的关注,从而显式地建立了多模态三维深度特征图在通道上的权重分布;随后,利用四维卷积和Sigmoid激活函数计算,可获得关于模态之间的空间注意力掩膜,即在每个模态的三维特征图中,空间中哪些位置需要给予更大的关注,从而显式地建立了多模态三维深度特征图在空间上的相关性,对模态、通道、空间中具有重要信息的位置给予更大的关注,从而提高多模态智能诊断系统的诊断效能。

Patent Agency Ranking