公开(公告)号：CN112085116A

公开(公告)日：2020-12-15

申请号：CN202010974725.6

申请日：2020-09-16

Applicant: 北京邮电大学

Inventor： 王松 ,  胡燕祝 ,  陈茜颖

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/12 ,  G10L25/18 ,  G10L25/21 ,  G10L25/30 ,  G10L25/39

Abstract: 本发明涉及基于GAQN‑ASTFT‑IDKPCA的运动过程视听信息融合方法，是一种对机器人运动过程中分布式视觉信息和听觉信息进行融合的方法，属于分布式光纤与信息融合领域，其特征在于采用如下步骤：(1)确定视觉信息与听觉信息的映射关系；(2)确定染色体编码长度；(3)确定适应函数；(4)确定产生的新个体；(5)确定融合信息的STFT变换；(6)确定融合信息的频谱特征；(7)确定高维特征空间协方差矩阵；(8)确定矩阵的特征值和特征向量。本发明充分考虑视觉信息和听觉信息叠加带来的选取权值较难的问题，通过对利用GAQN算法融合后的视听信息进行频域分析，获取其频谱数据，根据IDKPCA算法进行降维处理，最终实现全分布式视听信息融合。