公开(公告)号：CN118781208A

公开(公告)日：2024-10-15

申请号：CN202410759833.X

申请日：2024-06-13

Applicant: 电子科技大学

Inventor： 卓永宁 ,  杨雨萌 ,  王煦皓

IPC: G06T9/00 ,  G06T5/60 ,  G06T5/20 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0499 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提供了一种基于注意力机制的抗噪抗干扰图像语义通信系统，涉及通信技术和人工智能领域。输入图片依次经过残差卷积自编码系统的编码器、维度变换模块、混合注意力模块、维度变换模块、残差卷积自编码系统的编码器后得到输出图像。系统通过计算接收到的图像token与预定义的误码模式之间的相似度来动态调整注意力权重，优先处理那些更可能表示传输中保持完整性的信号部分。本发明的方法不仅增加了在恶劣通信环境中传输图像的准确性和可靠性，同时也为图像语义的高效压缩和传输提供了新的途径。这种基于图像token的KL变换和信道误码模式的协方差矩阵的注意力机制，为语义通信提供了一种新的解决策略，具有广泛的应用前景。