公开(公告)号：CN115601772B

公开(公告)日：2023-05-02

申请号：CN202211611537.2

申请日：2022-12-15

Applicant: 南京邮电大学

Inventor： 亓晋 ,  苏灿 ,  胡筱旋 ,  孙莹 ,  孙雁飞 ,  董振江 ,  许斌

IPC: G06V30/41 ,  G06V30/18 ,  G06V30/19 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明属于图像处理技术领域，公开了一种基于多模态学习的美学质量评价模型和方法，其根据文本信息和图像信息，在图像特征和文本特征提取后，基于跨越注意力机制，动态融合图像与文本之间的信息；在多模态学习的基础上使用Transformer作为骨干网络，不考虑传统的CNN方法，通过视觉和文本Transformer分别提取图像特征和高级语义，从而实现基于多模态学习的纯Transformer美学质量评价模型和方法。本发明有效提高了美学质量评价的准确率和其他评价指标；有利于促进美学应用，加快深度学习在未来美学领域的发展。

公开(公告)号：CN116229486A

公开(公告)日：2023-06-06

申请号：CN202310098515.9

申请日：2023-02-10

Applicant: 南京邮电大学

Inventor： 蒋凌云 ,  鞠金恒 ,  肖甫 ,  季一凡 ,  许胜昊 ,  苏灿 ,  徐佳

IPC: G06V30/304 ,  G06V30/19 ,  G06V10/82 ,  G06N3/044 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于改进CRNN的轻量化乐谱识别系统及方法，属于乐谱识别技术领域，该方法包括以下步骤：基于CRNN对卷积层、循环层、转录层进行改进；在卷积层引入深度可分离卷积，减少计算量并加速特征图的提取；在循环层使用双向简单循环单元，采用并行计算避免了串行计算的强依赖问题；在转录层调节交叉熵函数参数，针对性地学习不均衡样本数据。本发明公开的基于改进CRNN的轻量化乐谱识别方法，通过实验结果证明，能够实现单次迭代耗时约为基准网络的43%，在失真图像上准确率优于其他改进网络。

公开(公告)号：CN115601772A

公开(公告)日：2023-01-13

申请号：CN202211611537.2

申请日：2022-12-15

Applicant: 南京邮电大学(CN)

Inventor： 亓晋 ,  苏灿 ,  胡筱旋 ,  孙莹 ,  孙雁飞 ,  董振江 ,  许斌

IPC: G06V30/41 ,  G06V30/18 ,  G06V30/19 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于图像处理技术领域，公开了一种基于多模态学习的美学质量评价模型和方法，其根据文本信息和图像信息，在图像特征和文本特征提取后，基于跨越注意力机制，动态融合图像与文本之间的信息；在多模态学习的基础上使用Transformer作为骨干网络，不考虑传统的CNN方法，通过视觉和文本Transformer分别提取图像特征和高级语义，从而实现基于多模态学习的纯Transformer美学质量评价模型和方法。本发明有效提高了美学质量评价的准确率和其他评价指标；有利于促进美学应用，加快深度学习在未来美学领域的发展。