公开(公告)号：CN112257775A

公开(公告)日：2021-01-22

申请号：CN202011130476.9

申请日：2020-10-21

Applicant: 东南大学

Inventor： 李浩天 ,  汪鹏 ,  朱佳涛 ,  曹思辰 ,  李翔宇 ,  曾家俊

IPC: G06K9/62 ,  G06F40/166 ,  G06F40/242 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08 ,  G06N5/02

Abstract: 本发明提供一种基于卷积神经网络和无监督语言模型的由图成诗的方法，该方法由图像实体识别与情感识别、基于情感基调的关键词扩展和中国古诗生成三个模块组成。本发明无需用户手动输入用于作诗的文本，用户在使用时只需输入目标图像，该方法将会利用卷积神经网络自动从输入图像中提取实体词与情感词，并根据情感词对提取出的实体词进行相似度扩展来丰富作诗元素，形成关键词集合。本发明采用带有自注意力机制的无监督语言模型，利用双向生成算法根据关键词和情感标签自动生成内容与情感符合图像意境的中国古诗，并且设计了两个层次的内容检查方法来进一步保证生成古诗的质量，达到了良好的古诗生成效果。

公开(公告)号：CN115984607A

公开(公告)日：2023-04-18

申请号：CN202211554147.6

申请日：2022-12-06

Applicant: 东南大学

Inventor： 张宇 ,  曹思辰 ,  米思娅

IPC: G06V10/764 ,  G06V10/774

Abstract: 本发明公开了一种基于样本代表性的类别不均衡多标签图像分类方法及系统，方法中样本代表性的动态损失由分类权重和动态focal损失结合构成，所述分类权重由当前分类类别与样本其他类别的标签共现率和类数目输入代表性协调函数后计算获得，所述动态focal损失由分类器输出的logits和分类权重为每个样本对每个类别计算的参数结合获得，本方法考虑了类别间的关联性，对类别的正负加权分类讨论，实现对负类别更合理的加权设计，强调了样本对于类别的代表性，来应对一些类别繁多的困难样本，有效地解决了数据集中存在的类别不均衡问题。

公开(公告)号：CN112257775B

公开(公告)日：2022-11-15

申请号：CN202011130476.9

申请日：2020-10-21

Applicant: 东南大学

Inventor： 李浩天 ,  汪鹏 ,  朱佳涛 ,  曹思辰 ,  李翔宇 ,  曾家俊

IPC: G06V10/764 ,  G06V10/82 ,  G06F40/166 ,  G06F40/242 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08 ,  G06N5/02

Abstract: 本发明提供一种基于卷积神经网络和无监督语言模型的由图成诗的方法，该方法由图像实体识别与情感识别、基于情感基调的关键词扩展和中国古诗生成三个模块组成。本发明无需用户手动输入用于作诗的文本，用户在使用时只需输入目标图像，该方法将会利用卷积神经网络自动从输入图像中提取实体词与情感词，并根据情感词对提取出的实体词进行相似度扩展来丰富作诗元素，形成关键词集合。本发明采用带有自注意力机制的无监督语言模型，利用双向生成算法根据关键词和情感标签自动生成内容与情感符合图像意境的中国古诗，并且设计了两个层次的内容检查方法来进一步保证生成古诗的质量，达到了良好的古诗生成效果。