公开(公告)号：CN117828370A

公开(公告)日：2024-04-05

申请号：CN202410014855.3

申请日：2024-01-04

Applicant: 桂林电子科技大学

Inventor： 古天龙 ,  冯明锋 ,  冯旋 ,  常亮

IPC: G06F18/22 ,  G06F18/25

Abstract: 该方法在里面使用了跨模态对比学习技术使匹配的图像和文本对在语义空间中的距离拉近，不匹配的图像文本对在语义空间的距离变远。同时由于文本往往未能充分描述图像，使它们在语义空间内距离靠近会丢失部分图像信息，所以进一步提出了模态内对比学习，使同一模态内增强的图像或文本在语义空间内的距离拉近，从而学到一种更加合理的多模态表示。之后为了充分利用输入中的局部和结构化信息，又引入了总体与局部的对比学习，最后为了充分利用多模态预训练模型中的隐含知识，我们引入了一段可学习的视觉提示向量到视觉编码器中，同时冻结视觉编码器的主体结构。同时，为了弥补中文模因资源的匮乏，我们构造了首个中文恶意模因数据集。

公开(公告)号：CN114385824A

公开(公告)日：2022-04-22

申请号：CN202111512041.5

申请日：2021-12-07

Applicant: 暨南大学 ,  桂林电子科技大学

Inventor： 古天龙 ,  冯旋 ,  李龙 ,  李晶晶 ,  郝锋锐

IPC: G06F16/36 ,  G06F16/951 ,  G06N5/02 ,  G06N20/00 ,  G06F40/289

Abstract: 本发明涉及人工智能伦理技术领域，尤其涉及一种基于预训练模型的伦理行为抽取方法，首先以涵盖伦理道德和人类行为的社会新闻为数据源，构建社会新闻数据集，并使用众包方法对数据集进行标注，再利用具有双向Transformer结构的中文预训练语言模型ERNIE，经过微调的模型编码了实体知识信息，从大量的社会新闻数据中准确的抽取伦理行为，此外预训练模型在标记数据稀缺时准确提取数据的重要特征，能够提高任务的整体性能，解决了中文语境下单词边界和组成成分的不确定性。

公开(公告)号：CN114443808A

公开(公告)日：2022-05-06

申请号：CN202111451106.X

申请日：2021-12-01

Applicant: 暨南大学 ,  桂林电子科技大学

Inventor： 古天龙 ,  冯旋 ,  李龙 ,  李晶晶 ,  郝锋锐

IPC: G06F16/33

Abstract: 本发明涉及人工智能伦理技术领域，尤其涉及一种基于行为目的关系的伦理极性判别方法，使用众包方法对开源数据集FG‑News进行再标注，为数据集增添更多细粒度的属性，也可以为模型的训练提供更多特征，再利用具有双向Transformer结构的预训练语言模型BERT，经过维基百科语料的与训练过程编码知识信息，同时对于下游任务，经过微调的模型可以快速适应当前任务，对特定的行为词进行目的关系推理和极性判别，以行为词为中心，捕捉目标词、词间关系与其上下文之间的联系，有效提高系统的准确率和查全率，提供了更完整、更深入的分析结果。

公开(公告)号：CN117828533A

公开(公告)日：2024-04-05

申请号：CN202410015117.0

申请日：2024-01-04

Applicant: 桂林电子科技大学

Inventor： 古天龙 ,  张宁 ,  冯旋 ,  常亮

IPC: G06F18/25 ,  G06V40/16 ,  G06V20/62 ,  G06V10/56

Abstract: 本发明涉及人工智能伦理技术领域，尤其涉及一种基于多模态的模因检测伦理对齐方法。首先，获取模因检测伦理对齐所需的数据集，在使用众包的方法对数据集进行标注。其次，对数据进行预处理，从而得到更多模因的细节信息。再其次，使用预训练模型分别对模因的局部和全局信息进行编码，得到局部和全局特征表示。最后，为了解决图像和文本之间的跨模态语义差异，设计了一种能够自动适应并利用不同模态之间关系的融合机制。这种机制能够根据图像和文本的不同特点，自动调整融合方式，以实现更准确、更流畅的跨模态语义理解。