公开(公告)号：CN114783072B

公开(公告)日：2022-12-30

申请号：CN202210266952.2

申请日：2022-03-17

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  汤丰赫 ,  张星东 ,  丁卓

IPC: G06V40/70 ,  G06V10/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80

Abstract: 本发明公开一种基于远域迁移学习的图像识别方法，包括如下步骤：将医学领域的小样本图像作为目标域，同时将与目标域相似度高的无标签图像作为辅助域，将自然场景图像作为源域，通过基于Resnet50的轻量级网络提取各自域的高级语义特征；利用具有域距离度量的卷积自动编码器并通过辅助域作为桥梁对源域和目标域的高级语义特征进行特征融合；通过卷积自动解码器重构各自域的高级语义特征；最后通过全连接层对目标域图像进行识别，整个过程通过多任务损失函数进行优化。本发明改善了模型对高级语义信息的提取能力和稳定性，有效提升了模型远域特征迁移能力，本发明可以用于不同任务的图像识别任务。

公开(公告)号：CN114880527A

公开(公告)日：2022-08-09

申请号：CN202210648954.8

申请日：2022-06-09

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  付晏升 ,  张星东 ,  丁卓

IPC: G06F16/901 ,  G06F16/906 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于多预测任务的多模态知识图谱表示方法，包括如下步骤：基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示；基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。

公开(公告)号：CN309269108S

公开(公告)日：2025-05-02

申请号：CN202430298569.5

申请日：2024-05-20

Applicant: 南京龙垣信息科技有限公司

Designer： 傅雨欣 ,  丁卓

Abstract: 1.本外观设计产品的名称：用于电子设备的多模态身份识别图形用户界面。
2.本外观设计产品的用途：用于盯小语APP多模态身份识别。
3.本外观设计产品的设计要点：在于图形用户界面的内容和布局。
4.最能表明设计要点的图片或照片：主视图。
5.本外观设计产品为图形用户界面，不涉及其他视图，省略俯视图、省略后视图、左视图、右视图、仰视图。
6.图形用户界面的用途：用于通过声纹、语义、图像、唇语等多种感知模态融合，提取特征并进行分类和识别判断使用人的身份，从而实现用户身份识别的准确性和使用安全性。
7.图形用户界面的人机交互方式：主视图为程序启动时默认的主界面，展示多模态身份识别应用场景及各个主要功能点，实际状态参考主视界面使用状态图；点击主视图多模态身份核验中文防攻击版按钮可以跳转至界面变化状态图1，实际状态参考界面变化参考图1；界面变化状态图1检测通过后自动跳转至界面变化状态图2，实际状态参考界面变化参考图2；点击界面变化状态图2开始识别按钮可以跳转至界面变化状态图3，实际状态参考界面变化参考图3。