-
公开(公告)号:CN118212502A
公开(公告)日:2024-06-18
申请号:CN202410412263.7
申请日:2024-04-08
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06V10/82 , G06V10/774 , G06V10/40 , G06V10/80 , G06V10/26 , G06V10/22 , G06V10/764 , G06V20/70 , G06N3/0455 , G06N3/096 , G06N3/0464 , G06N3/048
Abstract: 本发明公开了一种基于图像焦点区域特征的多任务学习方法,方法步骤包括:收集原始图像获得输入图像;进行基础特征提取获得基础特征图像;利用分支结构生成视觉解释图;进行焦点区域的特征融合获得特征融合图像;利用单解码器进行特征压缩以及分割结果预测获得掩膜图;利用掩膜图进行区域选取获得掩膜特征图;将基础特征图像、视觉解释图和掩膜特征图进行叠加累乘生成预测结果。该多任务学习方法通过焦点区域的视觉解释图和掩膜图相结合的方式实现图像分类、分割及定位任务的多任务联合学习,解决了现阶段多任务学习领域中分类、分割、定位任务间出现负迁移的问题,实现多任务在语义层面的一致性,提高图像分类、分割及定位任务的效果。
-
公开(公告)号:CN118212415A
公开(公告)日:2024-06-18
申请号:CN202410412264.1
申请日:2024-04-08
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06V10/26 , G06V20/70 , G06V10/42 , G06V10/46 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于混合卷积和多尺度注意力门的图像分割方法,步骤包括:对待分割的图像进行大小调整,再进行数据增强;通过编码器提取出高级语义信息特征图;将高级语义信息特征图输入到混合卷积模块中获取具有全局上下文信息的特征图;将混合卷积模块输出的特征图输入到解码器,同时将编码器不同层级的特征图输入到多尺度注意力门,再进行跳跃连接;解码器对跳跃连接后的特征图进行融合和多级上采样以细粒度地实现图像分割;在优化函数下对算法模型的参数进行调整。该图像分割方法通过加入混合卷积模块和多尺度注意力门以提取图像的全局上下文信息和增强有价值编码器特征,从而高效地进行跳跃连接,提升图像网络的分割效果。
-
公开(公告)号:CN116486230B
公开(公告)日:2024-02-02
申请号:CN202310433523.4
申请日:2023-04-21
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
Abstract: 本申请实施例公开了一种基于半递归特征金字塔结构的图像检测方法及存储介质,涉及深度学习图像检测技术领域,其中方法包括:通过图像采集设备获取实时图像;将实时图像输入到半递归特征金字塔的低语义层生成第一次低语义特征;将第一次低语义特征进行反馈特征选取操作,生成反馈特征;将反馈特征和实时图像再次输入到低语义层进行递归计算得到第二次低语义特征;将第一次低语义特征和第二次低语义特征分别输入到半递归特征金字塔的高语义层进行下采样,得到两次高语义特征;将第一次低语义、第二次低语义特征和两次高语义特征分别进行对应层的融合,生成用于预测的特征,利用自适应检测头进行多级预测,得到预测结果并进
-
公开(公告)号:CN113761936A
公开(公告)日:2021-12-07
申请号:CN202110953670.5
申请日:2021-08-19
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06F40/30 , G06F16/35 , G06F40/117 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于多头自注意力机制的多任务篇章级事件抽取方法,包括如下步骤:将单一句子级事件抽取转换为打包句子集合的篇章级事件抽取;利用预训练的语言模型BERT模型进行词嵌入表示;对单句中所有单词嵌入和位置嵌入作为输入,利用卷积神经网络模型进行编码,结合分段最大池策略捕获句子内部的最有价值的特征;利用多头自注意力模型,获得融合全文语义信息的篇章表示和注意力权重;利用分类器得到预测的事件类型;利用事件类型作为先验信息,链接到事件元素提取的输入序列中,利用预训练模型结合机器阅读理解方法提取序列中所有相关元素。本发明可用于篇章级事件抽取任务,实现了将序列标注问题转换为机器阅读理解问题的突破。
-
公开(公告)号:CN118015282B
公开(公告)日:2024-11-05
申请号:CN202410311121.1
申请日:2024-03-19
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V10/26 , G06V20/70 , G06T7/194 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/762 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0895 , G06N3/048
Abstract: 本发明涉及数据处理技术领域,具体涉及一种基于背景先验的弱监督语义分割方法,包括:将仅带有图像级标签的特定数据集输入背景聚类算法中根据像素值进行背景聚类,得到聚类掩码图;将数据集输入到在自然图像上经过预训练的SAM模型中进行推理,得到预训练掩码图;通过分割结果融合模块将聚类掩码图和预训练掩码图进行基于IOU的掩码融合,生成背景掩码图;利用多个串行的多尺度拼接卷积块,实现数据集特征的塔式提取,生成分类特征图;将背景掩码图对分类特征图中的前景和背景进行区分;将前景输入到分类器进行分类操作,并进行视觉可视化;本发明解决了现有的语义分割技术中分割标签难以获得和弱监督分割效果不佳的问题。
-
公开(公告)号:CN119311824A
公开(公告)日:2025-01-14
申请号:CN202411368241.1
申请日:2024-09-29
Applicant: 哈尔滨工业大学(威海) , 山东新派科技有限公司
IPC: G06F16/3329 , G06F16/334 , G06F16/36 , G06N5/04
Abstract: 本申请提供了一种隐式推理与显式推理相结合的知识问答方法及系统,解决了现有无法在降低大语言模型调用次数和推理延迟的同时,有效缓解知识图谱不完备性和稀疏性的技术问题。其包括:隐式推理,利用评分函数得到候选答案实体,利用逆向关系路径溯源方法获取完整路径信息,通过提示词判断是否足以回答问题,若是,输出答案,否则进入显式推理;显示推理,将主题实体加入候选实体集合,检索和筛选得到候选三元组集合;通过提示词判断是否足以回答问题,若是,输出答案;否则,将筛选后的实体作为新的候选实体集合进行迭代,直至达到最大推理步长。本申请可广泛应用于知识问答的技术领域。
-
公开(公告)号:CN119206568A
公开(公告)日:2024-12-27
申请号:CN202411238187.9
申请日:2024-09-05
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V20/40 , G06V10/26 , G06V10/82 , G06V10/80 , G06V10/44 , G06V10/52 , G06N3/0464 , G06N3/0455
Abstract: 本发明涉及深度学习语义分割技术领域,尤其涉及一种基于选择性扫描视觉状态空间模型的视频序列分割方法,将图像序列输入到重叠特征块划分层,将输入图像序列划分为图像特征块序列;将图像特征块序列输入到基于选择性扫描视觉的状态空间模型编码器中提取不同尺度上的粗细特征序列;将不同尺度上的粗细特征序列输入到多层感知机层进行多级特征的有效融合得到特征序列;将特征序列输入到基于卷积神经网络的轻量级解码头预测分割掩码,并进行视觉可视化生成语义分割图;以此方式解决了现有技术中传统的卷积神经网络接受范围有限,并且基于自注意力的网络在构建长期依赖方面具有极高的计算复杂度,从而导致图像序列分割效果差的技术问题。
-
公开(公告)号:CN114783072B
公开(公告)日:2022-12-30
申请号:CN202210266952.2
申请日:2022-03-17
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V40/70 , G06V10/40 , G06V10/774 , G06V10/764 , G06V10/80
Abstract: 本发明公开一种基于远域迁移学习的图像识别方法,包括如下步骤:将医学领域的小样本图像作为目标域,同时将与目标域相似度高的无标签图像作为辅助域,将自然场景图像作为源域,通过基于Resnet50的轻量级网络提取各自域的高级语义特征;利用具有域距离度量的卷积自动编码器并通过辅助域作为桥梁对源域和目标域的高级语义特征进行特征融合;通过卷积自动解码器重构各自域的高级语义特征;最后通过全连接层对目标域图像进行识别,整个过程通过多任务损失函数进行优化。本发明改善了模型对高级语义信息的提取能力和稳定性,有效提升了模型远域特征迁移能力,本发明可以用于不同任务的图像识别任务。
-
公开(公告)号:CN114880527A
公开(公告)日:2022-08-09
申请号:CN202210648954.8
申请日:2022-06-09
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06F16/901 , G06F16/906 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于多预测任务的多模态知识图谱表示方法,包括如下步骤:基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示;利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示;基于结构化模态和混合模态的向量表示构建三个跨模态预测任务,并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型;整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。
-
公开(公告)号:CN118015282A
公开(公告)日:2024-05-10
申请号:CN202410311121.1
申请日:2024-03-19
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V10/26 , G06V20/70 , G06T7/194 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/762 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0895 , G06N3/048
Abstract: 本发明涉及数据处理技术领域,具体涉及一种基于背景先验的弱监督语义分割方法,包括:将仅带有图像级标签的特定数据集输入背景聚类算法中根据像素值进行背景聚类,得到聚类掩码图;将数据集输入到在自然图像上经过预训练的SAM模型中进行推理,得到预训练掩码图;通过分割结果融合模块将聚类掩码图和预训练掩码图进行基于IOU的掩码融合,生成背景掩码图;利用多个串行的多尺度拼接卷积块,实现数据集特征的塔式提取,生成分类特征图;将背景掩码图对分类特征图中的前景和背景进行区分;将前景输入到分类器进行分类操作,并进行视觉可视化;本发明解决了现有的语义分割技术中分割标签难以获得和弱监督分割效果不佳的问题。
-
-
-
-
-
-
-
-
-