一种协同文本身份和视觉线索的人物交互检测的方法

    公开(公告)号:CN119131882A

    公开(公告)日:2024-12-13

    申请号:CN202410990081.8

    申请日:2024-07-23

    Inventor: 谭志 安品竹

    Abstract: 本发明提供一种协同文本身份和视觉线索的人物交互检测的方法,设计了一个视觉模态分支和文本模态分支组成的双分支多模态人物交互检测网络;使用文本特征编码人物对中的物体身份,并且充分发掘人物交互检测数据集中的标签分布知识,显式地构建起物体身份和交互动作类别之间的约束关系,明确发挥出物体身份在交互推理中的作用;对于视觉模态和文本模态之间的特征差异,通过迁移视觉语言模型中的特征知识解决任务交互检测任务中的多模态特征融合问题,在此基础上,设计多模态特征融合模块,以物体身份的两种模态表征作为引导,对齐并融合同一人物对的视觉和文本模态表征进行人与物体之间交互行为的推理。

    一种基于图像特征融合的小目标检测方法

    公开(公告)号:CN118628884A

    公开(公告)日:2024-09-10

    申请号:CN202410723507.3

    申请日:2024-06-05

    Abstract: 本发明提供一种基于图像特征融合的小目标检测方法,基于特征复用构造t形骨干网络,将初始骨干网络的最下层特征层进行上采样,并将浅层特征与深层特征进行融合,最后输出四个特征层,在保留更多小目标区域特征的同时缓解了随着网络加深而出现的特征信息丢失问题;本发明根据t形骨干网络输出的四个特征图构造出四分支加强特征提取网络,通过将不同尺度的特征图进行不断的上采样和下采样并将其进行融合,以挖掘出更多小目标的潜在特征;本发明通过HDA注意力模块构建图像中的全局关系,以此丰富图像中目标实例的全局位置信息,最终提高了小目标的检测精度。

    图像识别域泛化模型的训练方法
    3.
    发明公开

    公开(公告)号:CN114511737A

    公开(公告)日:2022-05-17

    申请号:CN202210081010.7

    申请日:2022-01-24

    Abstract: 本发明提供了一种图像识别域泛化模型的训练方法。该方法包括:构建图像识别域泛化模型,图像识别域泛化模型包括分类网络和生成网络;运用对抗训练的方式训练分类网络和生成网络,得到生成域;利用生成域模拟目标域的数据分布,通过循环一致性损失函数计算所述生成域的损失,当生成域的损失达到要求后,得到训练好的图像识别域泛化模型,利用训练好的图像识别域泛化模型进行图像的跨域泛化识别处理。本发明通过循环一致性损失确定生成数据的有效性。根据两组分类器的标签平滑正则化交叉熵函数,避免正确和错误分类的较大差值,避免过拟合。能够明显提高了图像识别模型的可移植性能,改善了图像识别模型领域漂移现象。

    一种协同文本身份和视觉线索的人物交互检测的方法

    公开(公告)号:CN119131882B

    公开(公告)日:2025-04-15

    申请号:CN202410990081.8

    申请日:2024-07-23

    Inventor: 谭志 安品竹

    Abstract: 本发明提供一种协同文本身份和视觉线索的人物交互检测的方法,设计了一个视觉模态分支和文本模态分支组成的双分支多模态人物交互检测网络;使用文本特征编码人物对中的物体身份,并且充分发掘人物交互检测数据集中的标签分布知识,显式地构建起物体身份和交互动作类别之间的约束关系,明确发挥出物体身份在交互推理中的作用;对于视觉模态和文本模态之间的特征差异,通过迁移视觉语言模型中的特征知识解决任务交互检测任务中的多模态特征融合问题,在此基础上,设计多模态特征融合模块,以物体身份的两种模态表征作为引导,对齐并融合同一人物对的视觉和文本模态表征进行人与物体之间交互行为的推理。

    基于特征扰动和多尺度注意门的半监督心室图像分割方法

    公开(公告)号:CN117765256A

    公开(公告)日:2024-03-26

    申请号:CN202311763190.8

    申请日:2023-12-20

    Abstract: 本发明提出一种基于特征扰动和多尺度注意门的半监督心室图像分割方法,通过给予特征扰动增加模型多样性以及最小化不同输出之间的差异建立起一种端到端的分割方式。该方法能够从未标记数据中的边缘区域捕获到更多有价值的特征。从预测的分割结果中计算出的骰子系数(Dice Similariy Coefficient,DSC)、杰卡德系数(Jaccard similarity coefficient,Jaccard)、95%豪斯多夫距离(The 95%Hausdorff distance,95HD)、平均表面距离(Average Surface Distance,ASD)的值,这几个指标都优于现有的工作方法。此方法探索了深度学习在带标签数据稀缺的医学图像分割方面的优势,使得深度学习与半监督医学图像分割技术更好地结合起来以提高分割的准确性,帮助医生做出更为精准地诊断。

    基于非对称卷积残差网络的细粒度图像分类方法及系统

    公开(公告)号:CN116310476A

    公开(公告)日:2023-06-23

    申请号:CN202211463851.0

    申请日:2022-11-22

    Inventor: 谭志 胥子皓

    Abstract: 本发明提供一种基于非对称卷积残差网络的细粒度图像分类方法及系统,属于计算机视觉技术领域,获取待分类图像;利用预先训练好的分类模型对获取的待分类图像进行处理,得到分类结果;其中,所述预先训练好的分类模型包括特征提取模块和分类模块;所述特征提取模块包括多个通道数依次递增的特征提取子模块;每个所述特征提取子模块均包括一个通道混洗单元和多个非对称残差单元。本发明在降低残差网络整体计算数据量和模型复杂度的同时提升了模型效果;非对称卷积的使用成功降低了模型复杂度和计算数据量并提升了模型的分类效果;增强了网络的特征提取能力并提升了模型效果。

    一种使用残差注意力模块的域适应方法

    公开(公告)号:CN115578593A

    公开(公告)日:2023-01-06

    申请号:CN202211278399.0

    申请日:2022-10-19

    Abstract: 本发明提供了一种使用残差注意力模块的域适应方法。该方法包括:在目标数据集中通过能量函数选择能量差异较大的图片作为激活图片数据集;将源域标记的数据集、目标域未标记的数据集和激活图片数据集共同作为输入数据,将输入数据输入到包含卷积加注意力模块和LSE_At结构的特征提取网络,特征提取网络提取输入数据的高维特征图;将高维特征图通过全连接层分类器映射成一维特征向量,实现图像分类,利用调整好参数的特征提取网络和全连接层分类器构成图像识别模型。本发明通过增加原图在数据处理过程中的参与来加深特征提取,提高模型对图像特征提取的多样性和有效性,从而实现对图像特征更加充分的提取提高了图像识别领域适应性能。

    图像识别域泛化模型的训练方法

    公开(公告)号:CN114511737B

    公开(公告)日:2022-09-09

    申请号:CN202210081010.7

    申请日:2022-01-24

    Abstract: 本发明提供了一种图像识别域泛化模型的训练方法。该方法包括:构建图像识别域泛化模型,图像识别域泛化模型包括分类网络和生成网络;运用对抗训练的方式训练分类网络和生成网络,得到生成域;利用生成域模拟目标域的数据分布,通过循环一致性损失函数计算所述生成域的损失,当生成域的损失达到要求后,得到训练好的图像识别域泛化模型,利用训练好的图像识别域泛化模型进行图像的跨域泛化识别处理。本发明通过循环一致性损失确定生成数据的有效性。根据两组分类器的标签平滑正则化交叉熵函数,避免正确和错误分类的较大差值,避免过拟合。能够明显提高了图像识别模型的可移植性能,改善了图像识别模型领域漂移现象。

    一种融入注意力的残差网络表情识别方法

    公开(公告)号:CN112541409B

    公开(公告)日:2021-09-14

    申请号:CN202011374602.5

    申请日:2020-11-30

    Inventor: 谭志 史志博

    Abstract: 本发明提供的一种融入注意力的残差网络表情识别方法,对原CBAM进行优化改进,在获取通道重要度权重的策略上,采用特征融合训练的方法,提升了模型的拟合能力,增强了关键性通道特征的表示。将改进后的CBAM融入到ResNet模型的残差学习模块中,与特征提取层以先后串行结构融合构建了新的网络模型RARNet,将注意力模块融入到残差结构中,通过残差网络的捷径连接,避免了因网络深度的加深而出现的网络退化的情况。该模型加深了对表情判别性特征的表示,抑制了不必要特征,以小参数量的增加提升了对表情的特征提取性能。改进后的CBAM属于轻量级结构,RARNet以较小参数量的增加在FER2013和CK+数据集上取得了比传统网络模型和其他相关方法更好的识别效果。

    一种基于马尔可夫开放复合域提升模型域自适应性的方法

    公开(公告)号:CN112836740A

    公开(公告)日:2021-05-25

    申请号:CN202110129302.9

    申请日:2021-01-29

    Inventor: 谭志 刘兴业

    Abstract: 本发明提供的一种基于马尔可夫开放复合域提升模型域自适应性的方法,提出了马尔可夫开放复合域的概念,将不同的数据集通过马尔可夫过程混合在一起,确保复合域中来自不同数据集的元素分布更加分散,从而达到更好的域适应效果。本发明提供的方法,还具有如下有益效果:通过运用马尔可夫过程结合伯努利大数定理将多个不带域标签的域混合为马尔可夫复合域,然后再结合开放域构成马尔可夫开放复合域,确保复合域中来自不同数据集的元素分布更加分散,从而达到更好的域自适应效果;同时构造一种基于参数化修正线性单元的神经网络编码器,使得神经网络在编码过程中能够充分利用所有的数据信息,从而达到充分提取图像特征的目的。

Patent Agency Ranking