基于原型类中心的弱监督开放词汇语义分割方法及系统

    公开(公告)号:CN117372695A

    公开(公告)日:2024-01-09

    申请号:CN202311319317.7

    申请日:2023-10-11

    Abstract: 本发明提供了一种基于原型类中心的弱监督开放词汇语义分割方法及系统,包括:步骤S1:利用文本特征提取器提取文本目标为文本向量特征;步骤S2:利用视觉特征提取器提取目标图片的视觉特征,并将视觉特征基于可学习类别中心进行聚类操作得到全局类别中心;步骤S3:利用原型模型提取图像‑文本对的原型类别中心用以监督全局类别中心;步骤S4:将全局类别中心和文本向量特征进行对比学习,利用梯度下降法对文本特征提取器和视觉特征提取器进行训练;步骤S5:利用训练好的文本特征提取器和视觉特征提取器对测试图像和测试文本进行推理得到测试图像分割结果。本发明提出基于原型类中心的学习策略,大幅提升了弱监督开放词汇语义分割的准确性。

    冗余自适应的多模态鲁棒融合学习方法及系统

    公开(公告)号:CN116992396A

    公开(公告)日:2023-11-03

    申请号:CN202310981766.1

    申请日:2023-08-04

    Abstract: 本发明提供了一种冗余自适应的多模态鲁棒融合学习方法及系统,包括:使用预训练好的单模态特征提取网络提取单模态初始特征;将各单模态初始特征编码为概率分布;对各单模态概率分布进行正则化约束;为每个单模态均值分配元素级特征权重;利用各权重分配后的单模态均值产生多模态特征;对各单模态分布采样,产生相应的单模态特征向量;利用各单模态、多模态特征向量得到相应特征的概率预测分布。本发明考虑多模态数据间冗余性对模型鲁棒性的影响,促使模型在捕获全部单模态信息的同时,动态地识别其中的无损信息用于融合,实现更鲁棒且准确的多模态预测。

    一种面向移动物联网的区块链上空间数据可认证共享方法

    公开(公告)号:CN116340278A

    公开(公告)日:2023-06-27

    申请号:CN202310125302.0

    申请日:2023-02-16

    Abstract: 本发明涉及一种面向移动物联网的区块链上空间数据可认证共享方法,设计了一种自由边界的空间索引数据结构,并利用NFT智能合约标记和描述空间数据;物联网节点将要共享的空间数据的元数据上链,轻节点向提供查询服务的全节点请求元数据,该全节点向所述NFT智能合约发起查询交易,NFT智能合约将查询结果打包发布到区块链上;查询服务提供方利用包含查询结果的区块的交易树创建证明对象VO,将查询结果和VO一起发送给轻节供其验证查询结果;轻节点利用元数据中的统一资源标识符URI从分布式存储系统中获取所需的共享数据。与现有技术相比,本发明在克服移动物联网节点的移动轨迹在空间中的任意扩展方面和共享的空间数据在空间中的随机分布方面具有优势。

    约束时域关系的视频动作定位方法和系统

    公开(公告)号:CN111259775B

    公开(公告)日:2023-04-28

    申请号:CN202010032794.5

    申请日:2020-01-13

    Abstract: 本发明提供一种约束时域关系的视频动作定位方法和系统,包括:视频特征提取步骤:对输入的未经裁剪的长视频,使用3D深度神经网络提取其特征,得到能够表达视频语义信息的特征序列;动作曲线预测步骤:利用提取好的视频特征序列训练动作概率曲线模型,预测视频中动作的开始、持续、结束的概率曲线;动作曲线约束步骤:在训练动作概率曲线模型的过程中同时约束动作的开始、持续、结束的概率曲线,使其有平稳连续的输出并且使动作的开始、持续、结束的概率曲线峰值遵循合理的时间顺序。本发明对输入的视频进行逐个时刻的动作概率预测,重点约束动作在时间维度上的关系,通过在模型的训练过程中加入约束,使得其能够准确地预测动作发生的概率,从而能够精确的定位视频中所发生的动作。

    一种基于融合退化先验的盲图像超分辨率重建方法和系统

    公开(公告)号:CN114972036A

    公开(公告)日:2022-08-30

    申请号:CN202210657948.9

    申请日:2022-06-10

    Abstract: 本发明提供一种基于融合退化先验的核反卷积盲图像超分辨率重建网络;低分辨率图像输入所述上采样网络,重建出满足原始模糊核约束的高分辨率尺度的过渡图像;将所述过渡图像和所述原始模糊核输入所述反卷积网络,实现高分辨率图像的重建。本发明通过引入退化建模的方式,将盲图像超分辨率重建解耦,并将完整原始模糊核显式引入重建过程中,避免了由于引入预生成的模糊核降维手段而带来的模糊核信息丢失,以及面对未知退化核而带来的泛化性问题,端到端的实现了盲图像超分辨率重建。

    一种基于迁移学习的弱监督目标检测方法及系统

    公开(公告)号:CN113239924B

    公开(公告)日:2022-04-26

    申请号:CN202110556712.1

    申请日:2021-05-21

    Abstract: 本发明公开了一种基于迁移学习的弱监督目标检测方法及系统,该方法包括:对输入的强监督及弱监督的图像,使用深度卷积神经网络提取图像的特征,利用区域建议网络提取图像中的候选框,得到不同候选区域的视觉特征;对强监督及弱监督数据集中的类别文本进行特征提取,建立语义图,并利用图卷积网络进行优化,得到所有类别文本的语义特征;使用双监督的平均教师网络结构,包括:强监督分类及边界回归学生网络、弱监督多示例学习学生网络以及分类及边界回归教师网络,利用视觉特征以及优化后的语义特征,聚合强监督及弱监督数据集中的边界框信息和分类信息,从而对候选框进行边界框的回归和分类。通过本发明,提升了弱监督目标检测的效果。

    基于协同学习的弱监督语义分割方法及系统

    公开(公告)号:CN110363201B

    公开(公告)日:2021-06-01

    申请号:CN201910619773.0

    申请日:2019-07-10

    Abstract: 本发明提供了一种基于协同学习的弱监督语义分割方法及系统,所述方法包括:特征图提取步骤:对输入的原始图像,使用深度神经网络提取图像的高层特征图;定位图提取步骤:使用定位子网络,在特征图上基于图像标签提取物体的定位图;分割图提取步骤:使用分割子网络和条件随机场,在特征图上提取物体分割图;伪标签生成步骤:在物体定位图和分割图上,利用阈值选取得到物体定位伪标签和物体分割伪标签;伪标签结合步骤:物体定位伪标签和物体分割伪标签使用一种自适应的混合策略进行混合。所述系统包括与所述各步骤相对应的模块,本发明能够仅通过提供图像级别的标签,训练对图像的像素级别预测的模型,从而完成对图像的语义分割。

    基于协同笔画优化的个性化手写体迁移方法和系统

    公开(公告)号:CN110033054B

    公开(公告)日:2021-05-25

    申请号:CN201910195271.X

    申请日:2019-03-14

    Abstract: 本发明提供了一种基于协同笔画优化的个性化手写体迁移方法和系统,该方法,包括:根据目标汉字的平均区域占比和平均长宽比,对待输入的汉字进行尺寸和比例的形变处理,以使得所述待输入的汉字与所述目标汉字的骨架对齐;将形变处理之后的汉字输入目标神经网络,通过所述目标神经网络输出对应的目标汉字;其中,所述目标神经网络是指经过训练的对抗生成网络,用于将输入的汉字转换为目标字体汉字。从而实现依靠少量数据集将任一印刷体汉字迁移成另一印刷体或手写体汉字,甚至能够做到个性化手写字体定制,能够快速、准确、逼真地生成目标字体。

    从全局到类别特征表达学习的动作识别方法和系统

    公开(公告)号:CN109726671B

    公开(公告)日:2020-08-04

    申请号:CN201811612590.8

    申请日:2018-12-27

    Abstract: 本发明提供一种从全局到类别特征表达学习的动作识别方法和系统,对输入的动作视频,使用深度神经网络学习动作数据的全局特征表达并提取特征;通过提取到的全局特征表达,使用特征通道稀疏度来获取类别间的相似度结构关系;对输入的每一类视频动作,使用全卷积深度神经网络学习其相应的类别掩膜;使用得到的类别间相似度结构关系来约束类别掩膜的相似程度;对输入的动作视频,使用深度神经网络学习动作数据的类别特定特征表达并提取相应特征;对提取的全局和类别特定特征进行融合,得到最终具有区分性表达的特征并完成动作的识别。能够对输入的动作视频提取从全局到类别特定的特征表达,进行复杂动作的识别。

Patent Agency Ranking