-
公开(公告)号:CN117765520A
公开(公告)日:2024-03-26
申请号:CN202311573331.X
申请日:2023-11-23
Applicant: 中国科学院信息工程研究所
IPC: G06V20/62 , G06V20/70 , G06V10/82 , G06V10/764 , G06V10/766 , G06V10/74 , G06N3/0464 , G06N3/044 , G06N3/0442 , G06N3/0499 , G06N3/0895
Abstract: 本发明公开一种高效准确的歧义场景文字检测方法及系统,属于图像文字识别领域,使用基于Mask R‑CNN结构的文本检测分支检测场景图像中的文本,生成文本候选框;使用歧义感知模块检测场景图像的文本块,将文本块与文本候选框进行匹配及关联,分析文本块中所有文本候选框之间的连接情况,找出有歧义的文本块;构建由图像编码器、文本编码器和跨模态编码器组成的语义感知模块,通过对比学习、匹配预测和掩码预测来训练该语义感知模块;使用训练好的语义感知模块对有歧义的文本块进行场景文字检测。本发明能够高效准确地检测歧义文字,并提高识别的准确率。
-
公开(公告)号:CN112070114B
公开(公告)日:2023-05-16
申请号:CN202010767079.6
申请日:2020-08-03
Applicant: 中国科学院信息工程研究所
IPC: G06V20/62 , G06F40/30 , G06V30/19 , G06V10/82 , G06V30/18 , G06N3/0464 , G06N3/0442
Abstract: 本发明提出一种基于高斯约束注意力机制网络的场景文字识别方法及系统,涉及图像信息识别领域,通过提取待识别图片的视觉特征,得到二维特征图;将二维特征图转化为一维特征序列,根据该一维特征序列提取全局语义信息;将全局语义信息输入至第一个时间步中初始化解码隐状态,并在每个时间步中根据隐状态和二维特征图计算原始的注意力权重,利用该权重加权求和得到原始加权特征向量;根据隐状态和原始加权特征向量构造二维高斯分布掩膜,将该掩膜与原始的注意力权重相乘,得到矫正的注意力权重,根据该权重得到矫正后加权特征向量;将原始加权特征向量和矫正后加权特征向量融合一起来预测待识别图片的字符,从而能够解决注意力弥散的情况。
-
公开(公告)号:CN115713665A
公开(公告)日:2023-02-24
申请号:CN202211237958.3
申请日:2022-10-10
Applicant: 中国科学院信息工程研究所
IPC: G06V10/774 , G06V20/40 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/0895
Abstract: 本发明公开了一种基于宏观到微观语义关联对比的视频自监督表征学习方法。本发明首先创建一视频自监督时空表示模型,其包括时域模块MaMiCo与空域模块MaMiCo;所述时域模块MaMiCo包括第一编码器、平均全局映射头,所述空域模块MaMiCo包括第二编码器、密集映射头,所述第一编码器与第二编码器共享参数;然后在视频数据中以金字塔的形式采样全局片段、局部片段以及静止片段用于训练视频自监督时空表示模型,其中时域MaMiCo关注在学习全局片段与局部片段的时域语义关联,空域MaMiCo旨在学习局部片段与静止片段的空域语义关联;然后将待处理视频输入训练后的第一编码器或第二编码器,得到该待处理视频的特征图。
-
公开(公告)号:CN114155524A
公开(公告)日:2022-03-08
申请号:CN202111271651.0
申请日:2021-10-29
Applicant: 中国科学院信息工程研究所
IPC: G06V20/64 , G06V20/58 , G06V10/762 , G06V10/766 , G06V10/80 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种单阶段3D点云目标检测方法及装置、计算机设备、介质。本方法为:根据3D点云中目标与获取3D点云的采样传感器距离不同,设置不同的聚类半径参数对3D点云进行聚类操作,用立体包围框将同类的点云包含起来得到最小立体包围框,并对每一所述最小立体包围框内的点集合进行下采样,得到数据增广后的点云数据;对数据增广后的点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,得到语义特征和空间特征;根据空间特征和语义特征预测每个点的预测分数,然后按照预测分数从高到低完成点采样;对采样点的特征进行融合得到融合特征图;回归预测网络根据该融合特征图进行预测,得到点云当中目标的位置和类别。
-
公开(公告)号:CN113887282A
公开(公告)日:2022-01-04
申请号:CN202111004566.8
申请日:2021-08-30
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开一种面向场景图像中任意形状邻近文本的检测系统及方法,属于图像文本检测领域,通过生成区域建议使得网络更加关注文本特征,同时提出一种一对多的训练策略,为每一个候选框匹配多个目标文本,用以缓解邻近文本时在选取回归目标混淆的问题,最终提升基于回归的两阶段模型检测场景图像中任意形状邻近文本的能力。
-
公开(公告)号:CN111753827A
公开(公告)日:2020-10-09
申请号:CN202010416704.2
申请日:2020-05-15
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提供一种基于语义强化编码器解码器框架的场景文字识别方法及系统,将目标图像上的任意形状的文本矫正为水平文本,得到矫正后的图像;将矫正后的图像输入到卷积神经网络中提取视觉特征,利用循环神经网络从该视觉特征中提取序列信息;根据序列信息预测全局语义信息;利用上述全局语义信息初始化一基于注意力机制的门控循环单元GRU的状态,根据上述视觉特征与GRU每一个解码时间的隐状态计算注意力权重,根据该注意力权重对上述视觉特征进行加权,预测出图像上的每一个字符。能够有效地利用全局信息填补现有方法使用局部信息的不足,同时减小视觉信息与语义信息之间的鸿沟,从而使模型能够更好地处理低质量的图像。
-
公开(公告)号:CN104468262A
公开(公告)日:2015-03-25
申请号:CN201410652834.0
申请日:2014-11-17
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于语义敏感的网络协议识别方法及系统。在建模阶段,以特定应用协议的网络数据报文集合作为输入,利用Latent Dirichlet Allocation方法构建所分析协议的关键字模型;在训练阶段,依照协议关键字模型提取数据报文的分类特征信息,以获得的关键字特征向量作为输入,利用有监督机器学习方法对离线训练数据集学习训练,获得所分析协议的分类模型;在分类阶段,依照协议关键字模型提取数据报文的分类特征信息,利用协议分类模型对待测网络数据报文的协议属性做出判别,判断其是否属于目标协议的网络数据报文。本发明能够充分挖掘网络消息报文中潜在的协议语义信息,对多种网络协议进行有效的协议识别。
-
公开(公告)号:CN103716313A
公开(公告)日:2014-04-09
申请号:CN201310722437.1
申请日:2013-12-24
Applicant: 中国科学院信息工程研究所
IPC: H04L29/06
Abstract: 本发明涉及一种用户隐私信息保护方法,包括以下步骤:步骤1:钩取模块接收接口调用操作,获取基本接口信息,采用重定向过滤方法,对可能访问敏感信息操作进行过滤分析;步骤2:解析模块接收终端设备发送的运行日志数据信息,并调用接口调用数据库中的信息,记录敏感操作的操作日志;步骤3:检测模块对可疑行为操作数据库中的信息进行处理,基于黑名单数据库中的信息,筛选出窃密操作,并将所述窃密操作行为信息存储到黑名单数据库中;步骤4:根据黑名单数据库中的窃密操作行为信息处理窃密操作。本发明能够监控窃密行为,发现潜在的窃密威胁,并阻断其操作;监测敏感信息流转;能够全面监控、保护用户隐私数据。
-
公开(公告)号:CN114220086B
公开(公告)日:2025-03-28
申请号:CN202111295077.2
申请日:2021-11-03
Applicant: 中国科学院信息工程研究所 , 中国传媒大学
IPC: G06V20/62 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/094 , G06N3/088
Abstract: 本发明公开一种成本高效的场景文字检测方法及系统,属于图像字体识别领域,本发明首先在预训练阶段提出一种无监督域适应方法,通过消除虚拟数据和真实数据的域差异,使虚拟数据在特征上更接近真实数据,从而获得一个较好的迁移学习初始模型;其次在微调阶段提出一个半监督主动学习方法,根据真实数据的标注信息量自适应选择数据进行标注,然后同时利用有标注和无标注的真实数据进行训练,在较小标注成本的条件下尽可能提升场景文字检测性能。
-
公开(公告)号:CN119579733A
公开(公告)日:2025-03-07
申请号:CN202411423694.X
申请日:2024-10-12
Applicant: 中国科学院信息工程研究所
IPC: G06T11/60 , G06N3/0464 , G06N3/0455
Abstract: 本发明涉及计算机技术领域,具体为具有场景文字的图像生成方法。本发明通过获取文本描述;基于文本描述获得背景图像、待生成文字和文本区域;基于所述背景图像通过自适应本文块探索策略得到局部图像;通过所述待生成文字得到文字图像;基于所述局部图像和文字图像得到条件嵌入;基于所述文本区域建立图像指导;将所述条件嵌入和所述图像指导输入卷积神经网络得到解码图像;所述解码图像中文字生成由所述待生成文字和所述文本区域确定。解决了图像生成时小文字生成的问题并提高文字生成的准确率,使得图像生成时小文本渲染效果优良。
-
-
-
-
-
-
-
-
-