-
公开(公告)号:CN113849623B
公开(公告)日:2024-04-09
申请号:CN202111186856.9
申请日:2021-10-12
Applicant: 中国传媒大学 , 中国科学院信息工程研究所
IPC: G06F16/332 , G06F16/33 , G06F16/35 , G06F40/126 , G06F40/30 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 提供一种文本视觉问答方法和装置,该方法包括:通过文本视觉问答模型中的文字表征获取模块从图像获得视觉增强的文字表征,文字表征获取模块包括OCR模块和TVS模块;通过文本视觉问答模型中的物体表征获取模块从图像获得语义导向的物体表征;通过文本视觉问答模型中的预训练的语言模型从与图像对应的问题语句获得问题表征;通过文本视觉问答模型中的第一多模态交互网络模块从视觉增强的文字表征、语义导向的物体表征、问题表征以及先前解码向量获得与视觉增强的文字表征对应的文字表征增强特征和与先前解码向量对应的当前预测解码向量;通过文本视觉问答模型中的答案预测模块从文字表征增强特征和当前预测解码向量获得与问题语句对应的预测答案。
-
公开(公告)号:CN114220086B
公开(公告)日:2025-03-28
申请号:CN202111295077.2
申请日:2021-11-03
Applicant: 中国科学院信息工程研究所 , 中国传媒大学
IPC: G06V20/62 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/094 , G06N3/088
Abstract: 本发明公开一种成本高效的场景文字检测方法及系统,属于图像字体识别领域,本发明首先在预训练阶段提出一种无监督域适应方法,通过消除虚拟数据和真实数据的域差异,使虚拟数据在特征上更接近真实数据,从而获得一个较好的迁移学习初始模型;其次在微调阶段提出一个半监督主动学习方法,根据真实数据的标注信息量自适应选择数据进行标注,然后同时利用有标注和无标注的真实数据进行训练,在较小标注成本的条件下尽可能提升场景文字检测性能。
-
公开(公告)号:CN115879462A
公开(公告)日:2023-03-31
申请号:CN202211233226.7
申请日:2022-10-10
Applicant: 中国传媒大学 , 中国科学院信息工程研究所
IPC: G06F40/289 , G06F40/284 , G06V30/40 , G06V30/19 , G06N3/044 , G06N3/08
Abstract: 本发明提供一种无需细粒度检测的场景文本提取方法,首先将所获取的文本图像输入至预训练的文本块检测器中以使文本块检测器对文本图像进行检测剪裁形成文本块图像;再通过预训练的文本块识别器基于文本块特征图获取所述文本块图像的语义特征向量和位置特征向量,基于语义特征向量和所述位置特征向量进行特征融合和拼接以获取预测特征,并获取与预测特征相对应的预测文本,通过这种粗粒度检测与多实例识别相结合的框架减轻检测负担,同时利用丰富的上下文信息进行识别,能够通过启发式文本块生成方法依据真实数据集生成的文本块级数据集训练文本块检测器,无需细粒度检测即可实现高精度文本提取。
-
公开(公告)号:CN114220086A
公开(公告)日:2022-03-22
申请号:CN202111295077.2
申请日:2021-11-03
Applicant: 中国科学院信息工程研究所 , 中国传媒大学
Abstract: 本发明公开一种成本高效的场景文字检测方法及系统,属于图像字体识别领域,本发明首先在预训练阶段提出一种无监督域适应方法,通过消除虚拟数据和真实数据的域差异,使虚拟数据在特征上更接近真实数据,从而获得一个较好的迁移学习初始模型;其次在微调阶段提出一个半监督主动学习方法,根据真实数据的标注信息量自适应选择数据进行标注,然后同时利用有标注和无标注的真实数据进行训练,在较小标注成本的条件下尽可能提升场景文字检测性能。
-
公开(公告)号:CN113849623A
公开(公告)日:2021-12-28
申请号:CN202111186856.9
申请日:2021-10-12
Applicant: 中国传媒大学 , 中国科学院信息工程研究所
IPC: G06F16/332 , G06F16/33 , G06F16/35 , G06F40/126 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 提供一种文本视觉问答方法和装置,该方法包括:通过文本视觉问答模型中的文字表征获取模块从图像获得视觉增强的文字表征,文字表征获取模块包括OCR模块和TVS模块;通过文本视觉问答模型中的物体表征获取模块从图像获得语义导向的物体表征;通过文本视觉问答模型中的预训练的语言模型从与图像对应的问题语句获得问题表征;通过文本视觉问答模型中的第一多模态交互网络模块从视觉增强的文字表征、语义导向的物体表征、问题表征以及先前解码向量获得与视觉增强的文字表征对应的文字表征增强特征和与先前解码向量对应的当前预测解码向量;通过文本视觉问答模型中的答案预测模块从文字表征增强特征和当前预测解码向量获得与问题语句对应的预测答案。
-
公开(公告)号:CN117786054A
公开(公告)日:2024-03-29
申请号:CN202311267037.6
申请日:2023-09-27
Applicant: 中国传媒大学 , 中国科学院信息工程研究所
IPC: G06F16/332 , G06F16/33 , G06F16/383 , G06F16/583 , G06F16/58 , G06N3/0455 , G06N3/042 , G06N5/04
Abstract: 本发明提供一种基于提示学习的生成式文本视觉问答方法及系统,其中的方法包括:对以文本为中心的多模态采样数据进行预处理,以提取所述多模态采样数据中每种模态的特征作为训练数据;利用所述训练数据训练基于提示学习的生成式文本视觉问答模型,其中包括:利用Transformer编码器对所述每种模态的特征进行跨模态交互,以生成所述多模态采样数据的特征向量;利用Transformer解码器将文本视觉问答建模为完形填空任务,通过所述完形填空任务对所述特征向量进行文本视觉问答处理,以文本序列的形式生成答案;模型处理文本视觉问答任务。利用本发明,能够极大地激发预训练语言模型的潜能,同时避免它可能带来的语言偏见。
-
公开(公告)号:CN119227684A
公开(公告)日:2024-12-31
申请号:CN202310792590.5
申请日:2023-06-30
Applicant: 中国科学院信息工程研究所
IPC: G06F40/295 , G06F40/284 , G06F16/35 , G06F16/335 , G06N3/0455 , G06N3/082
Abstract: 本发明提出了一种自然语言文本的复杂命名实体的识别方法及系统,涉及自然语言处理技术领域,通过引入含位置信息和类别信息的输入输出模板来指导候选实体生成模块,并采用基于特征增强网络和多层感知机的候选实体筛选模块,从而提升实体识别的准确性和召回率。本发明综合利用模板引导、特征增强和类别信息,有效降低无效输出概率,生成精准全面的候选实体,实现准确高效的实体识别。
-
公开(公告)号:CN114155524B
公开(公告)日:2024-11-08
申请号:CN202111271651.0
申请日:2021-10-29
Applicant: 中国科学院信息工程研究所
IPC: G06V20/64 , G06V20/58 , G06V10/25 , G06V10/762 , G06V10/766 , G06V10/80 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种单阶段3D点云目标检测方法及装置、计算机设备、介质。本方法为:根据3D点云中目标与获取3D点云的采样传感器距离不同,设置不同的聚类半径参数对3D点云进行聚类操作,用立体包围框将同类的点云包含起来得到最小立体包围框,并对每一所述最小立体包围框内的点集合进行下采样,得到数据增广后的点云数据;对数据增广后的点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,得到语义特征和空间特征;根据空间特征和语义特征预测每个点的预测分数,然后按照预测分数从高到低完成点采样;对采样点的特征进行融合得到融合特征图;回归预测网络根据该融合特征图进行预测,得到点云当中目标的位置和类别。
-
公开(公告)号:CN114428776B
公开(公告)日:2024-10-29
申请号:CN202111477748.7
申请日:2021-12-06
Applicant: 中国科学院信息工程研究所
IPC: G06F16/22 , G06F16/245 , G06F16/2458
Abstract: 本发明涉及一种面向时序数据的索引分区管理方法和系统。该方法包括:将一条时序数据创建索引所需的必要信息封装到一个Document对象中;根据时序数据的时间值,基于Time Detector组件判断时序数据的索引所属的索引分区;根据时序数据所属的索引分区的起止时间,从Time Partition Metadata组件中得到该索引分区的元数据信息以及与该索引分区相关的IndexWriter对象;利用对应索引分区的IndexWriter对象对Document对象中封装的数据进行索引创建操作。本发明将时序数据索引数据在时间维度进行分区管理,能够大幅提升查询效率,适合查询类型复杂且数据量大的时序数据应用场景。
-
公开(公告)号:CN118674036A
公开(公告)日:2024-09-20
申请号:CN202410728857.9
申请日:2024-06-06
Applicant: 中国科学院信息工程研究所
IPC: G06N5/025 , G06F40/16 , G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/082 , G06N3/0895
Abstract: 本发明涉及一种学习细粒度通用知识的跨域小样本关系抽取方法和装置。该方法包括:进行数据预处理,包括将语义提示模板拼接在数据集中每个句子的尾部;构建跨域小样本关系抽取模型,包含特征提取网络、双通道通用知识学习网络、关系对比学习网络和关系分类网络,双通道通用知识学习网络包含隐式通用知识学习网络和显式通用知识学习网络;利用训练集,通过隐式通用知识学习网络的损失函数、关系对比学习损失函数和关系分类损失函数训练跨域小样本关系抽取模型,并利用验证集获得最优模型;利用最优模型抽取目标域的句子中的关系。本发明能够精准地捕捉和利用跨领域的通用知识,减少对源域独有知识的依赖,提高在目标域中的关系抽取性能。
-
-
-
-
-
-
-
-
-