文本视觉问答方法和装置

    公开(公告)号:CN113849623B

    公开(公告)日:2024-04-09

    申请号:CN202111186856.9

    申请日:2021-10-12

    Abstract: 提供一种文本视觉问答方法和装置,该方法包括:通过文本视觉问答模型中的文字表征获取模块从图像获得视觉增强的文字表征,文字表征获取模块包括OCR模块和TVS模块;通过文本视觉问答模型中的物体表征获取模块从图像获得语义导向的物体表征;通过文本视觉问答模型中的预训练的语言模型从与图像对应的问题语句获得问题表征;通过文本视觉问答模型中的第一多模态交互网络模块从视觉增强的文字表征、语义导向的物体表征、问题表征以及先前解码向量获得与视觉增强的文字表征对应的文字表征增强特征和与先前解码向量对应的当前预测解码向量;通过文本视觉问答模型中的答案预测模块从文字表征增强特征和当前预测解码向量获得与问题语句对应的预测答案。

    无需细粒度检测的场景文本提取方法、系统

    公开(公告)号:CN115879462A

    公开(公告)日:2023-03-31

    申请号:CN202211233226.7

    申请日:2022-10-10

    Abstract: 本发明提供一种无需细粒度检测的场景文本提取方法,首先将所获取的文本图像输入至预训练的文本块检测器中以使文本块检测器对文本图像进行检测剪裁形成文本块图像;再通过预训练的文本块识别器基于文本块特征图获取所述文本块图像的语义特征向量和位置特征向量,基于语义特征向量和所述位置特征向量进行特征融合和拼接以获取预测特征,并获取与预测特征相对应的预测文本,通过这种粗粒度检测与多实例识别相结合的框架减轻检测负担,同时利用丰富的上下文信息进行识别,能够通过启发式文本块生成方法依据真实数据集生成的文本块级数据集训练文本块检测器,无需细粒度检测即可实现高精度文本提取。

    文本视觉问答方法和装置

    公开(公告)号:CN113849623A

    公开(公告)日:2021-12-28

    申请号:CN202111186856.9

    申请日:2021-10-12

    Abstract: 提供一种文本视觉问答方法和装置,该方法包括:通过文本视觉问答模型中的文字表征获取模块从图像获得视觉增强的文字表征,文字表征获取模块包括OCR模块和TVS模块;通过文本视觉问答模型中的物体表征获取模块从图像获得语义导向的物体表征;通过文本视觉问答模型中的预训练的语言模型从与图像对应的问题语句获得问题表征;通过文本视觉问答模型中的第一多模态交互网络模块从视觉增强的文字表征、语义导向的物体表征、问题表征以及先前解码向量获得与视觉增强的文字表征对应的文字表征增强特征和与先前解码向量对应的当前预测解码向量;通过文本视觉问答模型中的答案预测模块从文字表征增强特征和当前预测解码向量获得与问题语句对应的预测答案。

    基于提示学习的生成式文本视觉问答方法及系统

    公开(公告)号:CN117786054A

    公开(公告)日:2024-03-29

    申请号:CN202311267037.6

    申请日:2023-09-27

    Abstract: 本发明提供一种基于提示学习的生成式文本视觉问答方法及系统,其中的方法包括:对以文本为中心的多模态采样数据进行预处理,以提取所述多模态采样数据中每种模态的特征作为训练数据;利用所述训练数据训练基于提示学习的生成式文本视觉问答模型,其中包括:利用Transformer编码器对所述每种模态的特征进行跨模态交互,以生成所述多模态采样数据的特征向量;利用Transformer解码器将文本视觉问答建模为完形填空任务,通过所述完形填空任务对所述特征向量进行文本视觉问答处理,以文本序列的形式生成答案;模型处理文本视觉问答任务。利用本发明,能够极大地激发预训练语言模型的潜能,同时避免它可能带来的语言偏见。

    单阶段3D点云目标检测方法及装置、计算机设备、介质

    公开(公告)号:CN114155524B

    公开(公告)日:2024-11-08

    申请号:CN202111271651.0

    申请日:2021-10-29

    Abstract: 本发明公开了一种单阶段3D点云目标检测方法及装置、计算机设备、介质。本方法为:根据3D点云中目标与获取3D点云的采样传感器距离不同,设置不同的聚类半径参数对3D点云进行聚类操作,用立体包围框将同类的点云包含起来得到最小立体包围框,并对每一所述最小立体包围框内的点集合进行下采样,得到数据增广后的点云数据;对数据增广后的点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,得到语义特征和空间特征;根据空间特征和语义特征预测每个点的预测分数,然后按照预测分数从高到低完成点采样;对采样点的特征进行融合得到融合特征图;回归预测网络根据该融合特征图进行预测,得到点云当中目标的位置和类别。

    一种面向时序数据的索引分区管理方法和系统

    公开(公告)号:CN114428776B

    公开(公告)日:2024-10-29

    申请号:CN202111477748.7

    申请日:2021-12-06

    Abstract: 本发明涉及一种面向时序数据的索引分区管理方法和系统。该方法包括:将一条时序数据创建索引所需的必要信息封装到一个Document对象中;根据时序数据的时间值,基于Time Detector组件判断时序数据的索引所属的索引分区;根据时序数据所属的索引分区的起止时间,从Time Partition Metadata组件中得到该索引分区的元数据信息以及与该索引分区相关的IndexWriter对象;利用对应索引分区的IndexWriter对象对Document对象中封装的数据进行索引创建操作。本发明将时序数据索引数据在时间维度进行分区管理,能够大幅提升查询效率,适合查询类型复杂且数据量大的时序数据应用场景。

    一种学习细粒度通用知识的跨域小样本关系抽取方法和装置

    公开(公告)号:CN118674036A

    公开(公告)日:2024-09-20

    申请号:CN202410728857.9

    申请日:2024-06-06

    Abstract: 本发明涉及一种学习细粒度通用知识的跨域小样本关系抽取方法和装置。该方法包括:进行数据预处理,包括将语义提示模板拼接在数据集中每个句子的尾部;构建跨域小样本关系抽取模型,包含特征提取网络、双通道通用知识学习网络、关系对比学习网络和关系分类网络,双通道通用知识学习网络包含隐式通用知识学习网络和显式通用知识学习网络;利用训练集,通过隐式通用知识学习网络的损失函数、关系对比学习损失函数和关系分类损失函数训练跨域小样本关系抽取模型,并利用验证集获得最优模型;利用最优模型抽取目标域的句子中的关系。本发明能够精准地捕捉和利用跨领域的通用知识,减少对源域独有知识的依赖,提高在目标域中的关系抽取性能。

Patent Agency Ranking