公开(公告)号：CN116563840B

公开(公告)日：2023-09-05

申请号：CN202310828211.3

申请日：2023-07-07

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 裴文杰 ,  伍晶晶 ,  房正耀 ,  陈芳林 ,  卢光明

IPC: G06V20/62 ,  G06V20/70 ,  G06V30/14 ,  G06V30/18 ,  G06V10/82 ,  G06V30/19 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0895

Abstract: 本发明提供基于弱监督跨模态对比学习的场景文本检测与识别方法，涉及图像处理技术领域。方法包括：将待识别图像输入至文本识别模型中的第一图像编码器得到第一图像特征图；基于第一图像特征图获取概率特征图、字符位置特征图以及字符语义特征图；基于概率特征图、字符位置特征图和字符语义特征图中确定待识别图像中的文本识别结果；文本识别模型是基于多组包括样本待识别图像以及样本待识别图像对应的第一文本内容标签和文本区域位置标签的第一训练数据训练得到的；文本区域位置标签是基于标签生成模型生成的，标签生成模型基于多组包括样本待标注图像以及样本待标注图像中的第二文本内容标签的第二训练数据训练得到。本发明可以降低标注成本。

公开(公告)号：CN116563840A

公开(公告)日：2023-08-08

申请号：CN202310828211.3

申请日：2023-07-07

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 裴文杰 ,  伍晶晶 ,  房正耀 ,  陈芳林 ,  卢光明

IPC: G06V20/62 ,  G06V20/70 ,  G06V30/14 ,  G06V30/18 ,  G06V10/82 ,  G06V30/19 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0895

Abstract: 本发明提供基于弱监督跨模态对比学习的场景文本检测与识别方法，涉及图像处理技术领域。方法包括：将待识别图像输入至文本识别模型中的第一图像编码器得到第一图像特征图；基于第一图像特征图获取概率特征图、字符位置特征图以及字符语义特征图；基于概率特征图、字符位置特征图和字符语义特征图中确定待识别图像中的文本识别结果；文本识别模型是基于多组包括样本待识别图像以及样本待识别图像对应的第一文本内容标签和文本区域位置标签的第一训练数据训练得到的；文本区域位置标签是基于标签生成模型生成的，标签生成模型基于多组包括样本待标注图像以及样本待标注图像中的第二文本内容标签的第二训练数据训练得到。本发明可以降低标注成本。