公开(公告)号：CN117351324B

公开(公告)日：2024-03-01

申请号：CN202311647324.X

申请日：2023-12-04

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 何建杉 ,  徐威迪 ,  王经纬 ,  周虹廷 ,  褚崴 ,  谢乐乐

IPC: G06V10/82 ,  G06V30/19 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本公开提供一种通过神经网络模型进行文档图像处理的方法及装置，神经网络模型预先通过整体训练得到，其中至少包括匹配预测网络和逻辑交互网络，方法包括：从包含文档内容的目标图像中识别出多个文字；对于多个文字中任意两个文字构成的文字组合，使用匹配预测网络，得到文字组合属于同一语义字段的第一概率；在逻辑交互网络中，根据与文档理解相关的若干条约束规则，更新各个文字组合对应的第一概率，得到各个文字组合对应的第二概率；基于各个文字组合对应的第二概率，确定多个文字各自所属的语义字段。该实施方式使用包括约束规则的神经网络模型确定文档图像中多个文字各自所属(56)对比文件孙忠严.“逻辑规则增强的中医实体表示学习与应用研究”《.中国优秀硕士学位论文全文数据库 医药卫生科技辑》.2023,第2023年卷(第10期),第E056-3页.Rinon Gal et.al..“Cardinal graphconvolution framework for documentinformation extraction”《.Proceedings ofthe ACM Symposium on Document Engineering2020》.2020,第7卷第1–11页.张雪;孙宏宇;辛东兴;李翠平;陈红.自动术语抽取研究综述.软件学报.2020,(第07期),第136-168页.

公开(公告)号：CN117351324A

公开(公告)日：2024-01-05

申请号：CN202311647324.X

申请日：2023-12-04

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 何建杉 ,  徐威迪 ,  王经纬 ,  周虹廷 ,  褚崴 ,  谢乐乐

IPC: G06V10/82 ,  G06V30/19 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本公开提供一种通过神经网络模型进行文档图像处理的方法及装置，神经网络模型预先通过整体训练得到，其中至少包括匹配预测网络和逻辑交互网络，方法包括：从包含文档内容的目标图像中识别出多个文字；对于多个文字中任意两个文字构成的文字组合，使用匹配预测网络，得到文字组合属于同一语义字段的第一概率；在逻辑交互网络中，根据与文档理解相关的若干条约束规则，更新各个文字组合对应的第一概率，得到各个文字组合对应的第二概率；基于各个文字组合对应的第二概率，确定多个文字各自所属的语义字段。该实施方式使用包括约束规则的神经网络模型确定文档图像中多个文字各自所属的语义字段，因此可以提高文档图像处理的准确性。

公开(公告)号：CN115862015A

公开(公告)日：2023-03-28

申请号：CN202211247962.8

申请日：2022-10-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李晓玉 ,  洪炜翔 ,  陈晓雪 ,  谢乐乐 ,  黄祖明 ,  仲力恒 ,  王剑 ,  陈景东 ,  褚崴

IPC: G06V30/10 ,  G06V30/19 ,  G06N3/0464 ,  G06N3/08

Abstract: 本说明书实施例提供一种文字识别系统的训练方法及装置，其中文字识别系统包括图像表征网络、字符对齐网络和字符分类器。该方法包括：利用数据增广模块对包含标签文本的原始图像进行场景渲染处理，得到增广图像；利用图像表征网络分别处理原始图像和增广图像，对应得到原图表征和增广图表征；利用字符对齐网络分别处理原图表征和增广图表征，分别得到与标签文本中各个字符对应的第一字符表征和第二字符表征；利用字符分类器处理第一字符表征，形成第一预测文本；利用字符对比模块处理第一字符表征和第二字符表征，得到对应相同字符的正表征对和对应不同字符的负表征对；基于第一预测文本、标签文本、正表征对和负表征对，训练文字识别系统。