公开(公告)号：CN116385951A

公开(公告)日：2023-07-04

申请号：CN202310366961.3

申请日：2023-04-07

Applicant: 东南大学

Inventor： 沈傲东 ,  秦翊菘 ,  蒋俊杰 ,  马钰钧 ,  彭雅雯 ,  孔佑勇 ,  伍家松

IPC: G06V20/50 ,  G06V20/62 ,  G06V10/80 ,  G06V10/82 ,  G06V10/44 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/045

Abstract: 本发明公开了一种基于计算机视觉的桌面应用信息提取与组织方法，首先获取目标桌面的应用图像，所述图像为桌面应用软件使用过程中的一系列图像帧；再通过图像处理技术分析应用软件的版面布局信息，所述图像处理技术至少包括灰度处理、边缘检测、长直线检测和连通域分析；通过基于深度学习的文本检测网络和文本识别网络对应用图像进行文本块检测及识别文本内容；所述文本检测网络采用可微分二值化网络DBNet，文本识别网络采用端到端网络CRNN；最后将版面布局信息与文本识别结果进行信息融合，采用JSON格式输出图像的描述文档，完成桌面应用信息的提取和组织。