公开(公告)号：CN119003062A

公开(公告)日：2024-11-22

申请号：CN202410667030.1

申请日：2024-05-28

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  付诚

IPC: G06F9/451 ,  G06V30/41 ,  G06V30/148 ,  G06V30/19

Abstract: 本发明公开了一种基于SAM大模型的移动应用GUI页面布局结构生成方法，包括：步骤1)输入一个移动应用GUI界面截图，使用OCR模型进行预处理；步骤2)利用SAM大模型将GUI界面截图进行元素区域的像素级分割；步骤3)设计形状识别算法，识别界面中的矩形和非矩形区域；步骤4)设计不规则区域合并算法，将界面中的非矩形区域进行合并；步骤5)设计树状结构生成算法，根据分割结果生成布局的树状结构；步骤6)使用图神经网络对树状结构的节点进行分类，得到GUI界面组件的结构和类别；本方法可以为给定的移动应用GUI截图生成相应的树状布局结构，其中每个节点都与GUI页面上的一个可见元素相对应，便于用户在无布局文件的情况下理解移动应用GUI界面的结构。

公开(公告)号：CN118502858A

公开(公告)日：2024-08-16

申请号：CN202410667029.9

申请日：2024-05-28

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  付诚

IPC: G06F9/451 ,  G06F8/38 ,  G06V30/148 ,  G06V30/19 ,  G06V30/41

Abstract: 本发明公开了一种基于SAM大模型的移动应用GUI布局文件去噪方法，包括：步骤1)输入一个移动应用GUI界面截图和JSON布局文件；步骤2)使用OCR模型对GUI截图进行预处理；步骤3)利用SAM大模型将GUI界面截图进行元素区域的像素级分割；步骤4)将分割出的区域与布局文件中标识的区域进行对比，筛选出能够匹配的布局文件区域；步骤5)将分割出的无法匹配的区域进行合并，并将合并后的结果与布局文件中标识的区域进行对比，筛选出能够匹配的布局文件区域；步骤6)遍历布局文件中的所有节点，过滤掉无法被匹配的节点，得到去噪后的布局文件；本方法可以通过GUI截图的分割来过滤筛选布局文件中的非法节点信息，进而得到更加准确且无噪声的布局文件。