公开(公告)号：CN114942816A

公开(公告)日：2022-08-26

申请号：CN202210655378.X

申请日：2022-06-10

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  朱峰熠 ,  李贵银

IPC: G06F9/451 ,  G06F40/242 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于文本特征和图神经网络的跨应用界面分类方法，包括步骤：以特殊方式分析各个界面的XML文件，形成节点与边的关键词词典；对关键词词典进行词筛选，包括时间日期等在内；依据新的关键词词典，使用TF‑IDF形成点与边的特征；利用自定义的，使用边特征与注意力机制，结合GGNN与GAT的图神经网络，在跳转关系图中进行半监督学习，对界面进行场景分类。本方法在构建完成跳转关系图，完成界面截屏的场景标注的基础上，主要由基于文本特征的界面特征提取，基于文本特征的跳转特征提取，文本特征关键词筛选，对图神经网络中GGNN使用边特征的改造，结合图神经网络中GAT的注意力机制改进神经网络这五个部分组成。

公开(公告)号：CN114942816B

公开(公告)日：2023-09-05

申请号：CN202210655378.X

申请日：2022-06-10

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  朱峰熠 ,  李贵银

IPC: G06F9/451 ,  G06F40/242 ,  G06F18/241 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于文本特征和图神经网络的跨应用界面分类方法，包括步骤：以特殊方式分析各个界面的XML文件，形成节点与边的关键词词典；对关键词词典进行词筛选，包括时间日期等在内；依据新的关键词词典，使用TF‑IDF形成点与边的特征；利用自定义的，使用边特征与注意力机制，结合GGNN与GAT的图神经网络，在跳转关系图中进行半监督学习，对界面进行场景分类。本方法在构建完成跳转关系图，完成界面截屏的场景标注的基础上，主要由基于文本特征的界面特征提取，基于文本特征的跳转特征提取，文本特征关键词筛选，对图神经网络中GGNN使用边特征的改造，结合图神经网络中GAT的注意力机制改进神经网络这五个部分组成。

公开(公告)号：CN114936165A

公开(公告)日：2022-08-23

申请号：CN202210655506.0

申请日：2022-06-10

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  朱峰熠 ,  李贵银

IPC: G06F11/36 ,  G06F9/455

Abstract: 本发明由注解变异生成Appium脚本的方法，对一个Appium脚本代码以特定语法添加注解，以表述出对某行脚本的重复次数，变量要求需求；将添加了注解的脚本输入Xtext语法中，生成Xtext语法树；将Xtext语法树输入Xtend代码中，对其不同的组成成分进行各自不同的处理，最终生成全新的，符合用户注解中表达需求的Appium脚本。本发明主要由Appium脚本代码注解语法，解析添加注解的脚本的Xtext语法，与Xtext语法对应的、解析Xtext生成的语法树从而生成新脚本Xtend语法三个部分组成；实现从原始代码加简单注解生成大批量相似代码的工作，有效解决编写大量类似测试脚本费时费力的问题。