公开(公告)号：CN119938507A

公开(公告)日：2025-05-06

申请号：CN202411484571.7

申请日：2024-10-23

Applicant: 南京大学

Inventor： 潘敏学 ,  陆一飞 ,  蓝源泓

IPC: G06F11/3668 ,  G06N3/042 ,  G06N3/092

Abstract: 本发明公开了一种基于深度强化学习的安卓应用自动化持续测试方法，包括以下步骤：（1）在目标安卓设备上初始化基于APK文件的目标应用程序；（2）对目标应用程序的历史探索数据和测试主路径进行分析后预训练DQN模型；（3）利用基于图嵌入和自然语言语义理解的GUI编码技术实时获取应用页面状态、推测可执行测试动作，编码为相应的状态编码和一系列动作编码；（4）对当前步骤的测试行为进行奖励分析，在线实时训练DQN模型，并使用DQN模型给当前页面状态下的所有测试动作打分，所得结果即Q值；（5）根据所给出的Q值选择一个测试动作进行执行，并在执行后，检查是否跳转到目标应用之外以及是否达到预设测试时间；（6）重复步骤（3）‑（5）直至测试结束；本发明对历史测试知识的重复利用，实现更高的测试有效性和效率。

公开(公告)号：CN119376723A

公开(公告)日：2025-01-28

申请号：CN202410558670.9

申请日：2024-05-08

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  王一鸣

IPC: G06F8/38 ,  G06F8/36

Abstract: 本发明公开了一种基于复用的界面生成方法，包括：步骤1)输入一个移动应用的界面截图和与所述截图对应的布局信息文件作为方法的输入；步骤2)提取界面元素特征，设计表示移动应用界面布局特征的抽象数据结构；步骤3)构建截图和布局信息文件所表示的移动应用界面结构模型；步骤4)设计界面元素相似度比较规则，包括对组件元素的比较和对容器元素的比较；步骤5)设计多种重构移动应用界面数据结构模型的策略，并提出一种基于随机数的模型转换方法；步骤6)实现从界面模型到图片的生成方法。本方法可以对移动应用用户界面进行建模，通过调整相似的界面元素在界面上的顺序，可以将一个界面模型转换成更多的界面模型，并从模型逆向生成图片。

公开(公告)号：CN118550579A

公开(公告)日：2024-08-27

申请号：CN202410528062.3

申请日：2024-04-29

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  罗禄宗

IPC: G06F8/73 ,  G06F11/36 ,  G06F40/284 ,  G06N20/00

Abstract: 本发明公开一种基于大语言模型思维链的层次化代码摘要生成方法，包括：步骤1)输入一个代码模块命名为M，M包含若干代码文件；步骤2)将M代码文件中的源代码作为提示词输入大语言模型，得到文件级别的代码摘要；步骤3)将获得的代码摘要按照“文件名‑‑‑摘要”的格式拼接为新提示词；步骤4)使用静态分析工具提取M中代码文件之间的调用关系，生成代码模块图模型G；步骤5)设计启发式代码文件权重计算算法，计算得到M中各个代码文件的权重；步骤6)将代码文件权重结合步骤3)得到的提示词作为新提示词输入大语言模型，得到模块级代码摘要；本发明实现了高抽象层次的软件系统组件摘要生成，降低了开发人员理解程序难度，提高了开发效率。

公开(公告)号：CN117251708A

公开(公告)日：2023-12-19

申请号：CN202311223333.6

申请日：2023-09-21

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  许正锋 ,  李重

IPC: G06F18/211 ,  G06F18/23 ,  G06F18/2321 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于流形的深度神经网络测试输入选择方法，包括：输入一个深度神经网络模型，该深度神经网络的训练输入数据，训练输入数据标签，候选的一系列测试输入数据，测试输入数据标签(可选)，子集选择比例作为方法的输入；设计基于流形对深度神经网络每个测试输入数据的分类类别概率进行校正计算的方法；设计根据校正之后的类别概率计算每个测试输入数据的不确定度并结合不确定度优先排序得到初始选择集的方法；设计基于流形对初始选择集进行冗余删减得到最终选择集的方法；设计基于候选测试输入特征矩阵降维聚类后的结果进行最终选择集评估的方法。

公开(公告)号：CN116821734A

公开(公告)日：2023-09-29

申请号：CN202310559130.8

申请日：2023-05-18

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  王志星

IPC: G06F18/23213 ,  G06F18/214 ,  G06N3/04 ,  G06N3/088

Abstract: 本发明公开了一种基于图神经网络的架构恢复方法和架构恢复装置，该方法步骤S1：输入软件系统每个文件中的语义信息；S2：输入软件系统文件之间的依赖关系；S3：将S1和S2获取的软件的信息整合为图的数据结构；S4：使用无监督图神经网络算法将S3得到图数据结构进行训练得到每个节点的向量表达；S5：使用无监督聚类算法K‑means算法将S4步骤获取的图数据中的节点的向量表达进行聚类，根据设定的K值将节点分为K类，得到每个文件节点具体的类别，每个节点代表了软件架构的某一类，共同构成了一个软件的架构。

公开(公告)号：CN114942816B

公开(公告)日：2023-09-05

申请号：CN202210655378.X

申请日：2022-06-10

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  朱峰熠 ,  李贵银

IPC: G06F9/451 ,  G06F40/242 ,  G06F18/241 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于文本特征和图神经网络的跨应用界面分类方法，包括步骤：以特殊方式分析各个界面的XML文件，形成节点与边的关键词词典；对关键词词典进行词筛选，包括时间日期等在内；依据新的关键词词典，使用TF‑IDF形成点与边的特征；利用自定义的，使用边特征与注意力机制，结合GGNN与GAT的图神经网络，在跳转关系图中进行半监督学习，对界面进行场景分类。本方法在构建完成跳转关系图，完成界面截屏的场景标注的基础上，主要由基于文本特征的界面特征提取，基于文本特征的跳转特征提取，文本特征关键词筛选，对图神经网络中GGNN使用边特征的改造，结合图神经网络中GAT的注意力机制改进神经网络这五个部分组成。

公开(公告)号：CN110766697B

公开(公告)日：2023-08-04

申请号：CN201910981782.4

申请日：2019-10-16

Applicant: 南京大学

Inventor： 潘敏学 ,  张天 ,  解温特 ,  葛笑非

IPC: G06T7/11 ,  G06T7/181 ,  G06T7/90 ,  G06T3/40 ,  G06V10/74

Abstract: 本发明公开了一种界面草图的图形界面控件图像识别的方法和装置。该方法对输入的图像进行预处理后，通过对预处理后的图像进行递归分割，对各分割后的图像识别边缘矩形框，然后识别边缘矩形框内的图元标识，根据图元标识对应的控件种类识别出各种类型的控件，并根据边缘矩形框的位置确定该控件在界面上的位置，结合递归的层次关系组成用以表示控件间的层次布局的控件布局树，从而便于设计人员进行界面布局设计。

公开(公告)号：CN113791781B

公开(公告)日：2023-07-18

申请号：CN202111056353.X

申请日：2021-09-09

Applicant: 南京大学

Inventor： 潘敏学 ,  张天 ,  李贵银

IPC: G06F8/38 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于图神经网络的界面功能场景划分方法和装置。该方法中，首先对界面截图按控件进行着色，然后将着色后的界面截图输入至卷积神经网络中，得到界面特征信息，然后将场景特征和场景跳转关系输入至门控图神经网络中，进行分类得到界面的功能场景分类。本发明通过界面功能场景分类为软件开发和测试提供指导。

公开(公告)号：CN116383054A

公开(公告)日：2023-07-04

申请号：CN202310327516.6

申请日：2023-03-30

Applicant: 南京大学

Inventor： 陈惠民 ,  潘敏学 ,  张天

IPC: G06F11/36 ,  G06F21/56 ,  G06N20/00

Abstract: 本发明公开了一种静态分析和动态探索结合的移动应用模型构建方法，包括以下步骤：统计和分析主流的动态组件类型；静态分析应用app获取应用基于动态组件的静态模型，再在动态测试过程中与静态模型进行匹配得到应用的当前状态，利用状态节点和事件序列构建应用模型状态图，最后使用静态模型和状态图，引入强化学习算法指导测试，统计测试覆盖率结果。本发明采用了静态分析和动态探索结合构建应用模型状态图，很好地利用静态分析获取应用的动态组件信息，更加合理地表示页面的状态情况的优势，以及动态探索获取事件完整性的优势，构建更加准确的应用状态模型。

公开(公告)号：CN113448553A

公开(公告)日：2021-09-28

申请号：CN202110696402.X

申请日：2021-06-23

Applicant: 南京大学

Inventor： 潘敏学 ,  张天 ,  彭彦鑫

IPC: G06F8/30 ,  G06F8/20 ,  G06F8/41 ,  G06F16/28 ,  G06F16/901 ,  G06F16/903 ,  G06F16/9038

Abstract: 本发明公开了一种C语言项目依赖信息管理和可视化的方法及系统，包括：提取项目中单个C语言文件的信息；将每个文件提取到的信息合并保存到关系型数据库中；基于关系型数据库，根据用户的查询提供多种依赖关系结果；获取依赖图信息并保存至图数据库；基于图数据库，根据用户的查询提供多种可视化的依赖关系图，本发明提供了一种对C语言项目中的复杂的依赖信息的高效管理，精简存储和便捷访问的方法，同时基于基础信息抽取更丰富的依赖信息，这些数据可以为自动化程序理解技术提供支持；本发明同时提供了多种可视化的依赖关系图的生成方法，使得开发人员可以直观了解大型项目中的依赖关系。