公开(公告)号：CN119883854A

公开(公告)日：2025-04-25

申请号：CN202411484578.9

申请日：2024-10-23

Applicant: 南京大学

Inventor： 潘敏学 ,  师域飞 ,  陆龙龙

IPC: G06F11/3604 ,  G06F8/10 ,  G06F8/75

Abstract: 本发明公开了一种基于Parcel框架加速中断驱动实时系统时序验证方法，包括以下步骤：(1)对中断驱动的实时系统模型中的时序片段进行Parcel抽象，生成Parcel单元；(2)利用Parcel消除技术去除验证过程中不可观察的Parcel片段；(3)通过时区截断技术，对时序模型中的时序片段进行优化，缩减验证路径；(4)执行Parcel序列修剪技术，根据Parcel序列的可达性和重要性，修剪不必要的时序片段；(5)将优化后的模型输入验证工具进行时序规范的验证；本发明提升了验证速度，特别适用于大规模中断驱动实时系统的时序验证。

公开(公告)号：CN119166535A

公开(公告)日：2024-12-20

申请号：CN202411501058.4

申请日：2024-10-25

Applicant: 南京大学

Inventor： 潘敏学 ,  陆一飞 ,  冯国豪

IPC: G06F11/36

Abstract: 本发明公开了一种基于三方库选择的静态分析加速方法，包括以下步骤：（1）输入待测试程序及对应分析任务；其中测试程序包括应用程序和其使用的第三方库；（2）根据静态分析任务，获取应用程序范围内的兴趣点；（3）以应用程序为分析范围进行库指向分析，获取兴趣点关联的库指针；（4）为所有方法生成内外部指向信息摘要；（5）分析与兴趣点相关的指针信息，获得指针优先级列表；（6）基于优先级列表选择部分第三方库；本发明使用得到的部分三方库列表用于现有的静态分析工具，获得分析速度提升。

公开(公告)号：CN119065965A

公开(公告)日：2024-12-03

申请号：CN202411064418.9

申请日：2024-08-05

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  甘易新

IPC: G06F11/36 ,  G06V30/19

Abstract: 本发明公开了一种基于多模态模型的GUI异常检测方法，包括：S1，设计多模态模型架构，用于融合文字模态和图像模态的特征；S2，在正常UI数据集上让模型学习到不同类型的组件和文字的匹配，和一些常见类型的UI异常的图文匹配能力，使得模型具有few shot能力；S3，对基于用户使用DSL定义的异常生成的小量数据集，进行few‑shot的模型微调，使得模型拥有识别新种类UI异常的能力；S4，使用文字提示和多模态模型进行UI异常的检测。本方法包括如何构建具有零样本和小样本迁移能力的多模态模型以及如何使用多模态模型进行GUI异常检测，本发明仅需在小样本数据集上微调模型，便可达到很好的GUI异常检测效果。

公开(公告)号：CN119003062A

公开(公告)日：2024-11-22

申请号：CN202410667030.1

申请日：2024-05-28

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  付诚

IPC: G06F9/451 ,  G06V30/41 ,  G06V30/148 ,  G06V30/19

Abstract: 本发明公开了一种基于SAM大模型的移动应用GUI页面布局结构生成方法，包括：步骤1)输入一个移动应用GUI界面截图，使用OCR模型进行预处理；步骤2)利用SAM大模型将GUI界面截图进行元素区域的像素级分割；步骤3)设计形状识别算法，识别界面中的矩形和非矩形区域；步骤4)设计不规则区域合并算法，将界面中的非矩形区域进行合并；步骤5)设计树状结构生成算法，根据分割结果生成布局的树状结构；步骤6)使用图神经网络对树状结构的节点进行分类，得到GUI界面组件的结构和类别；本方法可以为给定的移动应用GUI截图生成相应的树状布局结构，其中每个节点都与GUI页面上的一个可见元素相对应，便于用户在无布局文件的情况下理解移动应用GUI界面的结构。

公开(公告)号：CN118689775A

公开(公告)日：2024-09-24

申请号：CN202410892812.5

申请日：2024-07-04

Applicant: 南京大学

Inventor： 潘敏学 ,  张天 ,  黄国钊

IPC: G06F11/36

Abstract: 本发明公开了一种基于历史测试经验序列的安卓软件测试增强方法，包括以下步骤：（1）获取测试时的经验序列；（2）根据历史经验序列，抽象与构建页面状态，更新状态图；（3）根据历史经验序列与新状态图，更新经验序列分组模型，更新状态图热度，更新封禁名单；（4）进入下一轮测试，根据封禁名单，选择基础工具测试时的事件并重复；本发明可以有效地提升测试时的代码覆盖率，触发新缺陷，从而增强基础安卓GUI测试工具，提升测试效率。

公开(公告)号：CN118567999A

公开(公告)日：2024-08-30

申请号：CN202410800535.0

申请日：2024-06-20

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  郑浩然

IPC: G06F11/36 ,  G06F18/23

Abstract: 本发明公开了一种基于LLM的测试脚本生成方法，包括：输入应用和想要达到的目标界面，首先通过界面跳转图判断所述界面是否遇到过，对于没有遇到的界面，利用LLM对其中能够跳转到相同界面的可操作组件进行聚类，并将聚类后界面，利用LLM挑选并记录当前界面到达目标界面所需要执行的候选操作；最后执行对应的候选操作中的其中一个操作并将其从候选操作列表中移除，到达另一个界面并对当前操作进行总结，更新历史操作信息列表，重复操作直到到达目标场景；依据最短路径算法，从跳转图中找到初始界面到目标界面的最短路径生成测试脚本。本发明能够准确的引导自动化探索工具到达目标界面的路径，并生成对应的测试脚本，减轻了GUI测试人员编写脚本的负担。

公开(公告)号：CN118550824A

公开(公告)日：2024-08-27

申请号：CN202410646748.2

申请日：2024-05-23

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  朱晓晴

IPC: G06F11/36 ,  G06F3/04845 ,  G06T7/00 ,  G06T7/13 ,  G06T7/90 ,  G06T11/40 ,  G06T7/155

Abstract: 本发明公开一种仅基于视觉信息的移动应用GUI弹窗检测方法，包括：S1，控件检测：基于开源Rico数据集中的移动应用布局结构和GUI截图，训练YOLOv8模型，预测待检测GUI页面中存在的控件，从中筛选出弹窗类型的控件；S2，亮度二值化：使用HSV颜色空间表示待检测GUI截图，对V通道值进行二值化，获得GUI截图的亮度掩码；S3，轮廓检测：在GUI截图亮度掩码的四周填充黑色像素，检测填充后亮度掩码中的轮廓，取所有轮廓中面积最大的轮廓作为弹窗边界。本发明结合目标检测和基于HSV颜色空间的颜色分割技术，实现对移动应用GUI截图中弹窗边界的识别。

公开(公告)号：CN118502858A

公开(公告)日：2024-08-16

申请号：CN202410667029.9

申请日：2024-05-28

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  付诚

IPC: G06F9/451 ,  G06F8/38 ,  G06V30/148 ,  G06V30/19 ,  G06V30/41

Abstract: 本发明公开了一种基于SAM大模型的移动应用GUI布局文件去噪方法，包括：步骤1)输入一个移动应用GUI界面截图和JSON布局文件；步骤2)使用OCR模型对GUI截图进行预处理；步骤3)利用SAM大模型将GUI界面截图进行元素区域的像素级分割；步骤4)将分割出的区域与布局文件中标识的区域进行对比，筛选出能够匹配的布局文件区域；步骤5)将分割出的无法匹配的区域进行合并，并将合并后的结果与布局文件中标识的区域进行对比，筛选出能够匹配的布局文件区域；步骤6)遍历布局文件中的所有节点，过滤掉无法被匹配的节点，得到去噪后的布局文件；本方法可以通过GUI截图的分割来过滤筛选布局文件中的非法节点信息，进而得到更加准确且无噪声的布局文件。

公开(公告)号：CN117032793A

公开(公告)日：2023-11-10

申请号：CN202310830428.8

申请日：2023-07-07

Applicant: 南京大学

Inventor： 张天 ,  潘敏学 ,  钱正轩

IPC: G06F8/72 ,  G06F8/70 ,  G06F11/36

Abstract: 本发明公开了一种基于回溯的安卓应用图形界面测试脚本修复方法，该方法步骤包括：S1动态执行用户提供的测试脚本并收集和存储测试脚本动态运行结果；S2尝试动态地逐步复现修复步骤S1的测试脚本动态运行结果；S3在步骤S2修复过程失败时动态探索与回溯；S4修复完成后反向生成对应测试框架的可执行测试脚本。本方法使用基于组件属性的界面组件映射技术，实现将失效脚本修复至可在新版本上正常运行的功能，提升测试人员定位和修复缺陷的效率，降低测试脚本的维护成本。

公开(公告)号：CN113448553B

公开(公告)日：2023-11-03

申请号：CN202110696402.X

申请日：2021-06-23

Applicant: 南京大学

Inventor： 潘敏学 ,  张天 ,  彭彦鑫

IPC: G06F8/30 ,  G06F8/20 ,  G06F8/41 ,  G06F16/28 ,  G06F16/901 ,  G06F16/903 ,  G06F16/9038

Abstract: 本发明公开了一种C语言项目依赖信息管理和可视化的方法及系统，包括：提取项目中单个C语言文件的信息；将每个文件提取到的信息合并保存到关系型数据库中；基于关系型数据库，根据用户的查询提供多种依赖关系结果；获取依赖图信息并保存至图数据库；基于图数据库，根据用户的查询提供多种可视化的依赖关系图，本发明提供了一种对C语言项目中的复杂的依赖信息的高效管理，精简存储和便捷访问的方法，同时基于基础信息抽取更丰富的依赖信息，这些数据可以为自动化程序理解技术提供支持；本发明同时提供了多种可视化的依赖关系图的生成方法，使得开发人员可以直观了解大型项目中的依赖关系。