-
公开(公告)号：CN113946334B
公开(公告)日：2025-03-11
申请号：CN202111231486.6
申请日：2021-10-22
Applicant: 南京大学
IPC: G06F8/38 , G06F11/3668
Abstract: 本发明公开了一种界面跳转路径图的合并方法和装置。该方法将自动化测试工具对UI应用界面测试所产生的各界面跳转路径通过对界面场景的相似度分析，将相似的界面场景节点合并，从而将各界面跳转路径合并，生成合并后的界面跳转路径图，从而减少了后续分析的复杂性。本发明中，界面场景相似度分析时，采用界面截图和控件布局相似度比较相结合的方法。其中，界面截图相似度计算时，通过卷积神经网络提取特征向量，然后通过特征向量之间的距离作为界面截图相似度；控件布局相似度计算时，将控件布局转换成简化的布局文本，然后计算布局文本之间的文本相似度。
-
公开(公告)号：CN118779847A
公开(公告)日：2024-10-15
申请号：CN202410800534.6
申请日：2024-06-20
Applicant: 南京大学
Abstract: 本发明公开了一种基于结构和组件的APP界面相似度计算方法，该方法针对两个App界面，进行界面结构相似度计算和组件匹配相似度计算得到界面之间的结构相似度和组件匹配度，通过加权平均结构相似度和组件匹配度，得到界面相似度；本发明从结构相似度和组件匹配度两个方面，实现了精确计算不同应用界面之间相似度的技术，该技术能够帮助检测人员更好找出恶意抄袭软件，避免用户出现个人信息泄漏或财产损失的情况。
-
公开(公告)号：CN118312432A
公开(公告)日：2024-07-09
申请号：CN202410524639.3
申请日：2024-04-29
Applicant: 南京大学
Abstract: 本发明公开一种脚本修复过程中的UI断言处理及生成方法，包括UI断言范围约束、使用断言指导测试脚本修复、大模型制导的UI断言生成三部分；具体步骤包括：首先对UI断言涵盖的范围约束为组件是否存在于/不存在于当前界面以及组件的某一属性是否等于/不等于预期值两种情况；在修复过程中，若旧版本测试脚本含有断言，则使用断言指导测试脚本修复；若旧版本测试脚本不含有断言，则使用大模型为旧版本测试脚本生成断言，并依据生成的断言指导脚本修复。本发明采用基于断言指导的测试脚本修复技术和基于大模型生成测试脚本断言的技术，实现了断言在测试脚本修复过程中的应用。
-
公开(公告)号：CN116756035A
公开(公告)日：2023-09-15
申请号：CN202310803301.7
申请日：2023-07-03
Applicant: 南京大学
IPC: G06F11/36
Abstract: 本发明公开了一种基于DSL和UI资产库的异常UI数据集生成方法，该方法包括：步骤1)设计一种DSL语言用来描述不同类型的UI Bug；步骤2)编写一个DSL文件用来定义想要生成的UI Bug类型；步骤3)编写一个DSL解析器，用于读取DSL文件中的Bug规则并创建规则对象；步骤4)编写一个UI资产库构建器，用于构建一个UI资产库；使用Rico数据集作为UI资产库的来源，从所述Rico数据集中提取出每个界面截图中包含的不同类型的控件，并且记录下每个控件的信息；步骤5)根据DSL定义的规则，在UI资产库上自动地生成不同类型和数量的异常UI数据集，并且保存为COCO数据集的格式。本发明可以为UI bug检测和图像理解等领域提供有价值的数据资源，促进相关技术的发展和创新。
-
-
Patent Agency Ranking
公开(公告)号：CN115390845A
公开(公告)日：2022-11-25
申请号：CN202210961933.1
申请日：2022-08-11
Applicant: 南京大学
Abstract: 本发明公开一种基于图像理解的跨平台脚本记录和迁移方法，分录制和回放两个阶段，由录制阶段的导出截图脚本部分，回放阶段的训练目标检测模型、重播应用的组件抽取、训练对比学习模型，基于图像理解匹配脚本组件四个部分组成。具体步骤为：对一个移动应用在点击过程中通过获取其边界记录组件截图，生成平台无关脚本；基于开源的Rico数据集训练一个能从app界面检测出所有组件边界的目标检测YOLOv3模型；基于RICO数据集中标注的组件图片训练理解图像语义的对比学习模型MOCOV2；使用YOLOv3将目标平台app的GUI中的所有组件图片提取出，用MOCOV2进行脚本中记录的组件图片匹配，获得迁移到目标平台的脚本。
-
公开(公告)号：CN114942816A
公开(公告)日：2022-08-26
申请号：CN202210655378.X
申请日：2022-06-10
Applicant: 南京大学
IPC: G06F9/451 , G06F40/242 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于文本特征和图神经网络的跨应用界面分类方法，包括步骤：以特殊方式分析各个界面的XML文件，形成节点与边的关键词词典；对关键词词典进行词筛选，包括时间日期等在内；依据新的关键词词典，使用TF‑IDF形成点与边的特征；利用自定义的，使用边特征与注意力机制，结合GGNN与GAT的图神经网络，在跳转关系图中进行半监督学习，对界面进行场景分类。本方法在构建完成跳转关系图，完成界面截屏的场景标注的基础上，主要由基于文本特征的界面特征提取，基于文本特征的跳转特征提取，文本特征关键词筛选，对图神经网络中GGNN使用边特征的改造，结合图神经网络中GAT的注意力机制改进神经网络这五个部分组成。
-
-
公开(公告)号：CN114610321A
公开(公告)日：2022-06-10
申请号：CN202210284682.8
申请日：2022-03-22
Applicant: 南京大学
Abstract: 本发明公开一种基于c和c++软件的依赖结构的文件特征表示方法，该方法包括文件依赖图提取、随机游走采样和模型训练三个步骤：使用clang和llvm分析技术，构造c和c++软件的层次化的文件依赖图；使用随机游走策略，在文件依赖图上采集节点序列集合；构造图表示学习模型，并基于节点序列集合对模型进行训练，从而获得文件的特征表示。本方法基于依赖分析技术和图表示学习技术，可以充分提取局部图结构信息，并生成文件的特征向量。
-
-
-
-
-
-
-
-
Search Results
102
records
(took 0.021 seconds)
