-
公开(公告)号:CN119358208A
公开(公告)日:2025-01-24
申请号:CN202411312862.8
申请日:2024-09-15
Applicant: 南京大学
IPC: G06F30/20 , G06F30/27 , G06F40/30 , G06N20/00 , G06F111/04
Abstract: 本发明涉及一种基于事故报告的自动驾驶泛化性测试场景构建方法。该技术根据基于层的场景定义,将事故场景初步抽象为三层:路网和交通引导对象、环境条件和动态对象。然后利用LLM系统地从事故报告中提取有关事故影响因素的信息,逐层组织信息。随后,对交通参与者的事故前驾驶行为建立约束,并使用约束求解器生成符合事故报告中指定约束的轨迹。接着,将提取的环境和道路信息生成的轨迹输入到驾驶模拟器中,重建车祸场景。最后,在评估阶段,将生成的模拟场景转换为包含测试预言机的测试用例,并将这些测试用例进行自动驾驶仿真测试。本发明目的在于解决在不同的道路上再现事故场景的难题,进而帮助自动驾驶系统从业人员在不同道路结构的事故场景下开展测试工作。
-
公开(公告)号:CN118918056A
公开(公告)日:2024-11-08
申请号:CN202310512064.9
申请日:2023-05-08
Applicant: 南京大学
IPC: G06T7/00 , B25J9/08 , B25J9/16 , B25J18/00 , G06F11/36 , H04L67/133 , G06N3/092 , G06V20/52 , G06V30/148 , G06T7/13 , G06V10/774 , G06V10/82
Abstract: 一种基于多轴机械臂物理仿真与强化学习的移动应用自动化测试的方法,逻辑上包括照片处理模块、图像理解模块、强化学习模块和机械臂控制模块。照片处理模块包括控制摄像头拍摄照片的清晰度,并使用一系列传统计算机视觉技术来进行图像增强、轮廓检测和屏幕截取。图像理解模块包括控件识别和页面布局识别,通过控件识别综合采用多种技术来识别屏幕中的UI控件,通过页面布局以别来结构化地组织UI控件,提供整体页面信息。强化学习模块包括Q‑Network神经网络模型等深度强化学习构件,根据图像理解信息自训练并生成指令指导机械臂进行自动化测试探索。机械臂控制模块通过RPC协议接受来自服务端的操作调度,通过逆运动学算法解析指令,转换并完成仿真测试操作。
-
公开(公告)号:CN118916257A
公开(公告)日:2024-11-08
申请号:CN202310511954.8
申请日:2023-05-08
Applicant: 南京大学
IPC: G06F11/36 , G06F16/957 , G06F11/34 , G06F18/22
Abstract: 一种基于测试日志分析与人机交互对话的测试复现引导的方法,包括模型转换模块、监测模块、引导模块和对话机器人模块。模型转换模块从GUI截图中提取页面信息,根据结构与内容的整体相似度合并页面,按照测试的步骤顺序形成页面跳转模型。监测模块监测用户的复现操作并放入页面模型进行比对,若有偏离则调用引导模块,以一定的策略为用户纠偏。对话机器人模块包含与用户进行基本的互动沟通功能(如提醒用户偏离、询问用户是否需要帮助、询问是否成功复现),并可以在用户寻求帮助时,配合引导模块提示用户直到复现成功。
-
公开(公告)号:CN118885377A
公开(公告)日:2024-11-01
申请号:CN202410649782.5
申请日:2024-05-18
Applicant: 南京大学
IPC: G06F11/36 , G06F18/231 , G06V30/41 , G06V10/82 , G06F40/16
Abstract: 本发明涉及一种基于大语言模型的移动众包测试报告聚合框架。针对移动众包测试报告中文本简短且信息不足、未充分利用截图信息,以及重复报告聚合效率低下的问题,提出了基于大型语言模型的聚合框架。该框架细致地综合考虑了文本和截图信息,充分发挥了大型语言模型的语义理解能力,并通过最小生成树和聚类算法实现了高效的报告聚合。这种方法不仅提高了对测试报告的全面理解,还提升了审查效率和报告质量。具体而言,该方法利用大型语言模型深入理解自然语言,结合Paddle‑OCR和YOLOv5s模型提取截图中的文本和小组件信息,通过三元组提取和凝聚层次聚类实现更高效的审查。在聚合阶段,结合大型语言模型和TextRank算法,将报告表示为路径结构,并根据路径重叠频率和路径巧合度量评估报告的重要性,最终得到优先级排序的报告列表。本发明目的在于解决目前存在的移动众包测试报告数量巨大,针对报告文本内容不足截图内容丰富,提出了两种众包测试报告聚合技术,利用报告的图文信息并结合多模态、预训练模型等技术实现了报告的聚合,极大方便了专业人员对报告的处理。进而帮助软件研发人员提高测试报告审查效率,极大方便了专业人员对报告的处理,进而保障软件质量。
-
公开(公告)号:CN117234587A
公开(公告)日:2023-12-15
申请号:CN202210715645.8
申请日:2022-06-02
Applicant: 南京大学
IPC: G06F8/74 , G06F8/75 , G06F11/36 , G06V20/62 , G06V10/44 , G06N3/0455 , G06N3/0464 , G06N3/047 , G06N3/048
Abstract: 一种基于图像理解与代码分析结合的移动测试脚本意图识别的方法,包括图像理解模块和代码识别模块。图像理解模块生成Appium测试脚本中通过Xpath定位控件的语句的意图描述信息,在自动化运行脚本过程中转储必要的媒体信息后,通过OCR技术和深度学习模型针对不同类型的图片生成其语义信息。代码识别模块通过模版匹配的方法将Id类定位的控件映射到其源代码所在的响应函数,将响应函数输入改进的code2seq模型中生成其意图信息。最后将这两个模块生成的意图信息进行整合,生成最后完整的测试脚本的意图报告。
-
公开(公告)号:CN117194213A
公开(公告)日:2023-12-08
申请号:CN202210700870.4
申请日:2022-05-27
Applicant: 南京大学
IPC: G06F11/36 , G06F16/36 , G06F16/33 , G06F16/901 , G06F40/242 , G06F40/247 , G06N5/022 , G06N5/02 , G06V20/62 , G06V10/44 , G06V10/82
Abstract: 一种基于知识图谱的移动应用功能点测试知识库搭建的方法,包括知识图谱特征提取模块、知识图谱关系提取模块、知识图谱共指消解模块和知识图谱智能查询模块。知识图谱特征提取模块主要负责将大量带有复现步骤的移动应用众包测试报告进行有效的信息提取和拆解,来帮助构建知识图谱。知识图谱关系提取模块是为了将知识图谱特征提取模块中分析出来的数据进行整合。知识图谱共指消解模块是为了将知识图谱特征提取模块与知识图谱关系提取模块整理好的数据上传到指定的Neo4j图数据库中。知识图谱智能查询模块是为了帮助使用者快速了解知识图谱,并帮助移动应用自动化测试人员提供自动化功能点测试下一步该做什么的指引帮助。
-
公开(公告)号:CN117194212A
公开(公告)日:2023-12-08
申请号:CN202210700869.1
申请日:2022-05-27
Applicant: 南京大学
IPC: G06F11/36 , G06F18/22 , G06F18/23213 , G06V10/764 , G06V10/82 , G06V10/74 , G06V20/70 , G06F40/289 , G06F40/247 , G06F40/268 , G06F40/194
Abstract: 一种基于深度图像语义挖掘的移动应用众包测试报告聚类的方法,包括特征提取模块、距离计算模块、约束规则构建模块和半监督聚类模块。在特征提取模块,提取结构特征、内容特征、缺陷行为和复现步骤四个特征来表示由屏幕截图和文本描述组成的众包测试报告。在距离计算模块,利用提取的特征,采用不同的距离算法分别计算每一对测试报告四个特征相应的半监督聚类距离,并利用加权算法得出每一对测试报告之间总体的半监督聚类距离。在约束规则构建模块,构建语义约束规则,包括Must‑Link和Cannot‑Link。在半监督聚类模块,在语义约束规则的引导下,采用K‑Medoids算法对测试报告进行半监督聚类。
-
公开(公告)号:CN117171006A
公开(公告)日:2023-12-05
申请号:CN202210701026.3
申请日:2022-05-27
Applicant: 南京大学
IPC: G06F11/36 , G06F40/194 , G06F16/35 , G06F40/58 , G06F40/289 , G06F40/30 , G06V20/70 , G06V20/62 , G06V10/82 , G06V10/764 , G06V10/44
Abstract: 一种基于图像文本语意融合分析的移动应用众测报告一致性检测的方法,包括文本增强模块、分类器模块、分解器模块和检测器模板。文本增强器模块对文本描述进行增强,来使得具有不同类型的缺陷的测试报告均匀分布。分类器模块首先为众包测试报告中的缺陷构建了一个分类法。然后基于BERT模型构建了分类器。在分类器将缺陷进行分类后,引入分解器来分析应用程序的屏幕截图和文本描述。通过从文本描述中提取到的特征,以及从应用程序截图中提取包含附加信息的控件,检测器可以根据不同的策略检测到众包测试报告的一致性。
-
公开(公告)号:CN110717602B
公开(公告)日:2023-08-29
申请号:CN201910952057.4
申请日:2019-09-29
Applicant: 南京大学
IPC: G06N20/10
Abstract: 本发明提供的是一种基于噪音数据的机器学习模型鲁棒性评估方法,包括原始数据集处理、噪音数据获取、模型训练、模型预测、准确率下降比计算和模型鲁棒性评估。原始数据集处理包括收集百分百标签正确的原始数据集,并采用10次10‑折交叉验证划分原始训练集和原始测试集。噪音数据获取包括在原始训练集的基础上,采用分层抽样方法抽取t′=|D|·α个数据,并将其标签替换为错误标签,其中α为噪音数据率。模型训练包括基于常见分类算法,并分别输入原始训练集和混有噪音数据的训练集分别构建原始模型和新模型。模型预测包括基于原始测试集,对这原始模型和新模型分别进行准确度评估。准确率下降比计算包括计算新模型较原始模型而言准确率下降的比率。模型鲁棒性评估包括横纵向比较准确率下降的比率的大小,衡量模型鲁棒性强弱,实现了判断模型健壮性的标准。
-
公开(公告)号:CN114579753A
公开(公告)日:2022-06-03
申请号:CN202210052086.7
申请日:2022-01-17
Applicant: 南京大学
Abstract: 本发明涉及知识图谱质量评估领域,提供一种基于差分测试和嵌入模型的知识图谱评估方法。该方法基于变异测试的思想,变异生成可代表知识图谱数据中典型错误的三元组,并将其作为输入重训练出对知识图谱典型错误敏感的优化嵌入模型。该方法还基于差分测试的思想,输入普通知识图谱数据获取不同优化嵌入模型的输出,根据相似性评估保证输出的一致性和有效性;从而可通过符合相似性评估的输出结果再使用投票策略,最终计算出符合实际的质量评估指标。本发明目的在于解决目前存在的知识图谱质量评估人工成本高,耗时长且缺失自动化评估方法和过程的难题,进而帮助评估人员快速地对知识图谱质量进行了解并在短时间内获取可靠的知识图谱评估结果。
-
-
-
-
-
-
-
-
-