公开(公告)号：CN119759771A

公开(公告)日：2025-04-04

申请号：CN202411828998.4

申请日：2024-12-12

Applicant: 浙江大学

Inventor： 智晨 ,  宋嘉荟 ,  赵康嘉 ,  梁秀波 ,  赵天成 ,  邓水光 ,  尹建伟

IPC: G06F11/3668 ,  G06F11/3698

Abstract: 本发明公开了一种基于多模态模型的自动化GUI测试方法及系统，包括：(1)构建统一测试基准环境GTArena，将GUI测试流程分解为测试意图生成、测试任务执行与GUI缺陷检测三个连续阶段，并采用多模态模型执行三个阶段的流程；(2)利用POMDP对测试任务执行过程进行建模，描述状态转移与决策过程；(3)借助转移元组对应用程序的交互状态进行建模，记录测试任务执行过程中的状态转移序列与操作行为日志；(4)利用真实应用程序、人工注入缺陷的应用程序及合成数据构建大规模数据集，对多模态大语言模型进行评估与训练优化；(5)利用经过评估和训练优化的多模态模型进行自动化GUI测试。利用本发明，可以有效提升自动化GUI测试的整体效率与可靠性。