一种基于多模态模型的自动化GUI测试方法及系统

    公开(公告)号:CN119759771A

    公开(公告)日:2025-04-04

    申请号:CN202411828998.4

    申请日:2024-12-12

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于多模态模型的自动化GUI测试方法及系统,包括:(1)构建统一测试基准环境GTArena,将GUI测试流程分解为测试意图生成、测试任务执行与GUI缺陷检测三个连续阶段,并采用多模态模型执行三个阶段的流程;(2)利用POMDP对测试任务执行过程进行建模,描述状态转移与决策过程;(3)借助转移元组对应用程序的交互状态进行建模,记录测试任务执行过程中的状态转移序列与操作行为日志;(4)利用真实应用程序、人工注入缺陷的应用程序及合成数据构建大规模数据集,对多模态大语言模型进行评估与训练优化;(5)利用经过评估和训练优化的多模态模型进行自动化GUI测试。利用本发明,可以有效提升自动化GUI测试的整体效率与可靠性。

    基于多智能体协同的人机物融合服务网络构建方法及系统

    公开(公告)号:CN119337550A

    公开(公告)日:2025-01-21

    申请号:CN202411051339.4

    申请日:2024-08-01

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于多智能体协同的人机物融合服务网络构建方法及系统。针对人机物融合场景,当不考虑人类这一元素或者对人类建模过于简化时,对人的能力进行更立体更多维的分析,构建人与能力的对应关系,实现更优化的人类建模方法;当面临系统可处理的任务和场景的固化、僵化时,通过定义资源‑能力框架,构建环境时序数据孪生体系、资源库和能力库,部署多个智能体,生成环境事件,拆解成可执行的工作流,牵引系统能力的自组织执行,提升人机物服务网络的灵活性和通用型,使系统能够适应不同的场景需求。该方法能够有效地集成现实世界人机物异构资源,有效解决了人机物服务网络人类建模简单化、系统固化的问题。

    基于多模态大模型的产品UI功能识别与缺陷检测方法

    公开(公告)号:CN118467349B

    公开(公告)日:2024-12-03

    申请号:CN202410538197.8

    申请日:2024-04-30

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于多模态大模型的产品UI功能识别与缺陷检测方法,包括:(1)收集应用程序介绍和应用页面关系图,通过多模态大模型分析上述信息并生成产品功能列表;(2)针对产品功能列表中的每条功能项需求,使用测试脚本进行递归测试,生成测试动作序列;(3)在执行测试动作序列时,记录每次测试执行的结果,同时由多模态大模型评价结果是否包含功能或视觉缺陷。本发明利用多模态大模型进行功能识别、测试序列生成和缺陷评估,通过页面跳转链路请求策略和迭代反馈的方式,能够智能化地生成具有业务含义的测试功能列表和操作序列,提高测试效率和覆盖度;同时,能够帮助发现和记录各种功能和视觉缺陷,有助于改进产品质量和用户体验。

    基于多模态大模型的自动化UI交互探索方法

    公开(公告)号:CN118467032A

    公开(公告)日:2024-08-09

    申请号:CN202410538199.7

    申请日:2024-04-30

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于多模态大模型的自动化UI交互探索方法,包括如下步骤:(1)收集文本、图像、XML文件和历史操作记录信息,由多模态大模型分析上述信息并生成单步探索动作,通过执行系统实现动作正确识别、转化和执行;(2)向多模态大模型提供执行动作前后页面信息和当前视觉地图,多模态大模型通过提取页面特征和识别页面间的关系,更新视觉地图;(3)采用页面级递归探索策略,系统性地构建应用程序的视觉地图。利用本发明,可以自动化探索移动应用程序以及构建视觉地图,提高UI探索的准确性和可靠性。

    基于对话式大语言模型的高可靠单元测试自动生成方法及装置

    公开(公告)号:CN117009231B

    公开(公告)日:2024-03-29

    申请号:CN202310937927.7

    申请日:2023-07-28

    Applicant: 浙江大学

    Abstract: 本发明提出了一种基于对话式大语言模型的高可靠单元测试自动生成方法及装置。首先,对项目进行解析和分析提取出上下文信息,然后判断待测方法测试必要性并根据测试目的划分生成不同的测试方向列表。在生成和修复初始测试用例之后,对通过的测试用例进行输入数据搜索,完善测试输入数据。随后,对所有测试用例进行变异测试,对失败的突变重新生成测试用例以提升断言质量。最后,对成功的测试用例进行缩减和合并,以避免重复覆盖。本发明在覆盖率、测试数据完整性、断言质量等方面优于现有方法,且在不同规模和领域的项目上表现稳定。生成的测试用例在可读性、可理解性、可维护性、测试输入数据完整性、断言质量、体积上具有显著优势。

    一种Java依赖库版本间API行为不兼容性检测方法、装置、设备及介质

    公开(公告)号:CN117493169A

    公开(公告)日:2024-02-02

    申请号:CN202311305771.7

    申请日:2023-10-10

    Applicant: 浙江大学

    Abstract: 本发明公开了一种Java依赖库版本间API行为不兼容性检测方法、装置、设备及介质,通过构建包含Java软件系统项目的项目池,预处理得到项目池中各个项目的各个测试用例的所有依赖类和正在检测的依赖库的新旧版本源代码间发生变更的类的全限定名;通过信息检索算法为各个测试用例赋予一个分数值,来为各个测试用例排序;修改项目池中的项目的正在检测的依赖库的旧版本为新版本,根据排序结果依次编译并执行各个测试用例;基于测试用例的执行情况,参照行为不兼容性问题判定规则,得出正在检测的依赖库的新旧版本间具有行为不兼容性问题的API。利用本发明,可以在新版本的依赖库的开发阶段对其代码变更进行行为不兼容性检测,以及时发现行为不兼容的API。

    基于区块链的多父子链结算方法
    17.
    发明公开

    公开(公告)号:CN117291717A

    公开(公告)日:2023-12-26

    申请号:CN202311039714.9

    申请日:2023-08-17

    Applicant: 浙江大学

    Abstract: 本发明公开了基于区块链的多父子链结算方法:建立基本区块链作为父链,服务使用者在父链上进行注册;服务使用者创建业务并基于此来创建子链,将业务中涉及的所有服务提供者注册到子链中;当服务使用者调用API时,对服务调用记录进行监控,生成线下调用记录;基于线下调用记录生成线上调用记录并写入子链;基于子链中的单次服务调用记录生成调用批次记录;父链对子链生成的调用批次记录进行结算,生成并存储结算记录和交易记录,进而实现所述服务提供者和服务使用者之间的交易。该方法通过搭建双层链为海量API服务调用提供可信可靠的交易与自主结算平台,在保证区块链存储性能和吞吐量的同时实现海量API服务调用记录的自主结算。

    训练推理一体深度学习的GPU集群调度方法

    公开(公告)号:CN116048802A

    公开(公告)日:2023-05-02

    申请号:CN202310055908.1

    申请日:2023-01-16

    Applicant: 浙江大学

    Abstract: 本发明公开了一种训练推理一体深度学习的GPU集群调度方法,能够实现推理的在线业务和训练的离线业务混合部署,在保障推理任务服务质量的前提下,提高集群资源利用率,降低训练任务训练开销。本发明充分考虑到训‑推任务混部调度下的挑战,使用低复杂度的背包算法建模和调度训练任务,省去了遗传算法在大规模集群和负载情况下的高调度开销;实现推理调度算法管理训练推理集群计算资源,降低训‑推集群资源借出与回收阶段对训练、推理任务的影响;引入自适应弹性训练,在快速弹性训练的基础上,引入超参数优化环节,在额外开销可以忽略不计的情况下,降低训练任务总体执行时间。

Patent Agency Ranking