-
公开(公告)号：CN118467349B
公开(公告)日：2024-12-03
申请号：CN202410538197.8
申请日：2024-04-30
Applicant: 浙江大学
IPC: G06F11/36
Abstract: 本发明公开了一种基于多模态大模型的产品UI功能识别与缺陷检测方法，包括：(1)收集应用程序介绍和应用页面关系图，通过多模态大模型分析上述信息并生成产品功能列表；(2)针对产品功能列表中的每条功能项需求，使用测试脚本进行递归测试，生成测试动作序列；(3)在执行测试动作序列时，记录每次测试执行的结果，同时由多模态大模型评价结果是否包含功能或视觉缺陷。本发明利用多模态大模型进行功能识别、测试序列生成和缺陷评估，通过页面跳转链路请求策略和迭代反馈的方式，能够智能化地生成具有业务含义的测试功能列表和操作序列，提高测试效率和覆盖度；同时，能够帮助发现和记录各种功能和视觉缺陷，有助于改进产品质量和用户体验。
-
公开(公告)号：CN118467032A
公开(公告)日：2024-08-09
申请号：CN202410538199.7
申请日：2024-04-30
Applicant: 浙江大学
Abstract: 本发明公开了一种基于多模态大模型的自动化UI交互探索方法，包括如下步骤：(1)收集文本、图像、XML文件和历史操作记录信息，由多模态大模型分析上述信息并生成单步探索动作，通过执行系统实现动作正确识别、转化和执行；(2)向多模态大模型提供执行动作前后页面信息和当前视觉地图，多模态大模型通过提取页面特征和识别页面间的关系，更新视觉地图；(3)采用页面级递归探索策略，系统性地构建应用程序的视觉地图。利用本发明，可以自动化探索移动应用程序以及构建视觉地图，提高UI探索的准确性和可靠性。
-
公开(公告)号：CN118467032B
公开(公告)日：2025-01-03
申请号：CN202410538199.7
申请日：2024-04-30
Applicant: 浙江大学
Abstract: 本发明公开了一种基于多模态大模型的自动化UI交互探索方法，包括如下步骤：(1)收集文本、图像、XML文件和历史操作记录信息，由多模态大模型分析上述信息并生成单步探索动作，通过执行系统实现动作正确识别、转化和执行；(2)向多模态大模型提供执行动作前后页面信息和当前视觉地图，多模态大模型通过提取页面特征和识别页面间的关系，更新视觉地图；(3)采用页面级递归探索策略，系统性地构建应用程序的视觉地图。利用本发明，可以自动化探索移动应用程序以及构建视觉地图，提高UI探索的准确性和可靠性。
-
公开(公告)号：CN118467349A
公开(公告)日：2024-08-09
申请号：CN202410538197.8
申请日：2024-04-30
Applicant: 浙江大学
IPC: G06F11/36
Abstract: 本发明公开了一种基于多模态大模型的产品UI功能识别与缺陷检测方法，包括：(1)收集应用程序介绍和应用页面关系图，通过多模态大模型分析上述信息并生成产品功能列表；(2)针对产品功能列表中的每条功能项需求，使用测试脚本进行递归测试，生成测试动作序列；(3)在执行测试动作序列时，记录每次测试执行的结果，同时由多模态大模型评价结果是否包含功能或视觉缺陷。本发明利用多模态大模型进行功能识别、测试序列生成和缺陷评估，通过页面跳转链路请求策略和迭代反馈的方式，能够智能化地生成具有业务含义的测试功能列表和操作序列，提高测试效率和覆盖度；同时，能够帮助发现和记录各种功能和视觉缺陷，有助于改进产品质量和用户体验。
-
-
-
Search Results
4
records
(took 0.031 seconds)
