公开(公告)号：CN117853879A

公开(公告)日：2024-04-09

申请号：CN202410025476.4

申请日：2024-01-08

Applicant: 浙江大学

Inventor： 卜佳俊 ,  方泽雨 ,  周晟 ,  李亮城 ,  于智 ,  王炜

IPC: G06V10/94 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06F3/0481 ,  G06F3/0484

Abstract: 一种基于计算机视觉的移动应用浮窗无障碍可操作性检测方法，首先接收用户输入的移动应用页面根节点信息，并遍历目标应用页面以获取截图。随后，对页面图片进行二值化处理，并使用YOLOv5网络训练目标检测模型以进行浮窗轮廓定位，将结果返回给自动化测试工具APPIUM检测关闭按钮，并采用视觉方法纠错。最终，判断浮窗可操作性是否合规。通过该方法的实施，可以有效判断移动应用中浮窗的可操作性。本发明的应用领域主要包括信息无障碍技术领域，尤其适用于移动应用的界面交互优化，符合无障碍标准。