公开(公告)号：CN118918056A

公开(公告)日：2024-11-08

申请号：CN202310512064.9

申请日：2023-05-08

Applicant: 南京大学

Inventor： 房春荣 ,  凌毓辰 ,  丁宇辰 ,  钟亚晨 ,  虞圣呈 ,  陈振宇

IPC: G06T7/00 ,  B25J9/08 ,  B25J9/16 ,  B25J18/00 ,  G06F11/36 ,  H04L67/133 ,  G06N3/092 ,  G06V20/52 ,  G06V30/148 ,  G06T7/13 ,  G06V10/774 ,  G06V10/82

Abstract: 一种基于多轴机械臂物理仿真与强化学习的移动应用自动化测试的方法，逻辑上包括照片处理模块、图像理解模块、强化学习模块和机械臂控制模块。照片处理模块包括控制摄像头拍摄照片的清晰度，并使用一系列传统计算机视觉技术来进行图像增强、轮廓检测和屏幕截取。图像理解模块包括控件识别和页面布局识别，通过控件识别综合采用多种技术来识别屏幕中的UI控件，通过页面布局以别来结构化地组织UI控件，提供整体页面信息。强化学习模块包括Q‑Network神经网络模型等深度强化学习构件，根据图像理解信息自训练并生成指令指导机械臂进行自动化测试探索。机械臂控制模块通过RPC协议接受来自服务端的操作调度，通过逆运动学算法解析指令，转换并完成仿真测试操作。