公开(公告)号：CN114138653A

公开(公告)日：2022-03-04

申请号：CN202111471771.5

申请日：2021-11-30

Applicant: 南京大学

Inventor： 房春荣 ,  刘昱磊 ,  张子谦 ,  虞圣呈 ,  恽叶霄 ,  陈振宇

IPC: G06F11/36 ,  G06N3/04 ,  G06N3/08 ,  G06T5/00 ,  G06T7/13 ,  G06V30/40

Abstract: 一种基于深度图像理解的移动应用跨平台强化学习遍历测试技术，包括交互模块，深度图像理解模块，强化学习模块。交互模块通过对apk运行中的状态进行截屏捕获，提供给深度图像理解模块，并通过强化学习模块选择动作执行，从而与移动应用进行交互。深度图像理解模块通过截屏编码器对应用当前界面截图并分析，分别生成状态和可执行动作编码后的特征向量。强化学习模块通过DQN模型分析状态、动作对的优劣，选择最佳可执行动作，实现对移动应用状态空间的高效探索。

公开(公告)号：CN117194214A

公开(公告)日：2023-12-08

申请号：CN202210715644.3

申请日：2022-06-02

Applicant: 南京大学

Inventor： 房春荣 ,  张子谦 ,  虞圣呈 ,  刘昱磊 ,  恽叶霄 ,  陈振宇

IPC: G06F11/36 ,  G06V20/62 ,  G06V10/44 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/092

Abstract: 一种基于深度图像理解的通用型强化学习软件遍历测试技术，由交互功能模块，图像理解模块，强化学习探索模块组成。交互功能模块通过对软件应用运行时页面截屏捕获，解码执行强化学习探索模块提供动作，实现与应用的交互。深度图像理解模块通过对截屏图像进行分析编码，分别生成状态与可执行动作的特征向量。强化学习探索模块利用DQN架构对状态‑动作输入计算效用，进行比较，选择合适动作作为输出。通过结合图像理解和强化学习，摆脱平台接口的限制，实现对软件应用跨平台的高效测试。