公开(公告)号：CN118151807A

公开(公告)日：2024-06-07

申请号：CN202211567251.9

申请日：2022-12-07

Applicant: 微软技术许可有限责任公司

Inventor： 张直政 ,  张晓艺 ,  谢文轩 ,  王玉旺 ,  吕岩

IPC: G06F3/04815 ,  G06F3/04886 ,  G06F9/451

Abstract: 根据本公开的实现，提供了用于用户界面(UI)自动化导航的方案。根据该方案，针对UI元素，生成表示UI元素的标记。这些UI元素至少包括所呈现的当前UI中的一个或多个UI元素。至少利用对应于当前导航任务的特定信息将这些标记变换成这些UI元素各自的特征表示。基于特征表示，从当前所呈现的UI元素中确定针对当前导航任务的目标元素。执行与目标元素相关联的操作。以此方式，利用导航任务特定的信息，有利于提高针对各种导航任务的性能。

公开(公告)号：CN117171001A

公开(公告)日：2023-12-05

申请号：CN202210581034.9

申请日：2022-05-25

Applicant: 微软技术许可有限责任公司

Inventor： 步绍鹏 ,  李英杰 ,  丁宏 ,  陶冉 ,  周乐 ,  张晓艺 ,  王玉旺

IPC: G06F11/36 ,  G06F9/451

Abstract: 本公开提出了用于基于智能探索的自动化测试的方法、装置和计算机程序产品。可以获得目标应用的用户界面。可以生成所述用户界面的用户界面表示。可以基于所述用户界面表示，确定针对所述用户界面的动作。可以通过对所述用户界面施加所述动作以探索下一用户界面来对所述目标应用执行自动化测试。

公开(公告)号：CN116561359A

公开(公告)日：2023-08-08

申请号：CN202210100572.1

申请日：2022-01-27

Applicant: 微软技术许可有限责任公司

Inventor： 毕然 ,  李迎霞 ,  王玉旺 ,  张晓艺

IPC: G06F16/532 ,  G06F16/58 ,  G06F16/583

Abstract: 本公开提供了用于基于手绘图形的文档检索的方法、装置和计算机程序产品。可以获得输入的手绘图形。可以通过特征提取模型，提取所述手绘图形的手绘图形特征。可以利用所述手绘图形特征和与多个候选文档相关联的特征索引库，检索至少一个目标文档，所述目标文档中的至少一个文档页面局部匹配于所述手绘图形。

公开(公告)号：CN118193601A

公开(公告)日：2024-06-14

申请号：CN202211601686.0

申请日：2022-12-13

Applicant: 微软技术许可有限责任公司

Inventor： 张晓艺 ,  王玉旺 ,  张直政 ,  谢文轩 ,  吕岩

IPC: G06F16/2457 ,  G06F16/248 ,  G06F16/28 ,  G06F16/29

Abstract: 根据本公开的实现，提供了用于用户界面导航的模型预训练的方案。根据该方案，获取特征提取模型，特征提取模型被配置用于提取用户界面UI导航相关的特征表示；获取UI集中的多条导航路径，导航路径包括UI集中的多个UI并且与导航任务相对应；获取多条导航路径分别对应的UI描述和任务描述，UI描述用于描述导航路径中的多个UI所包括的UI元素，任务描述用于描述导航路径对应的导航任务；以及基于UI描述和任务描述与多条导航路径之间的对应性，执行对特征提取模型的预训练。通过引入导航路径级别的训练数据来执行模型的预训练，可以使模型能够直接学习到与导航任务相关的知识表征。经预训练的模型能够更容易地泛化到下游的各种实际导航任务中。

公开(公告)号：CN117742844A

公开(公告)日：2024-03-22

申请号：CN202211110494.X

申请日：2022-09-13

Applicant: 微软技术许可有限责任公司

Inventor： 谢文轩 ,  张晓艺 ,  张直政 ,  王玉旺 ,  吕岩

IPC: G06F9/451 ,  G06N3/0464 ,  G06N3/08

Abstract: 根据本公开的实现，提供了解析图像中元素的层级关系的方案。根据该方案，基于输入图像的特征和输入图像中的第一元素，确定第一元素中的第二元素。基于特征和第二元素，检测第二元素中的第三元素。第一元素、第二元素和第三元素对应于输入图像中的相应区域。基于对第二元素的确定和对第三元素的检测结果，确定指示输入图像中元素之间的关系的层级结构。以此方式，可以在无需后处理的情况下获得图像中元素的层级结构。