一种基于图像分析的页面控件异步遍历方法

    公开(公告)号:CN114840416B

    公开(公告)日:2024-08-23

    申请号:CN202210369175.4

    申请日:2022-04-08

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于图像分析的页面控件异步遍历方法,首先进入页面,移动到第一个控件,每次移动到下一个控件,获取页面的截图,然后生成两个异步任务,其一是通过计算机视觉算法获取控件的坐标,其二是通过OCR算法识别字幕获取控件的替代文本内容,将这两个任务提交给线程池执行后,继续移动到下一个控件;每次移动特定次数后,都判断页面控件是否遍历完毕,如果仍未完毕就继续遍历,否则结束遍历。本发明提供了一种异步的、快速的页面控件遍历方法,可作为移动应用测试和数据分析挖掘的上游服务,爬取移动应用的页面控件信息,供后续任务使用。

    一种基于滑动窗口和控件信息的移动应用控件采样方法

    公开(公告)号:CN114840417B

    公开(公告)日:2024-08-13

    申请号:CN202210369205.1

    申请日:2022-04-08

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于滑动窗口和控件信息的移动应用控件采样方法,分别通过手机操作系统本身的功能特性和外部的计算机视觉手段来获取移动应用控件的结构信息,使用滑动窗口的方法从控件信息的时序流中挖掘相似的模式,以此达到对控件进行采样的目的,后续对页面的控件进行点击遍历时,将跳过高相似度的控件组。对于安卓系统,本发明利用其系统级的无障碍服务和talkback功能获取每个控件的位置、大小、控件标签类型、文本等;对于iOS系统,本发明利用计算机视觉技术对iOS系统自带的VoiceOver功能产生的聚焦框和辅助文本进行识别,从而得到被聚焦控件的大小、位置、文本信息。

    异常行为检测、页面、手势处理方法、装置及电子设备

    公开(公告)号:CN113419621A

    公开(公告)日:2021-09-21

    申请号:CN202011271295.8

    申请日:2020-11-13

    Applicant: 浙江大学

    Abstract: 本发明实施例提供了异常行为检测、页面、手势处理方法、装置及电子设备,其中,方法包括获取用户在指定页面上的手势轨迹数据;根据手势轨迹数据,绘制对应于指定页面的手势图像;对手势图像进行特征分析,生成对用户的异常行为的检测结果。本发明实施例通过将采集的用户在指定页面上的手势轨迹数据转换为与该页面对应的手势图像,然后基于图像特征分析来发现用户的异常行为,从而能够更加快速和准确地发现用户的异常行为,此外,由于这种检测方式将手势轨迹数据与具体页面进行了关联分析,因此,能够快速定位到出现问题所在的页面。

    一种作物根系核磁共振研究的测量装置及方法

    公开(公告)号:CN102967617A

    公开(公告)日:2013-03-13

    申请号:CN201210486592.3

    申请日:2012-11-23

    Applicant: 浙江大学

    Abstract: 本发明公开了一种作物根系核磁共振研究的测量装置及方法,所述测量装置,包括:外筒;嵌套在所述外筒中用于培养待测作物的内筒,内筒侧壁和外筒之间形成用于盛水的环形空间区域;用于封闭所述环形空间区域的是环形密封盖,该环形密封盖上设有注水孔。本发明很好的解决了核磁共振研究作物根系样本直径较小或者根系生长介质含水率较低时,根系断层序列核磁共振成像效果不理想的问题,且不影响作物正常的生长和发育,可以重复多次的对同一株作物根系进行长期的核磁共振试验。

    一种基于滑动窗口和控件信息的移动应用控件采样方法

    公开(公告)号:CN114840417A

    公开(公告)日:2022-08-02

    申请号:CN202210369205.1

    申请日:2022-04-08

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于滑动窗口和控件信息的移动应用控件采样方法,分别通过手机操作系统本身的功能特性和外部的计算机视觉手段来获取移动应用控件的结构信息,使用滑动窗口的方法从控件信息的时序流中挖掘相似的模式,以此达到对控件进行采样的目的,后续对页面的控件进行点击遍历时,将跳过高相似度的控件组。对于安卓系统,本发明利用其系统级的无障碍服务和talkback功能获取每个控件的位置、大小、控件标签类型、文本等;对于iOS系统,本发明利用计算机视觉技术对iOS系统自带的VoiceOver功能产生的聚焦框和辅助文本进行识别,从而得到被聚焦控件的大小、位置、文本信息。

    基于计算机视觉的移动端应用控件识别方法

    公开(公告)号:CN113434072B

    公开(公告)日:2022-06-07

    申请号:CN202110597673.X

    申请日:2021-05-31

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于计算机视觉的移动端应用控件识别方法。所述方法结合了硬软件方法,利用系统的无障碍功能,实现了非侵入式、普适性强、错误率低的一种移动端应用控件识别方法。首先,打开屏幕阅读器和相应软件,机械臂操作后将截图上传到服务端;其次,对截图进行预处理后对其进行颜色提取和扩充,得到单通道图像。然后,对该单通道图像进行边缘检测和直线检测,过滤噪声后得到控件的中心坐标;最后,利用计算机视觉方法对控件进行功能判别。循环以上步骤,可构建该App的页面控件树。该方法可应用于复杂场景,对每个控件实现功能含义的理解,且普适性强,可应用于移动应用的自动化测试、页面结构分解,人机交互分析等场景。

    一种基于图像分析的页面控件异步遍历方法

    公开(公告)号:CN114840416A

    公开(公告)日:2022-08-02

    申请号:CN202210369175.4

    申请日:2022-04-08

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于图像分析的页面控件异步遍历方法,首先进入页面,移动到第一个控件,每次移动到下一个控件,获取页面的截图,然后生成两个异步任务,其一是通过计算机视觉算法获取控件的坐标,其二是通过OCR算法识别字幕获取控件的替代文本内容,将这两个任务提交给线程池执行后,继续移动到下一个控件;每次移动特定次数后,都判断页面控件是否遍历完毕,如果仍未完毕就继续遍历,否则结束遍历。本发明提供了一种异步的、快速的页面控件遍历方法,可作为移动应用测试和数据分析挖掘的上游服务,爬取移动应用的页面控件信息,供后续任务使用。

    一种用于腰椎后路手术显露撑开装置

    公开(公告)号:CN114081552A

    公开(公告)日:2022-02-25

    申请号:CN202111522145.4

    申请日:2021-12-13

    Inventor: 张建锋

    Abstract: 本发明公开了一种用于腰椎后路手术显露撑开装置,包括第一端固定件、万向连接机构、主拉钩和第二端固定件;第一端固定件,所述第一端固定件的一端与万向连接机构的一端连接;万向连接机构,其设置有两个连接端,每一端的头部都可以多平面多角度旋转。主拉钩,其设置直接或间接与万向连接机构侧的另一端相连接;第二端固定件,其设置于所述主拉钩的头部末端。主拉钩通过其头端与第二端固定件连接,其尾端通过一系列连接与第一端固定件连接,从而获得稳定,发挥其撑开作用。

    基于计算机视觉的移动端应用控件识别方法

    公开(公告)号:CN113434072A

    公开(公告)日:2021-09-24

    申请号:CN202110597673.X

    申请日:2021-05-31

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于计算机视觉的移动端应用控件识别方法。所述方法结合了硬软件方法,利用系统的无障碍功能,实现了非侵入式、普适性强、错误率低的一种移动端应用控件识别方法。首先,打开屏幕阅读器和相应软件,机械臂操作后将截图上传到服务端;其次,对截图进行预处理后对其进行颜色提取和扩充,得到单通道图像。然后,对该单通道图像进行边缘检测和直线检测,过滤噪声后得到控件的中心坐标;最后,利用计算机视觉方法对控件进行功能判别。循环以上步骤,可构建该App的页面控件树。该方法可应用于复杂场景,对每个控件实现功能含义的理解,且普适性强,可应用于移动应用的自动化测试、页面结构分解,人机交互分析等场景。

Patent Agency Ranking