一种基于摇杆隐喻开发的眼控交互系统

    公开(公告)号:CN113341692B

    公开(公告)日:2022-06-28

    申请号:CN202110559154.4

    申请日:2021-05-21

    Applicant: 浙江大学

    Inventor: 葛贤亮 万华根

    Abstract: 本发明提出一种基于摇杆隐喻开发的眼控交互系统,包括:执行体,所述执行体接收控制模块的方向速度指令,执行相应运动操作;所述控制模块,接收眼动仪提取的操作者的视线参考点坐标,并将视线参考点坐标作为目标位置参数提供PID避障算法,所述视线参考点坐标与执行体的中心点相连形成虚拟摇杆;所述PID避障算法,设置在控制模块内,将目标位置参数转换为方向速度指令,所述方向速度指令由控制模块发出。本发明仅需通过视线即可完成遥操作任务,弥补了传统交互方式的不足,触发操作不再与整个遥操作控制过程分离,操作者只需要看向希望执行体行驶的方向,就可以同时控制执行体行驶的方向和速度,避免了视角转换的问题。

    一种基于物体属性递进式表达的三维目标选择方法

    公开(公告)号:CN110837326B

    公开(公告)日:2021-08-10

    申请号:CN201911019279.7

    申请日:2019-10-24

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于物体属性递进式表达的三维目标选择方法,属于人机交互技术领域,包括以下步骤:(1)提取场景中所有物体的形状、位置和尺寸属性;(2)获取用户的手势动作,提取手势运动轨迹的形状、位置和尺寸属性;(3)执行基于递进式表达的选择意图判定,首先进行物体轮廓和手势轮廓的形状匹配,当只有一个匹配结果时输出该匹配物体,否则进行位置属性匹配;当匹配结果唯一时输出该匹配物体,否则进行尺寸属性匹配;最后根据尺寸属性匹配得到匹配物体。利用本发明,用户可以向系统逐步地、递进式地表明自己的选择意图,更符合人的能力和习惯,在任务难度和人的能力之间达到了更理想的平衡。

    一种基于手部运动的用户身份识别方法

    公开(公告)号:CN104156650A

    公开(公告)日:2014-11-19

    申请号:CN201410390861.5

    申请日:2014-08-08

    Applicant: 浙江大学

    CPC classification number: G06K9/00355 G06F21/32

    Abstract: 本发明公开了一种基于手部运动的用户身份识别方法,利用人的手部运动特点实现身份识别。方法分为离线阶段和在线阶段,在离线阶段,通过深度相机记录所有待识别用户的手部运动轨迹,然后对轨迹进行分割,并对分割后的轨迹提取时空参数作为特征信息,最终通过机器学习的方法训练特征数据得到用户的身份识别模型。在在线阶段,同样地采集用户的手部运动轨迹,并对轨迹进行分割与特征提取。之后使用离线阶段得到的用户身份识别模型进行在线识别。本方法结合深度相机,利用人的手部运动行为来实现身份识别,结合了人的生理特性与行为特性,具有随身性,普遍性,非侵犯性,易接受性等优点。

    基于力觉计算的虚拟手稳定抓取方法

    公开(公告)号:CN103729879A

    公开(公告)日:2014-04-16

    申请号:CN201310706305.X

    申请日:2013-12-20

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于力觉计算的虚拟手稳定抓取方法,包括如下步骤:步骤1,输入模型信息,包括虚拟手网格模型以及对应的运动骨骼模型;步骤2,由模型信息获取一次三维规则网格,并构建虚拟手耦合模型;步骤3,驱动虚拟手耦合模型运动,实时检测虚拟手耦合模型中的柔体部分是否发生碰撞,碰撞时记录碰撞过程中柔体部分的位移差,根据位移差计算柔体部分的软硬度参数以及碰撞完成时刻的姿态并进入步骤4;步骤4,根据软硬度参数以及一次三维规则网格得到抓取稳定时的二次三维规则网格;步骤5,通过自由变形算法将二次三维规则网格传递给虚拟手耦合模型,得到抓取稳定的虚拟手。本发明方法虚拟手抓取方法具有很强的真实感、实时性和稳定性。

    一种基于半轮廓高亮的凌空徒手三维目标选择方法

    公开(公告)号:CN112306231B

    公开(公告)日:2021-11-30

    申请号:CN202010979995.6

    申请日:2020-09-17

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于半轮廓高亮的凌空徒手三维目标选择方法,包括:(1)准备阶段,系统将场景呈现给用户,同时为每个备选物体配置一个半轮廓遮挡模型;(2)标定‑高亮反馈阶段,采用基于椎体射线的动态标定方法选出4个或少于4个的物体成为确认选择的备选集,并对这些物体进行半轮廓高亮反馈;(3)确认‑结果反馈阶段,用户根据不同物体的不同高亮形式执行对应的选择确认手势操作,然后系统根据对手势的分析和识别,得出用户的确认意图,并匹配到对应高亮的物体,给予用户选择结果的反馈。利用本发明,让用户能够通过非精确的操作完成对选择意图的准确表达,进而提高物体的选择绩效和用户体验。

    一种基于循环神经网络的手势前置实时识别方法

    公开(公告)号:CN111444771A

    公开(公告)日:2020-07-24

    申请号:CN202010122397.7

    申请日:2020-02-27

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于循环神经网络的手势前置实时识别方法,包括以下步骤:A、离线建模阶段:leap motion采集手势数据,对采集到的数据进行预处理后提取手势特征,获得手势的特征序列,将手势特征序列和手势类型输入长短时记忆神经网络LSTM训练获得手势分类器。B、在线手势前置识别阶段:leap motion实时采集手势数据,处理手势数据,计算当前时间节点的手势特征,加入特征序列,将当前时间节点获得特征序列输入手势分类器,如果分类器输出预测概率大于95%,将此概率对应手势类型作为结果输出。利用本发明,可以做到与人的视觉类似的动态识别和提前预测能力,不需要等待手势全部完整表达完就可以实时识别出用户试图表达的手势类型,效果理想。

    一种基于物体属性递进式表达的三维目标选择方法

    公开(公告)号:CN110837326A

    公开(公告)日:2020-02-25

    申请号:CN201911019279.7

    申请日:2019-10-24

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于物体属性递进式表达的三维目标选择方法,属于人机交互技术领域,包括以下步骤:(1)提取场景中所有物体的形状、位置和尺寸属性;(2)获取用户的手势动作,提取手势运动轨迹的形状、位置和尺寸属性;(3)执行基于递进式表达的选择意图判定,首先进行物体轮廓和手势轮廓的形状匹配,当只有一个匹配结果时输出该匹配物体,否则进行位置属性匹配;当匹配结果唯一时输出该匹配物体,否则进行尺寸属性匹配;最后根据尺寸属性匹配得到匹配物体。利用本发明,用户可以向系统逐步地、递进式地表明自己的选择意图,更符合人的能力和习惯,在任务难度和人的能力之间达到了更理想的平衡。

    一种基于回溯指点交互历史的射线投射三维目标选取技术

    公开(公告)号:CN109669542A

    公开(公告)日:2019-04-23

    申请号:CN201811570238.2

    申请日:2018-12-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于回溯指点交互历史实现射线投射三维目标选择的技术,包括线下建模和线上操作两个阶段。线下建模通过重复采集用户数据拟合回溯时间区间与物体大小的关系;线上操作利用建立好的模型进行三维目标物体选择,包括:(1)记录射线与物体的交互历史;(2)根据线下建立的时间回溯区间模型计算交互历史中每个物体的时间回溯区间;(3)根据交互历史中每个物体的时间回溯区间计算每个物体的匹配度;(4)选择匹配度最高的物体。利用本发明,可以有效解决因设备抖动,用户手部自然抖动和海森堡效应造成的射线投射三维目标物体选择识别准确率低的问题,在不牺牲效率的情况下,实现更为准确、自然的三维对象人机交互。

    一种基于分割信度的运动轨迹分割方法

    公开(公告)号:CN106326811A

    公开(公告)日:2017-01-11

    申请号:CN201510365947.7

    申请日:2015-06-26

    Applicant: 浙江大学

    CPC classification number: G06K9/00335 G06K9/00355

    Abstract: 本发明公开了一种基于分割信度的运动轨迹分割方法,包括以下步骤:获取运动轨迹,针对运动轨迹的每一个属性,获取运动轨迹的属性极值点;选取部分属性极值点作为第一候选分割点;所述运动轨迹的每一个属性分别设定多个带宽阈值,针对任一属性、任一带宽阈值,当第一候选分割点的属性变化率大于对应带宽阈值时,将该第一候选分割点标记为第二候选分割点;计算第二候选分割点所在轨迹点的信度值;设定信度阈值,将信度值小于信度阈值的第二候选分割点所在轨迹点过滤,得到最终的分割点集合。本发明可以消除运动轨迹中由于运动本身和运动采集设备噪声带来的数据不稳定的影响,同时在确保分割准确的前提下保证了分割的简洁性。

    基于多规则的交互手势运动轨迹分割方法

    公开(公告)号:CN103413137B

    公开(公告)日:2016-04-27

    申请号:CN201310335820.1

    申请日:2013-08-05

    Applicant: 浙江大学

    Inventor: 丁杨子 万华根

    Abstract: 本发明公开了一种基于多规则的交互手势运动轨迹分割方法,该方法首先用摄像机拍摄手持光笔的用户的交互手势的视频,然后用Camshift方法提取手势的运动轨迹点,再将运动轨迹点参数化表示,并设定约束条件,定义分割规则,最后使用贪心策略将轨迹点分割符合规则的区间:本发明可以根据不同类型的交互手势运动提供不同的分割方法,并且采用贪心策略,使结果更准确,效率更高。

Patent Agency Ranking