-
公开(公告)号:CN116048270A
公开(公告)日:2023-05-02
申请号:CN202310070781.0
申请日:2023-01-29
Applicant: 南京大学
IPC: G06F3/01 , G06F3/0481 , G06F3/0484 , G06V40/16 , G06V40/20
Abstract: 本发明公开了基于视觉和听觉检测的细粒度呼吸交互的方法,包括以下步骤:基于呼吸类型获取呼吸参数,构建交互词汇的呼吸输入方法;基于所述交互词汇的呼吸输入方法,设计呼吸向量表征呼吸交互动作的若干种特征参数,并将所述若干种特征参数获取呼吸强度、呼吸方向、是否吸气、呼吸时间、呼吸频率、表情信息和音量信息;构建视觉和听觉双通道检测模型,输入所述表情信息和所述音量信息,完成呼吸检测。本发明基于图像和语音相结合的方式,实现了包括呼吸动作气流强度、呼吸气流方向,呼吸气流类型等多种呼吸动作特征参数的识别。