一种基于音视频分析课堂交互行为的方法

    公开(公告)号:CN114998968B

    公开(公告)日:2024-05-31

    申请号:CN202210686072.0

    申请日:2022-06-16

    Inventor: 黄宇婷 王崇文

    Abstract: 本发明公开了一种基于音视频分析课堂交互行为的方法,包括如下步骤:通过教室中录音设备收录音频数据,利用说话人分割聚类算法处理得到课堂说话人变化序列,分析序列变化得到言语类课堂交互行为;通过教室中摄像头采集讲台上下视频数据,利用自搭建人脸检测网络FDN和人体站立姿态识别网络得到教师和学生位置信息,以音频说话人序列作为辅助分析得到非言语类课堂交互序行为。本发明解决了现有课堂交互行为分析方法无法充分利用课堂数据、反馈滞后等问题,利用深度学习技术实现自动化课堂交互行为分析,能够及时且客观反馈教学情况、有效促进教学活动的开展。

    基于深度学习的轻量级高精度时空视频超分辨率方法

    公开(公告)号:CN117176890A

    公开(公告)日:2023-12-05

    申请号:CN202311193395.7

    申请日:2023-09-15

    Abstract: 一种基于深度学习的轻量级高精度时空视频超分辨率方法,其特征在于,步骤:获取视频资源;通过ffmpeg软件将视频资料分解为帧序列;从帧序列的首部开始,依次取连续的两帧作为模型的输入帧;模型接收两帧图像信息,在这两帧中插值一帧;同时又将两帧和插值的一帧图像重建为指定倍数的高分辨率图像;将所得到的高分辨率图像存储在硬件中,按照视频播放的顺序排序;采用ffmpeg将高分辨率连续帧根据帧率要求编码为新的高分辨率高帧率视频;发布新的视频。本发明有效防止模型推理过程中过多的内存占用,降低对设备性能的要求,有效提升时空超分辨率的准确性;有效降低对内存的占用,有效提高处理效果。

    一种基于音视频分析课堂交互行为的方法

    公开(公告)号:CN114998968A

    公开(公告)日:2022-09-02

    申请号:CN202210686072.0

    申请日:2022-06-16

    Inventor: 黄宇婷 王崇文

    Abstract: 本发明公开了一种基于音视频分析课堂交互行为的方法,包括如下步骤:通过教室中录音设备收录音频数据,利用说话人分割聚类算法处理得到课堂说话人变化序列,分析序列变化得到言语类课堂交互行为;通过教室中摄像头采集讲台上下视频数据,利用自搭建人脸检测网络FDN和人体站立姿态识别网络得到教师和学生位置信息,以音频说话人序列作为辅助分析得到非言语类课堂交互序行为。本发明解决了现有课堂交互行为分析方法无法充分利用课堂数据、反馈滞后等问题,利用深度学习技术实现自动化课堂交互行为分析,能够及时且客观反馈教学情况、有效促进教学活动的开展。

    一种基于nodejs实现手机应用模块化的方法及系统

    公开(公告)号:CN109714470B

    公开(公告)日:2020-08-04

    申请号:CN201811281666.3

    申请日:2018-10-23

    Abstract: 本发明公开了一种基于nodejs实现手机应用模块化的方法及系统,该方法包括在手机应用内引入nodejs模块;在nodejs模块内定义与手机应用的功能相关的协议类;调用协议类中与请求指令相应的协议;将请求指令包含的内容引入nodejs模块;调用接口服务层中的相关功能执行请求指令。本发明利用nodeJs模块在手机应用和接口服务层之间形成一协议中转层,使该手机应用能在ios和andriod端共用,降低的代码复用率。并且依赖于nodejs模块进行协议中转,使手机应用和接口服务不直接发生联系,极大的降低了手机应用和接口服务的耦合性。

    基于移动设备的三维重建方法

    公开(公告)号:CN102831637B

    公开(公告)日:2015-08-26

    申请号:CN201210224497.6

    申请日:2012-06-28

    Inventor: 王崇文 黄宏旺

    Abstract: 本发明给出了一种基于移动设备的三维重建方法,采用光度立体技术将三维重建应用到搭载Android系统的手机移动设备上。采用编程的方式,将具有高亮度的屏幕转化成为多个不同位置的光源。物体在黑暗的环境下,利用手机的摄像头拍摄得到处于每一个光源下的图像。然后将多幅图像通过光度立体算法进行分析计算,得到物体表面的深度值信息。最后根据这些深度值信息,将物体对应的模型创建出来。应用到手机移动设备上,是三维重建方向的一次创新,采用这样的方式创建物体模型,具有低成本、运算速度快、模型清晰等优点。

    指纹识别方法
    17.
    发明授权

    公开(公告)号:CN101276411B

    公开(公告)日:2010-06-02

    申请号:CN200810106358.7

    申请日:2008-05-12

    Abstract: 本发明涉及一种指纹识别方法,由指纹特征提取和特征匹配两个步骤组成:特征提取包括针对于预处理的指纹图像提取细节点特征,对初选的细节点进行剪枝,对剪枝后的细节点特征进行可靠性验证,以及进行特征矢量编码;特征匹配首先利用脊线曲率特征进行图像校准,降低了校准的复杂度,然后利用指纹的邻域关系特征进行匹配分值的计算和匹配点对的统计,根据匹配的点对数和匹配分值,利用多级判别体系来判断两枚指纹的相似度。本方法具有识别率高、识别速度快,可靠性强等优点。

    一种在线考试异常行为检测方法
    18.
    发明公开

    公开(公告)号:CN116912729A

    公开(公告)日:2023-10-20

    申请号:CN202310708997.5

    申请日:2023-06-15

    Abstract: 本发明公开了一种在线考试异常行为检测方法,包括以下步骤:步骤1:在规定考试时间开始前,进行边界姿态记录以及噪声记录;步骤2:将获取到的视频信息转化为图像后,通过人脸检测算法和人眼检测算法分析图像;步骤3:将获取到的视频信息转化为图像后,利用训练好的头部姿态估计网络模型,对考生头部进行头部姿态估计;步骤4:将获取到的音频信息送入设计好的语音活动检测算法中进行分析。本发明排除现有技术对于场地的限制的要求,仅用手机等单目摄像设备以及麦克风设备即可实现对在线考试考生的异常行为检测,仅利用公开数据集训练头部姿态估计模型,即可实现对在线考试考生的头部姿态的准确估计,为后续异常行为检测算法提供基础。

    一种基于人体关节点的FMS动作分类方法及系统

    公开(公告)号:CN114913594A

    公开(公告)日:2022-08-16

    申请号:CN202210310192.0

    申请日:2022-03-28

    Abstract: 本发明涉及一种基于人体关节点的FMS动作分类方法及系统。将当前时刻的正面图像和侧面图像输入人体关节点识别模型得到当前时刻的关节点数据序列;根据关节点数据序列中各关节点数据的置信度确定目标关节点数据;将目标关节点数据输入动作分类模型得到图像对应的分类结果;将图像对应的分类结果输入缓冲队列,并判断缓冲队列是否已满;若为是,则将缓冲队列中的众数确定为目标图像最终的分类结果,并对缓冲队列执行出队操作,然后更新当前时刻并返回获取测试者当前时刻的图像;若为否,则根据缓冲队列中元素个数确定当前时刻的图像最终的分类结果,并更新当前时刻返回获取测试者当前时刻的图像。本发明可以提高FMS动作分类结果的准确度。

Patent Agency Ranking