-
公开(公告)号:CN112580481B
公开(公告)日:2024-05-28
申请号:CN202011466467.7
申请日:2020-12-14
Applicant: 康佳集团股份有限公司 , 哈尔滨工业大学(深圳) , 深圳哈工大科技创新产业发展有限公司
IPC: G06V20/40 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08 , H04N19/42 , H04N19/70
Abstract: 本发明公开了基于边缘节点和云端协同视频处理方法、装置、服务器,方法包括:获取边缘节点进行视频图像压缩编码处理后的视频图像像素数据;对视频图像像素数据进行视频图像解码,得到图像解码数据;将图像解码数据进行基于卷积神经网络模型的视觉特征分析训练,得到视频图像视觉特征分析数据。本实施例中通过将边缘节点和云端服务器协同来处理视频数据,使得算力需求较低的任务在边缘节点运行,而算力需求高的任务在云端服务器运行,结合了云端服务器计算的高性能和边缘节点计算的低延迟和私密性,同时使用流水线机制来提高计算任务的吞吐率,从而提高运算效率。
-
公开(公告)号:CN111984119B
公开(公告)日:2023-03-31
申请号:CN202010832352.9
申请日:2020-08-18
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F3/01
Abstract: 本发明提供了一种手势识别模型建立方法、手势识别方法、装置及数据手套,手势识别模型建立方法包括:获取数据手套完成标定动作时所述数据手套的各个传感器采集到数据的采集时间;基于预设规则,根据各个所述传感器的所述采集时间确定各个所述传感器之间的语义关系;根据各个所述传感器之间的所述语义关系建立基于图注意力网络的手势识别模型。本发明的技术方案根据各个传感器之间的语义关系建立用于手势识别的手势识别模型,能够提高手势识别精度,且识别速度快。
-
公开(公告)号:CN112801283A
公开(公告)日:2021-05-14
申请号:CN202110335501.5
申请日:2021-03-29
Applicant: 哈尔滨工业大学(深圳)
Abstract: 本发明提供了一种神经网络模型、动作识别方法、装置及存储介质,神经网络模型包括多个卷积模块、输出模块、多个注意力子模块和分类模块,多个卷积模块和输出模块依次连接,且每个卷积模块的输出端分别连接至一个注意力子模块的输入端,每个注意力子模块的输入端还分别与输出模块的输出端连接,注意力子模块的输出端与分类模块的输入端连接;注意力子模块,用于获取各个卷积模块输出的局部特征向量和输出模块输出的全局特征向量,分别计算各个局部特征向量和全局特征向量之间的兼容性分数,根据各个局部特征向量和对应的兼容性分数生成新特征向量;分类模块,根据新特征向量确定当前人体动作。本发明的技术方案能够提高人体动作的识别精度。
-
公开(公告)号:CN112580481A
公开(公告)日:2021-03-30
申请号:CN202011466467.7
申请日:2020-12-14
Applicant: 康佳集团股份有限公司 , 哈尔滨工业大学(深圳) , 深圳哈工大科技创新产业发展有限公司
Abstract: 本发明公开了基于边缘节点和云端协同视频处理方法、装置、服务器,方法包括:获取边缘节点进行视频图像压缩编码处理后的视频图像像素数据;对视频图像像素数据进行视频图像解码,得到图像解码数据;将图像解码数据进行基于卷积神经网络模型的视觉特征分析训练,得到视频图像视觉特征分析数据。本实施例中通过将边缘节点和云端服务器协同来处理视频数据,使得算力需求较低的任务在边缘节点运行,而算力需求高的任务在云端服务器运行,结合了云端服务器计算的高性能和边缘节点计算的低延迟和私密性,同时使用流水线机制来提高计算任务的吞吐率,从而提高运算效率。
-
公开(公告)号:CN112580550B
公开(公告)日:2024-09-06
申请号:CN202011556291.4
申请日:2020-12-24
Applicant: 康佳集团股份有限公司 , 哈尔滨工业大学(深圳) , 深圳哈工大科技创新产业发展有限公司
IPC: G06V40/20 , G06V40/10 , G06V20/52 , G06V10/764 , G06Q10/04 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种利用人机物时空交互关系的用户意图预测方法及装置,所述方法包括:获取图像数据,对所述图像数据进行检测,确定所述图像数据中包含的对象以及所述对象对应的边框信息和标签信息;根据所述对象以及所述对象对应的边框信息和标签信息确定人和对象间的交互关系信息以及人和对象间的空间关系信息;根据所述人和对象间的交互关系信息、所述人和对象间的空间关系信息分别对用户的动作和场景进行预测,以实现对用户意图的预测。本发明在实施时不需要对场景进行限定,可以应用于多个场景或者变化的场景下对下一步场景及人可能的动作进行预测,有效解决了现有技术中无法对多个场景下或者变化场景下的用户意图进行预测的问题。
-
公开(公告)号:CN116306938A
公开(公告)日:2023-06-23
申请号:CN202211603460.4
申请日:2022-12-13
Applicant: 哈尔滨工业大学 , 哈尔滨工业大学(深圳)
Abstract: 本发明提出了一种面向自动驾驶全场景感知的多模型推理加速系统及方法,将自动驾驶全场景感知中的多个DNN模型转换为基于有向无环图DAG的计算图,设计一个调度框架POS,并采用深度强化学习DRL方法得到最优的POS调度策略,构建基于最大熵深度强化学习的算子调度算法以选择最佳并行策略,完成自动驾驶全场景的感知;本发明与最先进的深度学习推理框架和特定调度方法相比,POS可以始终实现1.2倍~3.9倍的推理加速以及28%~55%的GPU利用率提升。此外,最优调度的搜索开销比基线缩短了1.2倍~2.9倍。
-
公开(公告)号:CN112347951A
公开(公告)日:2021-02-09
申请号:CN202011253584.5
申请日:2020-11-11
Applicant: 哈尔滨工业大学(深圳)
Abstract: 本发明提供了一种手势识别方法、装置、存储介质及数据手套,方法包括:获取数据手套完成当前动作时数据手套的各个传感器采集的传感器数据,所有传感器数据组成一个输入数据;采用主成分分析法对输入数据进行特征提取,获得第二特征数据;将第二特征数据输入训练好的多类SVM分类器,确定当前动作对应的手势;当训练好的多类SVM分类器无法识别当前动作时,对输入数据进行预处理,获得预处理后的数据;将预处理后的数据输入训练好的手势识别模型,输出当前动作对应的手势,其中,手势识别模型是基于卷积神经网络和长短期记忆循环网络建立的。本发明的技术方案能够在提高手势识别速度的同时,保证手势识别的精度。
-
公开(公告)号:CN112347951B
公开(公告)日:2023-07-11
申请号:CN202011253584.5
申请日:2020-11-11
Applicant: 哈尔滨工业大学(深圳)
IPC: G06V40/20 , G06V10/764 , G06V10/77 , G06V10/774 , G06F3/01 , G06V10/30 , G06V10/82 , G06N3/0464
Abstract: 本发明提供了一种手势识别方法、装置、存储介质及数据手套,方法包括:获取数据手套完成当前动作时数据手套的各个传感器采集的传感器数据,所有传感器数据组成一个输入数据;采用主成分分析法对输入数据进行特征提取,获得第二特征数据;将第二特征数据输入训练好的多类SVM分类器,确定当前动作对应的手势;当训练好的多类SVM分类器无法识别当前动作时,对输入数据进行预处理,获得预处理后的数据;将预处理后的数据输入训练好的手势识别模型,输出当前动作对应的手势,其中,手势识别模型是基于卷积神经网络和长短期记忆循环网络建立的。本发明的技术方案能够在提高手势识别速度的同时,保证手势识别的精度。
-
公开(公告)号:CN112801283B
公开(公告)日:2023-06-16
申请号:CN202110335501.5
申请日:2021-03-29
Applicant: 哈尔滨工业大学(深圳)
IPC: G06V10/82 , G06V40/20 , G06N3/0464 , G06N3/08 , G06V10/40
Abstract: 本发明提供了一种神经网络模型、动作识别方法、装置及存储介质,神经网络模型包括多个卷积模块、输出模块、多个注意力子模块和分类模块,多个卷积模块和输出模块依次连接,且每个卷积模块的输出端分别连接至一个注意力子模块的输入端,每个注意力子模块的输入端还分别与输出模块的输出端连接,注意力子模块的输出端与分类模块的输入端连接;注意力子模块,用于获取各个卷积模块输出的局部特征向量和输出模块输出的全局特征向量,分别计算各个局部特征向量和全局特征向量之间的兼容性分数,根据各个局部特征向量和对应的兼容性分数生成新特征向量;分类模块,根据新特征向量确定当前人体动作。本发明的技术方案能够提高人体动作的识别精度。
-
公开(公告)号:CN112183315A
公开(公告)日:2021-01-05
申请号:CN202011030408.5
申请日:2020-09-27
Applicant: 哈尔滨工业大学(深圳)
Abstract: 本发明提供了一种动作识别模型训练方法和动作识别方法及装置。训练方法包括:获取预设动作节点集合中的所有节点的节点数据;根据所述节点数据,计算所述节点集合中所有节点的连接边集合和每条连接边的边数据;根据所述节点数据和所述连接边的边数据,构建动作数据的图结构;以所述动作数据的图结构作为模型输入,表情识别分类结果作为模型输出,对预设的图卷积神经网络表情识别模型进行有监督训练;其中,以所述动作数据的图结构中的所述连接边的边数据作为模型输入。基于图结构来记录和计算动作数据,进一步提升了参与深度学习的有效数据量,可以获得更好的识别精度,且减少对样本数据精确度的依赖。
-
-
-
-
-
-
-
-
-