-
公开(公告)号:CN114842547B
公开(公告)日:2024-12-03
申请号:CN202210029311.5
申请日:2022-01-11
Applicant: 南京工业大学
IPC: G06V40/20 , G06V10/25 , G06V10/74 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06V10/94 , G06V10/96 , G06N3/0475 , G06N3/084 , G06N3/094 , G09B21/04
Abstract: 本发明公开了一种基于手势动作生成与识别的手语教学方法、装置及系统,属于计算机视觉与模式识别领域。本发明包括通过T‑G姿态生成网络对手语语句文本进行训练,生成姿态生成模型,并利用ThreeDPose姿态迁移技术生成3D虚拟人物动作视频进行手语教学,供学习者模仿;然后利用双流VTN网络对手语数据集进行训练,生成手语翻译模型,并对学习者的动作与标准库手语教学动作进行相似度评估,反馈学习效果。本发明的装置及系统是根据所提供的方法进行手语教学的。利用本发明,丰富了聋哑人教学的模式,能够方便聋哑人士自主学习手语并提高了学习的兴趣,保证了手语教学的效率和质量。
-
公开(公告)号:CN118196702A
公开(公告)日:2024-06-14
申请号:CN202410282167.5
申请日:2024-03-12
Applicant: 南京工业大学
IPC: G06V20/52 , G06V20/40 , G06V40/16 , G06V10/764 , G06N3/094 , G06N3/084 , G06V10/40 , G06V40/20 , G06V10/80 , G06N3/04
Abstract: 本发明公开了一种基于领域泛化的远程视频交流人员情绪监测方法及系统,涉及视频理解、模式识别等技术领域。本发明主要内容包括:上肢关键姿态数据集设计;从原始视频流自动识别截取异常情绪视频段;利用多源情绪数据集,进行领域对抗学习,提升情绪识别的泛化能力;进行基于领域泛化的情绪检测。本发明的有益效果包括:实现在远程视频交流中,自动感知参与者的负面情绪。本发明提供了一种自制上肢关键姿态数据集,利用关键姿态定位与负面情绪相关的视频帧,截取含有负面情绪的视频段。提出一种基于领域泛化的情绪识别方法,利用多源情绪数据集,进行领域对抗学习,获得领域不变特征,提高情绪识别网络的泛化性能。
-
公开(公告)号:CN102168946B
公开(公告)日:2012-05-30
申请号:CN201010616670.8
申请日:2010-12-31
Applicant: 南京工业大学
Abstract: 一种顶端嵌入微距传感器的自动触发式测量笔,包括结构部分和电路部分,所述结构部分包括适合人手及机械手的手柄、笔身、前面板、测座、电感式接近开关和测针;所述手柄设在笔身上,电路部分设在笔身内;所述前面板包括上、下两部分,前面板下部分厚度小于面板上部分;测针通过测座连在前面板下部分的下方;前面板下部分的前表面设有多个位置固定的回光反射标志点;前面板的上部分的下方嵌有电感式接近开关,前面板下部分的上方设有与该接近开关对应的金属板;所述电感式接近开关的输出端与所述电路部分的信号输入端连接;前面板上部分固定在笔身表面;前面板下部分的背部以及笔身上设有对应的滑轨和滑槽,前面板下部分与笔身滑动连接。
-
公开(公告)号:CN118981676A
公开(公告)日:2024-11-19
申请号:CN202410993882.X
申请日:2024-07-23
Applicant: 南京工业大学
IPC: G06F18/241 , H02J3/00 , H02J13/00 , G06F18/25 , G06Q50/06 , G06N3/0464 , G06F18/10
Abstract: 本发明提供了一种基于特征融合的多任务非侵入式负荷检测方法及系统,该系统主要由两个部分组成:边缘计算端和中央控制端。方法包括以下步骤:首先对原始数据进行事件检测,采集设备的稳态电流电压数据,并对需要处理的数据进行降采样,在边缘计算设备中对电流数据计算p‑范数距离形成电流距离矩阵信息。然后将其与电流短时傅里叶变换后的幅度谱,和电压傅里叶变换后的幅度谱分别作为矩阵的三通道输入。接着将特征图像输入至搭建的轻量化多任务网络模型进行负荷识别。本发明通过融合时域和频域特征,解决单一电荷特征不足的问题,以及通过提出一种轻量化的多任务网络解决了计算设备的算力成本问题,并有效提高了检测的准确率。
-
公开(公告)号:CN114842547A
公开(公告)日:2022-08-02
申请号:CN202210029311.5
申请日:2022-01-11
Applicant: 南京工业大学
IPC: G06V40/20 , G06V10/25 , G06V10/74 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06V10/94 , G06V10/96 , G06N3/04 , G06N3/08 , G09B21/04 , G06K9/62
Abstract: 本发明公开了一种基于手势动作生成与识别的手语教学方法、装置及系统,属于计算机视觉与模式识别领域。本发明包括通过T‑G姿态生成网络对手语语句文本进行训练,生成姿态生成模型,并利用ThreeDPose姿态迁移技术生成3D虚拟人物动作视频进行手语教学,供学习者模仿;然后利用双流VTN网络对手语数据集进行训练,生成手语翻译模型,并对学习者的动作与标准库手语教学动作进行相似度评估,反馈学习效果。本发明的装置及系统是根据所提供的方法进行手语教学的。利用本发明,丰富了聋哑人教学的模式,能够方便聋哑人士自主学习手语并提高了学习的兴趣,保证了手语教学的效率和质量。
-
公开(公告)号:CN112307778A
公开(公告)日:2021-02-02
申请号:CN202011288192.2
申请日:2020-11-17
Applicant: 南京工业大学
Abstract: 本发明公开了一种特定场景手语视频的翻译模型训练方法、翻译方法及系统,属于视频自然语言生成领域。本发明训练时,首先通过构建的actor‑double‑critic深度强化学习训练架构对过滤网络进行训练,再利用训练好的过滤网络筛选出手语视频的关键帧序列集,最后基于深度学习对深度序列自编码网络进行训练。过滤网络去除了视频帧的时空冗余,深度序列自编码网络融合了注意力机制,从而使得训练出的手语视频翻译模型具有较高的翻译准确率,并进一步地提出特定场景手语视频的翻译方法及系统,在训练出的翻译模型具有较高的翻译准确性的基础上,进行手语视频翻译,从而有效地提高了手语视频翻译的准确性。
-
公开(公告)号:CN112257513A
公开(公告)日:2021-01-22
申请号:CN202011032048.2
申请日:2020-09-27
Applicant: 南京工业大学
Abstract: 本发明公开了一种手语视频翻译模型的训练方法、翻译方法及系统,属于模式识别与智能系统领域。本发明首先对孤立词数据集中的手语视频数据进行预处理,提取手语视频中人物区域,并利用Mask R‑CNN网络模型对运动的手部进行检测和跟踪,使用第一网络模块提取手部特征,使用第二网络模块提取人体特征;将所提取的手部特征与人体特征利用全连接层进行特征信息融合,训练得到孤立词的权重模型;将所得到孤立词的权重模型作为第三网络模块的预训练模型,并利用第三网络模块对连续语句视频进行特征提取;将提取结果,输入Seq2Seq模型中进行训练,得到训练好的手语视频翻译模型,并进一步地提出了翻译方法和系统架构。本发明对手语视频翻译的效果好,准确率高。
-
公开(公告)号:CN103358230A
公开(公告)日:2013-10-23
申请号:CN201310057171.3
申请日:2013-02-22
Applicant: 南京工业大学
IPC: B24B49/02
Abstract: 本发明属于珩磨机实用技术领域,公开了一种珩磨机用测量系统及测量方法,主要由靶标、激光扫描系统、视觉处理子系统、控制子系统和机械装置组成;本发明精度高,具有主动性,实时快速,工艺简单,机械部分仅由实现两个自由度的电机和固定摄像头、激光测距仪的安装支架组成,加工、安装方便。而且本发明还具有体积小重量轻的特点,可以很容易集成到其他系统中,作为一种功能单元存在,此外,本本发明操作简单,准确率高,有着很好的实际应用价值。
-
公开(公告)号:CN103196371A
公开(公告)日:2013-07-10
申请号:CN201310121746.3
申请日:2013-03-29
Applicant: 南京工业大学
IPC: G01B11/00
Abstract: 本发明公开了一种主动实时三维测量大型车厢的方法及系统,将待测大型车厢固定,双目相机置于待测大型车厢上方的环形滑道上;对待测大型车厢进行视场空间区域划分,为双目相机在环形滑道上的定位和布置坐标转化标识点做准备;在每个视场空间区域内部的两侧边缘位置各布置一组坐标转换标识点,每三个标识点为一组,构成一个任意三角形固定于待测大型车厢上;选择一个双目相机的初始位置,双目相机在每个视场空间区域拍照一次;通过任意坐标系之间的转化关系,以坐标转换标识点为中介,将大型车厢上位于不同区域测量点的三维坐标转换到指定的统一世界坐标系内,进行相应尺寸指标的测算;测量精度高,简单易行,具有较强的推广与应用价值。
-
公开(公告)号:CN112257513B
公开(公告)日:2023-07-25
申请号:CN202011032048.2
申请日:2020-09-27
Applicant: 南京工业大学
IPC: G06V40/20 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种手语视频翻译模型的训练方法、翻译方法及系统,属于模式识别与智能系统领域。本发明首先对孤立词数据集中的手语视频数据进行预处理,提取手语视频中人物区域,并利用Mask R‑CNN网络模型对运动的手部进行检测和跟踪,使用第一网络模块提取手部特征,使用第二网络模块提取人体特征;将所提取的手部特征与人体特征利用全连接层进行特征信息融合,训练得到孤立词的权重模型;将所得到孤立词的权重模型作为第三网络模块的预训练模型,并利用第三网络模块对连续语句视频进行特征提取;将提取结果,输入Seq2Seq模型中进行训练,得到训练好的手语视频翻译模型,并进一步地提出了翻译方法和系统架构。本发明对手语视频翻译的效果好,准确率高。
-
-
-
-
-
-
-
-
-