-
公开(公告)号:CN108681775B
公开(公告)日:2021-04-13
申请号:CN201810517482.6
申请日:2018-05-25
Applicant: 厦门大学
Abstract: 通过WordNet嵌入进行测试和更新的树形网络方法,涉及图片智能分类。构建树形网络;预训练;基于SVM的动态剪枝,在测试过程中,可以动态剪枝特征映射的激活值过低的节点和节点的子树,因为若节点的激活值太低,则该节点表示的类的概率较低,因此后代节点的概率会较低并且可以忽略;每张特征图的激活值之和的具有较强的线性可分性,因此使用SVM在测试过程中进行模型的加速;基于分支的在线更新,使用检测到的图像作为训练样本,将预测概率高的样本回传给树形网络进行训练。
-
公开(公告)号:CN113838173B
公开(公告)日:2023-08-22
申请号:CN202111111750.2
申请日:2021-09-23
Applicant: 厦门大学
IPC: G06T13/20 , G06T13/40 , G06T15/00 , G06T19/00 , G06T19/20 , G10L21/0272 , G10L25/24 , G10L25/27 , G10L25/48 , G10L25/63
Abstract: 一种受语音和背景声联合驱动的虚拟人头部运动合成方法,涉及计算机视觉。对待合成的人脸参考图像进行人脸三维重建,提取其人脸身份参数、人脸纹理参数;输入音乐音频流进行音声分离,分离出背景声音频流和语音音频流;提取音频特征,分别输出背景声特征序列和语音特征序列;分别向第一~四网络输入音频特征,输出头部姿态参数序列、面部表情参数序列;计算三维人脸模型形状和纹理并进行投影渲染,输出二维人脸渲染图像序列;对第五网络输入二维人脸渲染图像序列,输出纹理优化后的虚拟人头部形象视频帧序列。可驱动虚拟人头部姿态、面部表情、眼睛、口型等协同运动,合成神态表情丰富、动作感真实、表现力强的虚拟人头部形象视频。
-
公开(公告)号:CN113851145A
公开(公告)日:2021-12-28
申请号:CN202111111485.8
申请日:2021-09-23
Applicant: 厦门大学
IPC: G10L21/10 , G10L21/18 , G10L15/26 , G10L15/02 , G10L15/16 , G10L25/24 , G10L25/30 , G06K9/00 , G06N3/04
Abstract: 一种联合语音和语义关键动作的虚拟人动作序列合成方法,涉及动作合成。人工选取并录制关键动作目标视频构建关键动作池;对输入语音流提取语音特征序列;对语音识别模块输入语音特征序列,输出对应的文本序列;对口型推理模块输入语音特征序列,输出口型特征点序列;对人脸纹理匹配模块输入口型特征点变化轨迹序列,输出人脸纹理图像序列。对关键动作选取模块输入文本序列及语音音频流,输出关键姿态序列;对背景帧选取模块输入语音音频流、文本序列、关键动作序列,输出背景帧序列;对前景背景混合模块输入人脸纹理图像序列和背景帧序列,输出虚拟人动作和语音语义一致的虚拟人说话视频。利用语义约束动作,提高虚拟人动作与语音语义的一致性。
-
公开(公告)号:CN112215160A
公开(公告)日:2021-01-12
申请号:CN202011092625.7
申请日:2020-10-13
Applicant: 厦门大学
IPC: G06K9/00
Abstract: 一种利用长短期信息融合的视频三维人体姿态估计算法,涉及深度学习和人体姿态估计技术领域。对第一网络输入一段视频,每一帧对应的人体二维骨架姿态坐标,并组成序列;从人体二维骨架姿态坐标序列中抽取一定数量的关键帧,将其存储在长期动作池中;将长期动作池中的动作插入到一个滑动窗口内的人体二维骨架姿态坐标序列中,生成一个滑动窗口内重构的人体二维骨架姿态坐标序列;对第二网络输入一个滑动窗口内重构的人体二维骨架姿态坐标序列,输出这段序列中心帧对应的人体三维骨架姿态坐标;将第二网络输出的每个滑动窗口中心帧对应的人体三维骨架姿态坐标进行拼接,输出为视频对应的三维人体姿态序列。准确有效,对于视频帧率波动适应性好。
-
公开(公告)号:CN119475220A
公开(公告)日:2025-02-18
申请号:CN202411504977.7
申请日:2024-10-25
Applicant: 厦门大学
Abstract: 本申请公开了一种基于组合时空注意力机制的人物画像方法及相关装置,涉及用户画像技术领域,该方法包括:获取目标用户的用户行为属性数据,为了便于捕捉用户行为属性数据中的复杂关系和特征,首先采用嵌入层将离散的用户行为属性数据转化为嵌入式向量表示,得到综合嵌入向量,随后采用时空注意力和卷积融合模块对综合嵌入向量分别提取第一和第二时空关系特征,对用户行为的全局时间依赖关系、局部空间依赖关系、全局空间依赖关系和局部时间依赖关系均进行了提取,最后据此进行分类和聚类,确定目标用户的标签,生成精确的人物画像。本申请上述方案可以准确且同时地提取数据中的局部和全局的时空特征,为进一步的分析和决策提供了坚实的基础。
-
公开(公告)号:CN119475022A
公开(公告)日:2025-02-18
申请号:CN202411534294.6
申请日:2024-10-30
Applicant: 厦门大学
IPC: G06F18/241 , G06F18/10 , G06F18/23 , G06F18/213 , G06F17/11 , G06Q50/26 , G06F17/18
Abstract: 本申请公开了一种基于舆情热度扩散趋势分析的区域安全评价方法、装置、设备、介质及产品,涉及人工智能领域。该方法包括获取互联网平台上的舆情信息并进行数据清洗、特征提取和格式化处理,提取出格式化信息特征;基于每条信息的格式化信息特征进行分类和打分,获得每条信息所属指标的安全评价得分;基于格式化信息特征将各条信息进行聚类并按照时间顺序排序,识别出关键事件集合;对关键事件集合中的每个关键事件计算事件趋势指数;基于事件趋势指数计算每个关键事件对区域安全指数影响的更新量并计算更新后的区域安全指数;基于更新前后的区域安全指数以及事件趋势指数进行区域安全评价,能够提高区域安全评价的客观性、时效性和准确性。
-
公开(公告)号:CN113851145B
公开(公告)日:2024-06-07
申请号:CN202111111485.8
申请日:2021-09-23
Applicant: 厦门大学
IPC: G10L21/10 , G10L21/18 , G10L15/26 , G10L15/02 , G10L15/16 , G10L25/24 , G10L25/30 , G06V40/20 , G06V10/82 , G06N3/0464 , G06N3/0455
Abstract: 一种联合语音和语义关键动作的虚拟人动作序列合成方法,涉及动作合成。人工选取并录制关键动作目标视频构建关键动作池;对输入语音流提取语音特征序列;对语音识别模块输入语音特征序列,输出对应的文本序列;对口型推理模块输入语音特征序列,输出口型特征点序列;对人脸纹理匹配模块输入口型特征点变化轨迹序列,输出人脸纹理图像序列。对关键动作选取模块输入文本序列及语音音频流,输出关键姿态序列;对背景帧选取模块输入语音音频流、文本序列、关键动作序列,输出背景帧序列;对前景背景混合模块输入人脸纹理图像序列和背景帧序列,输出虚拟人动作和语音语义一致的虚拟人说话视频。利用语义约束动作,提高虚拟人动作与语音语义的一致性。
-
公开(公告)号:CN116612542A
公开(公告)日:2023-08-18
申请号:CN202310571748.6
申请日:2023-05-19
Applicant: 厦门大学
IPC: G06V40/70 , G06V20/40 , G06V40/16 , G06V10/74 , G06V40/20 , G06V10/80 , G06V10/82 , G10L17/02 , G10L17/10 , G10L17/18 , G06N3/0464
Abstract: 本发明公开一种基于多模态生物特征一致性的音视频人物识别方法及系统,涉及人物身份识别领域。本发明利用人脸检测器和人体检测器技术提取人脸区域和人体区域,利用前后景分离技术从人体区域中获取人体剪影;同时,运用深度学习技术,利用人脸识别从人脸区域提取人脸特征,利用步态识别从人体区域提取步态特征,以及利用声纹识别从音频帧中提取声纹特征;进一步利用新颖的多模态筛选方法和多模态一致性计分方法,能够高效利用包括人脸特征、步态特征和声纹特征的多模态信息,更准确地识别人物身份。并且本发明方法尤其适用于复杂场景,如社区治安、公共安全管理和智能家居等场景使用。
-
公开(公告)号:CN119441616A
公开(公告)日:2025-02-14
申请号:CN202411527048.8
申请日:2024-10-30
Applicant: 厦门大学
IPC: G06F16/9535 , G06F16/906 , G06N3/0464 , G06Q50/00 , G06Q50/26
Abstract: 本申请公开了一种基于多维信息和事件因果梳理的潜在风险隐患识别方法、装置、设备、介质及产品,涉及人工智能领域。该方法包括从已订阅的舆情监测对象处获取多模态数据并进行特征提取,提取出多模态信息特征;基于多模态信息特征进行数据结构化分析,提取出每个事件的关键属性结构化数据;对所有事件进行聚类分析,将所有事件划分为一系列大事件集合;对大事件集合中的每个小事件进行信息去重和整合分析,得到每个大事件集合的关键属性结构化数据,据此对一系列大事件集合的发生顺序和因果关系进行因果链梳理,得到事件因果链,据此进行事件的潜在风险隐患识别,能够提高舆情监测的全面性和时效性以及舆情分析的准确性。
-
公开(公告)号:CN112215160B
公开(公告)日:2023-11-24
申请号:CN202011092625.7
申请日:2020-10-13
Applicant: 厦门大学
Abstract: 一种利用长短期信息融合的视频三维人体姿态估计算法,涉及深度学习和人体姿态估计技术领域。对第一网络输入一段视频,每一帧对应的人体二维骨架姿态坐标,并组成序列;从人体二维骨架姿态坐标序列中抽取一定数量的关键帧,将其存储在长期动作池中;将长期动作池中的动作插入到一个滑动窗口内的人体二维骨架姿态坐标序列中,生成一个滑动窗口内重构的人体二维骨架姿态坐标序列;对第二网络输入一个滑动窗口内重构的人体二维骨架姿态坐标序列,输出这段序列中心帧对应的人体三维骨架姿态坐标;将第二网络输出的每个滑动窗口中心帧对应的人体三维骨架姿态坐标进行拼接,输出为视频对应的三维人体姿态序列。准确有效,对于视频帧率波动适应性好。
-
-
-
-
-
-
-
-
-