-
公开(公告)号:CN117615148A
公开(公告)日:2024-02-27
申请号:CN202410098706.X
申请日:2024-01-24
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: H04N19/30 , G06N3/0464 , G06N3/08 , H04N19/132 , H04N19/136 , H04N19/42
Abstract: 本发明公开了一种基于多尺度框架的端到端特征图分层压缩方法,属于机器视频编码领域,该方法包括:在对输入信号进行机器视觉编码时,使用特征金字塔网络提取多尺度的特征图,通过丢弃部分特征图来减少需要传输的数据量,并且通过上下采样、加权融合的方法仅利用部分特征图实现了丢弃的特征图的预测。此外,考虑到预测图和重建图之间的差异,通过计算残差来对所有特征图进行修正。上述方法能够在保证任务精度的情况下大大减少需要压缩传输的特征图数据量,从而减少传输码流。此外,针对视觉任务中目标大小不一的情况,引入了多尺度的方法,使用具有不同大小感受野的特征图来确保该方法因对不同尺寸任务目标的鲁棒性。
-
公开(公告)号:CN117615148B
公开(公告)日:2024-04-05
申请号:CN202410098706.X
申请日:2024-01-24
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: H04N19/30 , G06N3/0464 , G06N3/08 , H04N19/132 , H04N19/136 , H04N19/42
Abstract: 本发明公开了一种基于多尺度框架的端到端特征图分层压缩方法,属于机器视频编码领域,该方法包括:在对输入信号进行机器视觉编码时,使用特征金字塔网络提取多尺度的特征图,通过丢弃部分特征图来减少需要传输的数据量,并且通过上下采样、加权融合的方法仅利用部分特征图实现了丢弃的特征图的预测。此外,考虑到预测图和重建图之间的差异,通过计算残差来对所有特征图进行修正。上述方法能够在保证任务精度的情况下大大减少需要压缩传输的特征图数据量,从而减少传输码流。此外,针对视觉任务中目标大小不一的情况,引入了多尺度的方法,使用具有不同大小感受野的特征图来确保该方法因对不同尺寸任务目标的鲁棒性。
-
公开(公告)号:CN115278290A
公开(公告)日:2022-11-01
申请号:CN202210772786.3
申请日:2022-06-30
Applicant: 华中科技大学
IPC: H04N21/231 , H04N21/234 , H04N21/433 , H04N21/44 , H04N21/4728
Abstract: 本发明公开了一种基于边缘节点的虚拟现实视频缓存方法及装置,方法包括:(1)将VR视频划分成等时长的视频片段;(2)获取每个视频片段的历史视点分布数据;(3)利用聚类算法将用户视点聚类,得到每个视频片段中用户的感兴趣区域,作为目标ROI;(4)在这些目标ROI附近进一步搜寻包含较多视点的区域,得到候选ROI;(5)按照包含视点数目的多少,降序缓存上述ROI,直至边缘节点无可用缓存资源或所有ROI都已被缓存。本发明通过分析历史用户的视点信息,找出VR视频中用户可能感兴趣的区域,并以视点数目作为不同区域流行度的估计,越流行的,越容易被缓存在边缘节点,从而能够降低响应后续观看该VR视频的请求的时延。
-
公开(公告)号:CN114898471B
公开(公告)日:2022-09-30
申请号:CN202210812319.9
申请日:2022-07-12
Applicant: 华中科技大学
IPC: G06V40/20 , G06V10/46 , G06V10/75 , G06V10/82 , G06V20/40 , G06V40/10 , G06N3/04 , G06T7/66 , G08B21/04
Abstract: 本发明公开了一种基于人体骨架特征的行为检测方法及存储介质,属于计算机视觉技术领域,包括:提取视频流各帧内各人物目标的一系列人体关键点,作为人体骨架特征;对于每一帧中的每一个人物目标,利用其人体骨架特征计算人体结构中心点和近似刚性运动区域,作为骨架特征状态计算值,并估计下一帧中各人物目标的骨架特征状态估计值;根据骨架特征状态的估计值和计算值进行人物目标匹配后,将属于同一个人物目标的人体骨架特征关联到一起,得到各人物目标的骨架特征序列,并将其中的各关键点的特征在时间域上进行关联,得到时空域骨架特征;将时空域骨架特征输入至行为检测模型,得到对应的行为类别。本发明能够提高多人场景下行为检测的精度。
-
公开(公告)号:CN114882578B
公开(公告)日:2022-09-06
申请号:CN202210812089.6
申请日:2022-07-12
Applicant: 华中科技大学
IPC: G06V40/16 , G06K9/62 , G06V10/778 , G06V10/80
Abstract: 本发明公开了多域对抗学习的小样本条件下复合表情识别方法,属于计算机视觉人脸表情识别领域。为了在小样本条件下提取多样性和复杂性的复合表情特征,融合多个小样本数据集,并划分表情子域,利用多域对抗学习提高识别复合表情的性能。基于生成对抗网络框架,将人脸域、轮廓无关的复合表情域融合在生成网络中以增强多样性和复杂性,设计了两个鉴别器引导生成器。人脸鉴别器使用人脸域,引导并鉴别生成器生成表情无关的人脸身份属性,让生成器具有身份多样性;复合表情融合鉴别器分别将基础表情域和轮廓相关的复合表情域融合在一起,引导并鉴别生成器生成的表情具有复杂性。从而获得兼具多样性和复杂性的高性能鉴别器,提高复合表情的识别性能。
-
公开(公告)号:CN114882578A
公开(公告)日:2022-08-09
申请号:CN202210812089.6
申请日:2022-07-12
Applicant: 华中科技大学
IPC: G06V40/16 , G06K9/62 , G06V10/778 , G06V10/80
Abstract: 本发明公开了多域对抗学习的小样本条件下复合表情识别方法,属于计算机视觉人脸表情识别领域。为了在小样本条件下提取多样性和复杂性的复合表情特征,融合多个小样本数据集,并划分表情子域,利用多域对抗学习提高识别复合表情的性能。基于生成对抗网络框架,将人脸域、轮廓无关的复合表情域融合在生成网络中以增强多样性和复杂性,设计了两个鉴别器引导生成器。人脸鉴别器使用人脸域,引导并鉴别生成器生成表情无关的人脸身份属性,让生成器具有身份多样性;复合表情融合鉴别器分别将基础表情域和轮廓相关的复合表情域融合在一起,引导并鉴别生成器生成的表情具有复杂性。从而获得兼具多样性和复杂性的高性能鉴别器,提高复合表情的识别性能。
-
公开(公告)号:CN113780099A
公开(公告)日:2021-12-10
申请号:CN202110947948.8
申请日:2021-08-18
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于对抗学习的半监督面部运动单元检测方法和系统,充分运用光流可以有效地捕捉到微弱的运动位移,即可以捕捉到由面部表情引起的AUs变化的特点,构建基于光流融合的生成对抗网络模型用于实现对面部运动单元的精确检测;并且考虑到顶点帧的选取存在一定难度,将顶点帧及其附近的帧设置为顶点阶段,在顶点阶段内随机选择第一目标帧和第二目标帧,并将第一目标帧、源帧的光流矢量与源帧相结合得到运动图像作为生成器的输入,以第二目标帧作为标签对生成器进行训练,从而增强模型的鲁棒性,进一步提高检测效果。
-
公开(公告)号:CN109361928B
公开(公告)日:2020-05-19
申请号:CN201811055421.9
申请日:2018-09-11
Applicant: 华中科技大学
IPC: H04N21/2183 , H04N21/234 , H04N21/238 , H04N21/239 , H04N21/262 , H04N21/654
Abstract: 本发明公开了一种信息中心网络系统及视频传输方法,系统中每个节点都包括控制层、传输层以及本地缓存;控制层包括相互连接的统计模块和控制模块;统计模块用于统计链路状态和请求信息;控制模块用于确定将实际兴趣请求包推送至下游节点的推送路径,以及更新当前节点本地缓存的更新策略;传输层包括视频块传输模块、请求包推送模块及本地缓存更新模块;视频块传输模块用于在视频块命中本地缓存时,将所请求的视频块返回至上游节点,或者将到达本地节点的视频块返回至上游节点;请求包推送模块用于将实际兴趣请求包推送至下游节点;本地缓存更新模块用于定期更新当前节点的本地缓存。本发明能够最大化总的用户请求速率,提升用户体验。
-
公开(公告)号:CN108810511B
公开(公告)日:2019-08-30
申请号:CN201810646992.3
申请日:2018-06-21
Applicant: 华中科技大学
IPC: H04N13/122 , H04N13/161
Abstract: 本发明公开了一种基于视点一致性的多视点压缩深度视频增强方法,包括:对多个视点的深度视频进行编码,得到压缩后的当前视点深度图和其他视点深度图;将其他视点深度图映射到当前视点,得到映射深度图;基于视点一致性来结合映射深度图,通过全局优化的方式对压缩后的当前视点深度图进行增强,从而得到目标深度图。本发明考虑了视点一致性对压缩后的当前视点深度图进行增强得到目标深度图,利用本发明提出的方法增强后的深度图不仅在客观图像质量衡量指标可以实现比较好的增益,在主观视觉效果上,目标对象的轮廓和更多细节得到很好的还原,从而可以更好的应用到其他技术当中。
-
公开(公告)号:CN108810511A
公开(公告)日:2018-11-13
申请号:CN201810646992.3
申请日:2018-06-21
Applicant: 华中科技大学
IPC: H04N13/122 , H04N13/161
Abstract: 本发明公开了一种基于视点一致性的多视点压缩深度视频增强方法,包括:对多个视点的深度视频进行编码,得到压缩后的当前视点深度图和其他视点深度图;将其他视点深度图映射到当前视点,得到映射深度图;基于视点一致性来结合映射深度图,通过全局优化的方式对压缩后的当前视点深度图进行增强,从而得到目标深度图。本发明考虑了视点一致性对压缩后的当前视点深度图进行增强得到目标深度图,利用本发明提出的方法增强后的深度图不仅在客观图像质量衡量指标可以实现比较好的增益,在主观视觉效果上,目标对象的轮廓和更多细节得到很好的还原,从而可以更好的应用到其他技术当中。
-
-
-
-
-
-
-
-
-