公开(公告)号：CN119583873A

公开(公告)日：2025-03-07

申请号：CN202411787828.6

申请日：2024-12-06

Applicant: 中国科学技术大学先进技术研究院 ,  合肥涌现智能科技有限公司 ,  中国科学技术大学

Inventor： 徐正春 ,  许道礼 ,  陈志波 ,  黄瑞丰 ,  向国强 ,  沙克成 ,  管健

IPC: H04N21/439 ,  H04N21/43 ,  H04N21/44 ,  H04N21/4402 ,  G10L25/24

Abstract: 本发明公开一种基于生成式人工智能的音视频联合编码、解码方法，编码包括：从音频信号和视频中提取各种模态特征；在跨模态注意力中进行融合；任务识别，首先识别当前的任务类型，确定了任务类型，系统将分析该任务的具体需求；动态自适应权重分配；融合特征，将分配了不同权重的多模态特征进行融合。本发明的优点在于：将音视特征提取、视频特征提取和基于AI的生成技术，首次应用在对音视频的联合编码中，解决了传统方法在进行视频的编解码的时候，压缩效率低以及不能应对更高质量的追求的问题。同时，基于生成式的编解码方式，可以灵活根据用户的个人需求，进行风格和质量的调整。

公开(公告)号：CN119583816A

公开(公告)日：2025-03-07

申请号：CN202411787829.0

申请日：2024-12-06

Applicant: 中国科学技术大学先进技术研究院 ,  合肥涌现智能科技有限公司 ,  中国科学技术大学

Inventor： 徐正春 ,  黄瑞丰 ,  陈志波 ,  许道礼 ,  向国强 ,  沙克成 ,  管健

IPC: H04N19/42 ,  H04N19/44 ,  H04N19/91 ,  H04N19/136 ,  H04N19/184

Abstract: 本发明提供一种基于生成式人工智能的多路径嵌入视频编码方法和系统，首先对输入的提示词及需求参数进行编码并输出成提示词向量及需求参数码流；然后对提示词向量及需求参数码流其进行解码，输出特征向量和特征图；提取所述特征向量和特征图和表征指导向量获得多嵌入特征信息；将得到的多嵌入特征信息通过生成式AI重构画面并获得待迭代的视频；对待迭代的视频进行视频质量评价；通过当前提示词向量及需求参数码流和多嵌入特征信息输入生成用于传输的二进制码流。本发明高度抽象化传输重要信息特征，并在接收端重构出高清视频，大幅度降低视频编码所需存储空间及传输信息流大小，实现在更窄带宽下的更高清传输或让极低带宽下的视频编码成为可能。

公开(公告)号：CN118646926A

公开(公告)日：2024-09-13

申请号：CN202410529516.9

申请日：2024-04-29

Applicant: 中国科学技术大学先进技术研究院 ,  合肥涌现智能科技有限公司

Inventor： 徐正春 ,  黄瑞丰 ,  管健

IPC: H04N21/44 ,  H04N17/00 ,  G06V10/776

Abstract: 本发明提供面向流媒体的无参考视频质量评价方法及系统，方法包括：对初始帧图像做无参考图像质量评价；给出当前视频流初始得分；计算初始帧图像的损失特征；解码器预测下一帧损失特征；求取并比对上下帧结构一致性得分是否小于预置得分阈值；根据对比结果计算计数器自增数值常量、进行计数器自增操作，提取当前帧损失特征；解码器预测当前帧下一帧损失特征；当前帧下一帧损失特征、当前帧损失特征输入当前得分更新模块计算视频质量、质量得分。本发明解决了自动化评价实时机位连续视频画面质量较差、无法自动化打分、人力成本和计算开销较高、受人为主观判断影响、资源无限消耗冲突以及无法利用前后帧特征损失关联性的技术问题。

公开(公告)号：CN118433386A

公开(公告)日：2024-08-02

申请号：CN202410529514.X

申请日：2024-04-29

Applicant: 中国科学技术大学先进技术研究院 ,  合肥涌现智能科技有限公司

Inventor： 徐正春 ,  向国强 ,  管健

IPC: H04N19/147 ,  H04N19/124 ,  H04N19/176 ,  H04N19/167 ,  G06V20/40 ,  G06V10/25 ,  G06V10/774 ,  G06V10/82 ,  A61B90/00

Abstract: 本发明提供深度学习自适应手术视频编码优化方法及系统，方法包括：针对外科手术，远程医疗等场景。用YOLOv8计算特征，识别如血液，血管，骨头，手术刀，重要脏器等特征，将这些区域划分编码单元CU块，然后作为重点CU块，通过计算，对其赋予新的Qp值，再将新的Qp输入到VVC通用视频编码，从而保证，对手术刀，脏器，血管，医生的手等重点部位实现高清晰度，然后对其他的诸如人物，旁边的器械，手术室的背景墙等赋予更高的Qp，分配更低的码率。本发明解决了的医疗手术视频中存在码率过大，传输压力过大，以及存储空间越来越大的技术问题。

公开(公告)号：CN118397784A

公开(公告)日：2024-07-26

申请号：CN202410529520.5

申请日：2024-04-29

Applicant: 中国科学技术大学先进技术研究院 ,  合肥涌现智能科技有限公司

Inventor： 徐正春 ,  许道礼 ,  管健

IPC: G08B17/12 ,  G08B29/18 ,  G06V10/25 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/082 ,  G06T7/269

Abstract: 本发明提供一种火灾检测方法及系统，方法包括：改进得到YOLOv5s轻量级目标检测模型；将预置数据集输入至YOLOv5s轻量级目标检测模型，判断预置数据集中的图片内容，以得到并输出每张图片中的火灾识别信息、火灾位置以及火灾置信度；利用YOLOv5s轻量级目标检测模型检测火灾图像，以得到火灾位置以及火灾置信度；获取并根据火灾置信度的阈值，判断是否存在火灾；若否，则判断是否存在可疑火灾，利用光流模型抽帧检测得到光流估计结果；若是，利用光流模型，以获取图像对间运动信息；获取并根据实际情况信息，自适应调节火灾边框以及火灾置信度；训练模型，处理得到并输出火灾检测结果。本发明解决了鲁棒性及准确性较低，忽略动态特征导致火灾误报及漏报的技术问题。