一种基于边缘增强的多模态高帧率插帧方法

    公开(公告)号:CN117097858A

    公开(公告)日:2023-11-21

    申请号:CN202310849742.0

    申请日:2023-07-12

    Abstract: 本发明公开了一种基于边缘增强的多模态高帧率插帧方法,包括:高帧率视频与事件流数据集的构建、事件流处理、构建双分支光流网络预测多尺度帧光流与单尺度事件光流、构建光流级别融合网络处理事件光流与多尺度帧光流、构建插入帧细化网络生成准确的插入帧。通过事件生成模型从高速视频中生成事件流并与帧在时间尺度上对齐;事件流被处理为体素,和视频帧分别输入事件光流预测网络与帧光流预测网络,然后双分支上预测的光流输入进光流级别融合网络进行以事件边缘运动引导的融合。最后准确的光流将被输入插入帧细化网络来生成清晰的插入帧。本发明解决了由于帧间信息丢失导致的插入帧中运动物体边缘不清晰问题,并达到了比以往工作更好的插帧效果。

    一种一步合成水溶性g‑C<base:Sub>3</base:Sub>N<base:Sub>4</base:Sub>材料的制备方法

    公开(公告)号:CN106744743A

    公开(公告)日:2017-05-31

    申请号:CN201611104012.4

    申请日:2016-12-05

    CPC classification number: C01B21/0605 C01P2002/72 C01P2004/04 G01N21/6428

    Abstract: 一种一步合成水溶性g‑C3N4材料的制备方法,属于材料合成和环境监测领域。该方法包括如下步骤:(1)将三聚氰胺或双氰胺中的一种与氯化钠、氯化钾混合均匀并加入蒸馏水,在60~90℃进行恒温水浴搅拌溶解;(2)将步骤(1)溶液进行旋转蒸发处理,干燥后在空气中650~690℃煅烧制得,煅烧升温速率为2℃/min~10℃/min,即得所述水溶性g‑C3N4材料;(3)将步骤(2)所得g‑C3N4材料用异丙醇提纯三遍。本发明提供的g‑C3N4材料具有良好的水溶性及微量金属离子检出性能;本发明提供的制备方法,其原料价廉、工艺简单,具有很高的应用前景和实用价值。

    一种基于大模型适配的事件-RGB语义分割方法

    公开(公告)号:CN118823342A

    公开(公告)日:2024-10-22

    申请号:CN202410831267.9

    申请日:2024-06-26

    Abstract: 本发明公开了一种基于大模型适配的多模态语义分割方法,首先对于每一对的输入数据,以RGB数据的曝光时间戳为基准,以不同的时间尺度划分事件信息,随后将事件处理为体素,和视频帧分别输入多时空尺度事件嵌入模块与SAM主干,然后将经过多时空尺度事件嵌入模块提取的时间特征输入SAM事件适配器中,与SAM中的图像信息进行交互,得到富含高质量运动信息的特征。最后特征将被输入简单的语义分割头来生成语义分割结果。本发明是端到端的,整体可以直接进行训练,之后可以使用训练的模型来处理事件‑RGB场景下的语义分割问题。本发明解决了由于RGB信息在极端场景下信息丢失的问题,并达到了比以往工作更优秀的语义分割结果。

    一种基于事件相机重建参考的多模态视频插帧方法

    公开(公告)号:CN118590665A

    公开(公告)日:2024-09-03

    申请号:CN202410831266.4

    申请日:2024-06-26

    Abstract: 本发明公开了一种基于事件相机重建参考的多模态视频插帧方法,首先通过事件生成模型从高速视频中生成事件流并与帧在时间尺度上对齐,保证训练过程中能够在任意时刻进行视频内插帧。事件流被处理为体素以及事件关注掩码,体素被输入参考帧重建网络生成参考帧。经过事件关注掩码策略处理的参考帧和视频帧一起输入基于参考帧的合成网络进行双向对齐,从而合成粗插入帧。最后将粗插入帧、事件体素以及两个视频关键帧一起被输入插入帧细化网络来生成清晰的插入帧。本发明利用基于事件的参考直接合成中间帧,避免了显式运动估计的必要性,从而大大增强了处理运动遮挡的能力。

Patent Agency Ranking