一种基于几何拼接的宽基线图像新视点合成方法

    公开(公告)号:CN116993945A

    公开(公告)日:2023-11-03

    申请号:CN202310991365.4

    申请日:2023-08-08

    Inventor: 张磊 宋楷

    Abstract: 一种基于几何拼接的宽基线图像新视点合成方法,属于三维重建技术领域。基于损失函数中的边缘约束项减轻边缘模糊;通过Transformer递归层模型,建立长距离的上下文关系,扩大视差的搜索范围;使用宽基线数据训练增强模型,提高预测的深度图质量及网格重建的质量。通过重建左右两个视点的网格,并根据宽基线图像的相对位置将两个网格拼接为整体网格作为三维场景表示,从几何层面填补一定面积的孔洞,提高初步新视点图像质量。基于可见性贴图作为孔洞的先验信息及最初渲染的带有孔洞的新视点图像,通过神经网络,生成高质量的新视点图像。本发明适用于三维重建、影视、导航等领域,提高虚拟3D内容生成的效率和用户观看体验的舒适度。

    一种基于音视频结构对齐的演讲视频生成方法

    公开(公告)号:CN116567365A

    公开(公告)日:2023-08-08

    申请号:CN202310386924.9

    申请日:2023-04-12

    Inventor: 张磊 董彪 黄华

    Abstract: 本发明公开的一种基于音视频结构对齐的演讲视频生成方法,属于虚拟数字人领域。本发明包括音频分割模块、音频转化模块、音频编码模块、视频编码模块、视频融合解码模块。音频转化模块用于将分割的音素,根据傅里叶变换转化为更符合人耳频率范围的梅尔频谱图。在音频编码过程中,将相同音素的帧作为一个连续的时间模块,并将时间模块作为时间一致性来约束嘴唇的变化,通过时间一致性约束在音素级别实现对口唇细粒度控制。在视频编码中,将输入视频中多姿态变化的人脸的部分区域设置为蒙版区域,通过蒙版区域作为空间一致性精确控制嘴唇变化幅度,对齐演讲者嘴唇位置,减轻视频的视觉伪影,优化面部细节,生成音画同步的高质量演讲视频。

    一种面向时空事件脉冲流的目标区域分割方法及系统

    公开(公告)号:CN116416258A

    公开(公告)日:2023-07-11

    申请号:CN202310376811.0

    申请日:2023-04-11

    Abstract: 本发明公开一种面向时空事件脉冲流的目标区域分割方法及系统,属于视频分割领域。本发明通过将连续的事件脉冲流转化为特定的输入表示,有效的适配传统神经网络的输入;通过循环神经网络提取信息并记忆过去特征,提高模型对连续事件脉冲输入的特征提取能力;通过循环特征编码器匹配目标,同时更新的隐藏状态,建模时空关系,提高模型对目标的查询匹配能力;通过特征解码器获取目标在当前与过去时刻的注意力关系矩阵,提高模型对特征匹配的鲁棒性;通过跳跃连接将中间特征输入分割头,提高目标区域分割模型对粗粒度和细粒度信息的特征融合能力,进而提高预测目标区域的准确性。本发明适配低光、高速场景,且能够分割任意时刻的目标区域。

    一种基于灰点漂移的视频白平衡方法

    公开(公告)号:CN114845095B

    公开(公告)日:2023-04-07

    申请号:CN202210317968.1

    申请日:2022-03-29

    Inventor: 张磊 孙心桐 黄华

    Abstract: 本发明涉及一种基于灰点漂移的视频白平衡方法,属于图像处理中的颜色恒常性与白平衡技术领域。本方法在光源估计的过程中,除图像本身的单帧光源估计,同时考虑了其相邻帧图像的光源估计、稳定视频的颜色。通过加权融合的方式调整已有估计和单帧估计的比例,使视频白平衡结果兼顾正确性与稳定性。在融合权重的确定时,除了考虑相邻帧图像间对应灰点的颜色差异,同时考虑了相邻帧图像间单帧光源估计的颜色差异,只有两者皆较大时才认为拍摄条件发生了显著的光源变化,使用新的单帧估计,否则继续沿用之前的光源估计,其能够降低单帧估计的错误与灰点漂移估计的错误对最终结果的影响,同时也适应拍摄条件发生确实突变的情况,提高了算法的自适应性。

    血管穿刺辅助控制方法及装置

    公开(公告)号:CN109805991B

    公开(公告)日:2022-02-01

    申请号:CN201910192652.2

    申请日:2019-03-14

    Abstract: 本发明实施例涉及血管穿刺技术领域,提供一种血管穿刺辅助控制方法及装置,该方法包括:采集穿刺目标区域的血管超声短轴截面影像;自动识别血管短轴截面影像的边界信息,并获取血管短轴截面边界数据和血管中心点位置数据;提取以穿刺目标点为基点的沿预设穿刺角度方向的穿刺路径,并根据穿刺路径和穿刺针当前位置参数,获取穿刺针由当前姿态调整至穿刺路径上所需的位移参数;基于位移参数,驱使穿刺针移动调整至穿刺路径上,并沿穿刺路径刺到所述穿刺目标点。本发明实施例提供的血管穿刺辅助控制方法及装置,能够确保在平面外穿刺技术下穿刺针针尖准确到达穿刺目标点,有效避免了平面外穿刺技术存在的并发症风险,提高了穿刺一次成功率。

    一种机器人系统加密控制方法、设备及存储介质

    公开(公告)号:CN111740949B

    公开(公告)日:2021-08-24

    申请号:CN202010401044.0

    申请日:2020-05-13

    Abstract: 本公开提供了一种机器人系统加密控制方法,包括:第一设备接收来自第二设备的消息报文,所述消息报文的帧结构中包括加密控制片段;对所述消息报文进行解析,获取所述加密控制片段中的加密控制信息;根据所述加密控制信息对来自第二设备的消息报文进行解密;其中,所述第一设备和第二设备包括机器人、控制终端和/或服务器;所述加密控制片段包括加密类型字段、加密填充类型字段、随机关键字字段和加密初始向量字段。本公开使得机器人系统中的设备间的信息传输安全得到保障,也能够兼容不同厂商的机器人终端安全方案,降低了机器人普及应用的成本。

    一种机体组件及消防机器人

    公开(公告)号:CN111265804B

    公开(公告)日:2021-08-24

    申请号:CN202010033261.9

    申请日:2020-01-13

    Abstract: 本公开提供了一种机体组件及消防机器人,机体组件包括机箱和设置在机箱内的电控元件和供电装置,机箱包括:箱座,箱座包括多个骨架梁和多个隔板,箱座被多个隔板分隔成多个仓体,箱座的左右两侧上各设有至少一个安装槽,多个仓体包括电控元件仓和供电装置仓;多个盖板,对应安装在多个仓体的开口处。该种机箱的箱座,多个骨架梁就像笼子的骨架一样,支撑了整个结构的强度,而隔板用于形成多个独立的仓体,这样便将箱座设置成了类似笼子一样的结构,从而提高了中间核心结构的抗冲击性,保护了核心的电子器件免受冲击影响。而各个电子器件都集中分仓放置在箱座内,既起到了隔绝电磁干扰作用,又充分利用了空间,实现了核心器件的集成。

    一种基于流形优化的图像拼接方法

    公开(公告)号:CN108280805B

    公开(公告)日:2021-07-20

    申请号:CN201810087985.4

    申请日:2018-01-30

    Inventor: 张磊 庞荣 黄华

    Abstract: 本发明涉及一种基于流形优化的图像拼接方法,属于图像拼接技术领域。该拼接方法首先将图像重叠,即将图像网格化,再通过在流形空间利用迭代优化方式来优化重叠部分匹配特征点的残差,以此对齐图像重叠部分;再处理图像的非重叠部分,将之前得到的各个网格的单应矩阵与全局相似变换在流形空间按距离权重进行插值。相比现有技术的直接插值方式,流形空间下的插值更具有合理性,效果也有明显提升;在实验结果表明,在流形空间上得到的结果与在普通欧氏空间的结果相比,拼接效果更加自然平滑,效果更好。

Patent Agency Ranking