公开(公告)号：CN117893579A

公开(公告)日：2024-04-16

申请号：CN202410098078.5

申请日：2024-01-23

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 虞钉钉 ,  徐清 ,  王晓梅 ,  沈伟林 ,  沈旭立 ,  曹培

IPC: G06T7/269 ,  G06T3/4038 ,  G06V10/80 ,  G06T5/50 ,  G06N3/0464 ,  G06N3/08 ,  G06F17/16

Abstract: 一种人物插帧图像生成方法及装置、计算机可读存储介质、终端，所述方法包括：获取第一图像的像素矩阵和第二图像的像素矩阵，并拼接得到第一拼接矩阵，所述第一图像和所述第二图像包含相同的目标人物；根据所述第一拼接矩阵预测得到所述目标人物的人体预测特征，以及对所述第一拼接矩阵进行特征提取，得到图像特征，所述人体预测特征包含所述目标人物在人物插帧图像所属时刻的预测人体信息；对所述目标人物的人体预测特征和所述图像特征进行特征融合，得到融合特征；对所述融合特征进行解码，得到所述人物插帧图像。上述方案有助于获得清晰度更高、质量更佳的人物插帧图像。

公开(公告)号：CN116664746B

公开(公告)日：2024-04-02

申请号：CN202310620674.0

申请日：2023-05-29

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 虞钉钉 ,  徐清 ,  王晓梅 ,  沈伟林 ,  沈旭立 ,  曹培

IPC: G06T15/04 ,  G06T15/00 ,  G06T3/02 ,  G06T7/50 ,  G06T3/4038 ,  G06T7/40 ,  G06V40/16 ,  G06V10/80

Abstract: 一种人脸重建方法及装置、计算机可读存储介质、终端，所述方法包括：分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。采用上述方案有助于改进人脸重建的效果。

公开(公告)号：CN117372553A

公开(公告)日：2024-01-09

申请号：CN202311085684.5

申请日：2023-08-25

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 虞钉钉 ,  徐清 ,  宣晓华 ,  王晓梅 ,  沈伟林 ,  沈旭立 ,  曹培

IPC: G06T11/00 ,  G10L21/10 ,  G10L21/18 ,  G10L25/30 ,  H04N5/91 ,  G06T9/00

Abstract: 一种人脸图像生成方法及装置、计算机可读存储介质、终端，方法包括：确定人脸图像生成模型，包括图像编码子模型、音频编码子模型、音频映射子模型以及解码子模型；将驱动音频输入音频编码子模型，得到音频编码特征，以及将下半部分被遮挡的人脸图像输入图像编码子模型，得到人脸图像编码特征；将音频编码特征输入音频映射子模型，得到权重向量；采用权重向量，对预设的多个记忆口型编码特征进行加权运算，得到融合口型特征，其中，多个记忆口型编码特征对应于不同类型的口型；将音频编码特征、人脸图像编码特征以及融合口型特征，输入解码子模型，得到人脸生成图像。上述方案有助于提高人脸生成图像与驱动音频的口型匹配度。

公开(公告)号：CN115272782A

公开(公告)日：2022-11-01

申请号：CN202111613040.X

申请日：2021-12-27

Applicant: 复旦大学

Inventor： 沈旭立 ,  薛向阳 ,  戈维峰 ,  李斌

IPC: G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种辅助无人系统视觉决策的解释序列产生方法，为无人系统的监督任务提供层次化的决策依据，赋予系统决策透明性，方便开发者持续优化模型，其特征在于，包括以下步骤：步骤S1，将图像数据输入至预训练好的卷积神经网络模型获取最后一层的特征图张量以及每一层梯度信息；步骤S2，基于特征图张量和每一层梯度信息，采用人工智能可解释方法，获取决策显著图集合；步骤S3，基于决策显著图集合获取激活的输入数据图像集合；步骤S4，将激活的输入数据图像集合输入至预训练好的卷积神经网络模型，采用全局工作空间映射获取各显著图组对应的权重系数；步骤S5，基于各显著图组对应的权重系数合成显著图，并基于权重系数的预定顺序得到决策序列。

公开(公告)号：CN115905485A

公开(公告)日：2023-04-04

申请号：CN202211422630.9

申请日：2022-11-14

Applicant: 复旦大学

Inventor： 沈旭立 ,  蔡华 ,  薛向阳

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/36 ,  G06F40/30 ,  G06N3/0455 ,  G06N5/02

Abstract: 本发明提供一种基于常识自适应选择的共情对话方法及系统，首先利用神经网络的表征能力，通过感知对话的上下文情感识别信息，编码得到历史对话的上下文信息与常识图谱的先验信息。然后将编码得到的特征信息通过工作空间基于选择常识特征编码算法进行筛选，自适应地统一情感认知信息，确保筛选出的常识特征编码与历史对话的上下文情感识别信息的一致性，从而输出更符合使用者感受的共情对话文本。本发明利用对话中的情感信息来辅助理解对话意图，这样既提升了上下文的理解能力，又能让使用者觉得自身情绪状态被理解，从而提升沟通效率和用户体验。而且本发明还可以应用到各类无人系统或人机交互场景，具有适用范围广、使用价值高的优点。