公开(公告)号：CN115457368A

公开(公告)日：2022-12-09

申请号：CN202211159308.1

申请日：2022-09-22

Applicant: 复旦大学

Inventor： 张立华 ,  王顺利 ,  王帅兵 ,  焦博 ,  翟鹏 ,  杨鼎康 ,  苏柳桢

IPC: G06V10/82 ,  G06V10/52 ,  G06V10/94 ,  G06N3/04 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明涉及一种太空目标6D位姿估计系统，包括特征提取单元、因果推理单元，关键点检测单元，位姿估计单元及神经网络量化单元，通过DarkNet‑53模型提取图像特征，并引入特征金字塔网络完成特征增强；因果推理单元基于反事实分析技术获得图像的无偏特征；关键点检测单元基于无偏特征预测出2D关键点坐标和置信度；位姿估计单元基于2D关键点等信息求解出卫星的6D姿态；神经网络量化单元大幅度减少系统能耗的同时可以保留极少的精度损失。与现有技术相比，本系统能够在恶劣的成像条件和复杂的太空背景下精确地完成卫星的6D位姿估计，同时节省资源，拥有更低的时延和相当可观的精度，为卫星在太空中的自动化任务部署和未来的发展提供有力基础保障。

公开(公告)号：CN111914925A

公开(公告)日：2020-11-10

申请号：CN202010740442.5

申请日：2020-07-28

Applicant: 复旦大学

Inventor： 张立华 ,  杨鼎康 ,  翟鹏 ,  董志岩

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06K9/00 ,  G06K9/46 ,  A61B5/11 ,  A61B5/00 ,  A61B5/0488 ,  A61B5/0402 ,  A61B5/0496 ,  A61B5/0205 ,  A61B5/055 ,  A61B5/053 ,  A61B6/00 ,  A61B6/03 ,  A61B8/00

Abstract: 本发明涉及一种基于深度学习的患者行为多模态感知与分析系统，包括数据采集单元、患者人体姿态识别单元、患者生理信号识别单元、患者图像信息识别单元、患者语音信息识别单元以及深度融合单元；通过对采集到的患者姿态、生理、图像和语音等多模态数据实现预处理和感兴趣区提取和诊断，深度融合单元采用多模态二维特征和三维特征融合网络结构，由2D深度学习网络获取初步分割结果，并通过3D深度学习网络在初步分割结果的基础上，获取患者行为检测结果。与现有技术相比，本发明实现了更加精准的评估患者行为，准确定位病灶，显著提高了患者病理走向预测准确度，为患者行为科学干预与医疗流程智能优化手段的实施提高有力的基础保障。

公开(公告)号：CN119919279A

公开(公告)日：2025-05-02

申请号：CN202411994617.X

申请日：2024-12-31

Applicant: 复旦大学

Inventor： 张立华 ,  钱子赟 ,  杨鼎康 ,  翟鹏

IPC: G06T3/04 ,  G06T13/00 ,  G06N3/0455

Abstract: 本发明涉及一种基于物理真实的动作风格迁移方法，包括动态融合模块：获取动作内容数据以及动作风格数据，分别进行特征提取，获取动作内容的特征向量和动作风格的特征向量；构建共享查询向量，将内容和风格的特征向量分别与共享查询向量相乘，并相互拼接后得到注意力矩阵；根据注意力矩阵计算动作内容数据和动作风格数据各自分布的注意力加权平均值，得到最终的特征图；以解码得到风格迁移后的动作序列；还提出配套的鉴别器，通过鉴别器判断为真实动作还是生成的虚假动作，从而根据判断结果监督动态融合模块的训练过程。与现有技术相比，本发明能实现物理真实的动作风格迁移。

公开(公告)号：CN113947702A

公开(公告)日：2022-01-18

申请号：CN202111080047.X

申请日：2021-09-15

Applicant: 复旦大学

Inventor： 张立华 ,  杨鼎康 ,  王顺利 ,  邝昊鹏 ,  黄帅

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V40/16 ,  G06V40/10 ,  G06V40/20 ,  G06K9/62 ,  G10L25/30 ,  G10L25/63 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于情境感知的多模态情感识别方法和系统，系统包括多模态信息采集单元、基于多模态行为表现的情感处理单元、基于场景上下文的情感分析单元、基于代理人群体交互的情感分析单元、基于代理人和情境交互的情感分析单元、基于自适应规划的特征融合单元、基于离散情感的识别单元、基于连续情感的预测单元以及显示模块，多模态数据一部分来源于面部表情、步态和手势信息；另一部分来自情境中的场景上下文、代理人群体互动上下文以及场景与代理人互动的上下文信息。与现有技术相比，本发明有效的解决了真实场景中情感识别效率低下，现有算法情感识别准确率不达标，识别算法鲁棒性和泛化能力受外界因素干扰的问题。

公开(公告)号：CN113947127A

公开(公告)日：2022-01-18

申请号：CN202111079583.8

申请日：2021-09-15

Applicant: 复旦大学

Inventor： 张立华 ,  黄帅 ,  杨鼎康 ,  王顺利 ,  邝昊鹏

IPC: G06K9/62 ,  G06V40/16 ,  G10L25/18 ,  G10L25/45 ,  G10L25/63 ,  A61B5/00 ,  A61B5/16 ,  A61B5/369 ,  A61B5/372 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种用于陪伴机器人的多模态情感识别方法和系统，方法包括分别采集面部表情图片、语音信号和脑电信号；提取面部表情的情感特征向量、语音的情感特征向量和脑电信号的特征向量；获取权重矩阵，将各特征向量与权重矩阵相乘，得到融合特征；通过支持向量机实现对于高兴、悲伤、平静和厌恶四类常见情感的分类；通过将情感演化为愉快度‑紧张度‑激动度‑确定度这四个维度，采取多元非线性回归的方式进行情感评分的预测。与现有技术相比，本发明通过信息融合，具有更接近人类的情感识别能力；利用动态更新权重参数的形式，实现自主进化和不断调整情感判别的能力；离散和连续的情感识别，能够实现更加科学、深入的描绘情感变化。

公开(公告)号：CN111920420A

公开(公告)日：2020-11-13

申请号：CN202010740444.4

申请日：2020-07-28

Applicant: 复旦大学

Inventor： 张立华 ,  杨鼎康 ,  邝昊鹏 ,  林野

IPC: A61B5/11 ,  A61B5/16 ,  G06K9/62

Abstract: 本发明涉及一种基于统计学习的患者行为多模态分析与预测系统，包括多模态采集模块、基于姿态的患者行为识别模块、基于生理信号的患者行为识别模块、基于情感信号的患者行为识别模块、基于语音信号的患者行为识别模块和基于多核学习的融合模块；基于多核学习的融合模块包括多核分类器，其训练过程具体为，对各个核函数分别进行训练并组合后，进行整体训练，得到每个核函数的权重系数。与现有技术相比，本发明所运用的多模态数据更接近云计算和大数据背景下患者信息流真实的形态，具有综合性和复杂性，利用多特征多核学习方法，在面对复杂的非线性多模态信息处理时减少了大量信息的损耗，且在处理模态跨度较大的数据时表现较好。

公开(公告)号：CN111881979A

公开(公告)日：2020-11-03

申请号：CN202010739336.5

申请日：2020-07-28

Applicant: 复旦大学

Inventor： 张立华 ,  杨鼎康 ,  张沛轩 ,  翟鹏

IPC: G06K9/62 ,  G06N3/08 ,  G06F9/50

Abstract: 本发明公开了一种基于患者行为的多模态数据标注装置，包括数据采集设备、标注存储器及处理器，还包括预处理服务器、数据库服务器、AI协作服务器和多图半监督学习算法，该算法由预处理模块、审查模块、管理模块以及AI协作模块四个程序模块组成，旨在利用数据采集设备采集的多模态信息进行信息融合，之后通过融合数据的特征构建成图，然后通过融合图上进行半监督学习，在学习过程中实现患者行为多模态数据的自动标注。本发明克服了训练数据不足和数据冗余较大的问题，实现患者行为多模态数据的自动标注，极大地提高了标注精度。