公开(公告)号：CN118261971A

公开(公告)日：2024-06-28

申请号：CN202211630205.9

申请日：2022-12-19

Applicant: 上海交通大学 ,  中央广播电视总台

Inventor： 谢伟迪 ,  安桂霞 ,  张杨 ,  姚莉 ,  周沁也 ,  李紫一 ,  张小云

IPC: G06T7/73 ,  G06T11/60 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于生成模型的图像物体定位方法和系统，包括：对于生成模型从噪声和文本提示合成图片的生成过程利用图像特征提取网络获取过程中的图像特征；对于文本提示中的某个特定物体类别利用文本编码器提取文本特征；使用跨模态特征对齐网络对文本特征和图像特征进行对齐，获取对齐后的表示；利用多层感知机网络将对齐后的表示映射为图像掩码。本发明能够利用自然图像生成过程中的特征表示，通过与对应物体类别的文本特征进行对齐来获取物体的定位信息，在生成图片的同时得到对应物体的掩码。

公开(公告)号：CN115858817A

公开(公告)日：2023-03-28

申请号：CN202211690422.7

申请日：2022-12-27

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  吴超逸 ,  张小嫚 ,  谢伟迪 ,  张娅

IPC: G06F16/36 ,  G06F40/295 ,  G06F18/25 ,  G06N3/09 ,  G06F18/214

Abstract: 本发明涉及医学人工智能技术领域，具体公开了一种医学知识增强的图文预训练系统及方法，所述系统包括：数据获取模块，用于获取一辆数据中的文本‑图像数据对；三元组化理模块；用于对于数据获取模块的医学文本进行三元组化的预处理，其中三元组包含三个部分：实体名称、实体位置、实体存在与否；多模态融合训练模块，用于对图像进行编码并结合实体描述内容，通过融入编码器。本发明利用医学实体过滤技术重构出的实体层面的全新医疗预训练范式；利用医学描述编码的医学图文预训练的知识融合技术；利用transformer结构实现的预训练系统中较好的病灶定位功能。

公开(公告)号：CN118196785A

公开(公告)日：2024-06-14

申请号：CN202410158863.5

申请日：2024-02-04

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  周晓 ,  张小嫚 ,  吴超逸 ,  谢伟迪 ,  张娅

IPC: G06V20/69 ,  G06V10/82 ,  G06N5/02 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/09

Abstract: 本发明涉及一种基于医疗知识增强的组织病理切片自动识别方法与系统，方法包括：获取人体组织架构以及疾病属性；采用知识编码器对疾病属性特征进行编码，得到表征向量，以每类疾病属性特征的表征向量的相似度、不同疾病属性特征的表征向量的差异度作为度量学习损失，对知识编码器进行训练；构建图像编码器和文本编码器；获取病理图像和文本对，分别输入三种编码器中，并对输出的编码结果进行交叉对比，构建总损失，从而对图像编码器和文本编码器进行训练；获取病理图像和对应的模板化疾病名称集合，分别输入图像编码器和文本编码器中，获取识别结果。与现有技术相比，本发明对病理图像块的诊断任务取得了更加优异和稳定的性能。

公开(公告)号：CN116665877A

公开(公告)日：2023-08-29

申请号：CN202310100048.9

申请日：2023-02-09

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  张小嫚 ,  吴超逸 ,  谢伟迪 ,  张娅

IPC: G16H50/20 ,  G16H50/70 ,  G06F40/295 ,  G06F16/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及智能系统技术领域，提出一种医学知识增强的胸片自动诊断系统，该系统摆阔第一模块，被配置为提供知识增强的文本编码器φtext，其根据医疗知识库来进行构造，其中所述文本编码器φtext被配置为进行第一阶段预训练；第二模块，被配置为提供图像编码器φimage，其被配置为于第一阶段预训练后的文本编码器φtext进行对比学习；以及第三模块，被配置为提供疾病查询网络φDQN，其被配置为进行疾病预测，其中图像编码器φimage、第一阶段预训练后的文本编码器φtext、疾病查询网络φDQN被配置为进行第二阶段预训练。本发明基于专业医疗知识库，通过对比学习技术对医疗术语建模，进一步实现知识增强的基于胸片和诊断报告的自动诊断系统，在多种医疗场景下取得了显著的效果提升。

公开(公告)号：CN115272941A

公开(公告)日：2022-11-01

申请号：CN202211056034.3

申请日：2022-08-31

Applicant: 上海交通大学

Inventor： 张娅 ,  鞠陈 ,  郑锟浩 ,  刘金祥 ,  谢伟迪 ,  王延峰

IPC: G06V20/40 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774 ,  G06V10/764 ,  G06V10/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种弱监督视频时序动作检测与分类方法及系统，包括：根据输入长视频提取单模态特征图；将单模态特征图映射为动作分类概率和动作定位概率图；基于动作定位概率图蒸馏背景伪标签；根据输入长视频和动作名称列表提取视觉特征图和文本特征图；计算动作检测概率图；基于动作检测概率图蒸馏前景伪标签；根据背景伪标签对动作定位进行背景协同优化；根据前景伪标签对动作检测进行前景协同优化；基于动作分类概率产生视频分类结果，基于动作定位概率图产生视频检测结果。本发明采用蒸馏协同的策略，促使单模态和跨模态框架优势互补，实现更完整且准确的时序动作检测和分类。