一种基于红外视频与深度学习的手腕脉诊点定位方法

    公开(公告)号:CN118787311A

    公开(公告)日:2024-10-18

    申请号:CN202410742447.X

    申请日:2024-06-11

    Applicant: 复旦大学

    Abstract: 本发明属于计算机图像处理技术领域,具体为基于红外视频与深度学习的手腕脉诊点定位方法。本发明的基本步骤为:数据集中的每个红外视频皆有“寸、关、尺“的二维坐标作为深度学习模型的监督信息。深度学习模型以ResNet‑18作为基线架构,并将ResNet‑18中的二维卷积层、二维最大池化层、二维批归一化层等,以三维卷积层、三维最大池化层、三维批归一化层等作置换。ResNet‑18中每个残差模块结合基于LSTM的时序注意力模块,以特征图作为输入,并输出时序轴的注意力权重分布,让模型专注于信息量较多的特征图,更好地捕捉红外视频的时序信息。最后将待测定的手腕红外视频作为已训练完成的深度学习模型的输入,预测得到手腕脉诊点的坐标。

    一种基于热度图与时序注意力先验的手腕脉诊点定位方法

    公开(公告)号:CN118736006A

    公开(公告)日:2024-10-01

    申请号:CN202410751094.X

    申请日:2024-06-12

    Applicant: 复旦大学

    Abstract: 本发明属于计算机图像处理技术领域,具体为基于热度图与时序注意力先验的手腕脉诊点定位方法。本发明包括:根据红外视频数据集构建寸、关、尺关键点的二维坐标作为监督信息;构建深度学习模型,具体以U‑Net为基线架构,结合时序注意力先验模块;U‑Net编码器提取输入数据的特征,解码器生成热度图,每次上采样后生成的热度图与对应层级特征进行融合,恢复到原分辨率后得到关键点热度图,最后经过关键点拟合得到关键点坐标。时序注意力先验通过跳跃连接与编码器的低级语义特征和解码器的高级语义特征进行特征融合,使模型更好地利用红外视频的时序信息,输出更精确的关键点热度图。最后预测得到手腕脉诊点的热度图,经过关键点拟合得到脉诊点坐标信息。

    基于近红外摄像与深度学习的手腕脉口位置精准定位方法

    公开(公告)号:CN116168077A

    公开(公告)日:2023-05-26

    申请号:CN202211381043.X

    申请日:2022-11-06

    Applicant: 复旦大学

    Abstract: 本发明属于计算机图像处理技术领域,具体为基于近红外摄像与深度学习的人手腕脉口位置精准定位方法。本发明的基本步骤为:基于现有的脉口数据集,以标注坐标为中心生成二维高斯分布,作为本全卷积热度图网络模型的监督信息。网络模型由特征金字塔网络组成,包括编码和解码两个部分,编码部分提取特征自上而下尺度逐渐变小,通道数逐渐增加。解码部分,特征自下而上尺度逐渐变大,通道数逐渐增加,最后的输出通过卷积层和激活层输出当前尺度下每个坐标点是关键点的概率,通过关键点位置拟合方法获取到预测的坐标,得到泛化能力较强的深度学习脉口定位网络模型。最后将拍摄到的手部图像作为预先训练好的深度学习脉口定位网络模型的输入,预测得到手腕脉口在图像上的位置。

    适用于多种棋类的落子策略和局面评估方法

    公开(公告)号:CN110717591B

    公开(公告)日:2023-05-02

    申请号:CN201910929174.9

    申请日:2019-09-28

    Applicant: 复旦大学

    Inventor: 路红 王琳 杨博弘

    Abstract: 本发明属于计算机博弈技术领域,具体为适用于多种棋类的落子策略和局面评估方法。本发明方法包括:通过神经网络预测落子概率和落子估值;使用MCTS算法和Update Board Value算法产生训练数据;通过强化学习方法迭代训练神经网络;最终使用MCTS算法输出落子策略和局面估值。本发明提供了一种对人类友好的、无需知道先手方优势值、适用于多种棋类(如围棋、黑白棋、国际象棋、象棋、国际跳棋)的局面评估函数和落子策略函数。

    基于多头跨模态注意力机制的弱监督视频时序动作定位方法

    公开(公告)号:CN115761904A

    公开(公告)日:2023-03-07

    申请号:CN202211666324.X

    申请日:2022-12-23

    Applicant: 复旦大学

    Abstract: 本发明属于计算机视频分析技术领域,具体为基于多头跨模态注意力机制的弱监督视频时序动作定位方法。本发明方法包括:对输入的未裁剪视频提取RGB特征和FLOW特征,作为多头跨模态注意力机制模型的训练数据;引入并训练深度学习模型,该模型是多头跨模态注意力机制模型,包括利用多个映射头将原始特征转换为多个不同的隐藏空间,以保证特征多样性;引入协相关矩阵,来挖掘RGB与FLOW特征每个头模态之间的关系,通过归一化交叉注意权值对特征进行重新校正;对重新校准的特征进行融合,得到最后的时序动作定位结果。实验表明,本发明具有通用性,可以作为即插即用模块嵌入到弱监督视频时序动作定位方法中,极大提高模型的检测精度。

    基于骨架和视频特征融合的行为分类方法

    公开(公告)号:CN112560618B

    公开(公告)日:2022-09-16

    申请号:CN202011419698.2

    申请日:2020-12-06

    Applicant: 复旦大学

    Abstract: 本发明属于计算机图像处理技术领域,具体为一种基于骨架和视频特征融合的行为分类方法。本发明方法包括:对已有的人类行为视频数据进行预处理,通过人体检测模型和OpenPose分别获取对应的人体检测框和人体骨架数据,作为深度学习模型的训练数据;其中视频数据和人体检测框数据作为前景与背景特征融合网络的输入,骨架特征作为个体与群体特征融合网络的输入;两个网络的输出结果进行平均为最终分类结果;接着对训练集进行监督式学习,得到泛化的深度学习模型;然后,对识别的视频进行和模型训练时一样的预处理,然后作为输入,放进预先训练好深度学习模型里,就能得到行为分类的结果。

    基于近红外摄像与深度学习的人手腕脉口位置精准定位方法

    公开(公告)号:CN114298978A

    公开(公告)日:2022-04-08

    申请号:CN202111493641.1

    申请日:2021-12-08

    Applicant: 复旦大学

    Abstract: 本发明属于计算机图像处理技术领域,具体为基于近红外摄像与深度学习的人手腕脉口位置精准定位方法。本发明的基本步骤为:首先通过近红外相机对多人进行手部图像采样,由专业医生进行脉口位置的标记,作为深度学习脉口定位网络模型的训练数据;然后构建深度学习网络模型,网络模型包括特征提取网络和回归网络,特征提取网络对训练集进行腕部轮廓纹理颜色等特征提取,将提取到的腕部特征通过回归网络进行脉口位置预测,得到泛化能力较强的深度学习脉口定位网络模型;最后将拍摄到的手部图像作为预先训练好的深度学习脉口定位网络模型的输入,预测得到手腕脉口在图像上的位置。本发明方法能以较高的精度找到人手腕的脉口位置,为机器人进行中医脉诊提供实时的视觉定位。

    一种自适应多模态融合的脉搏位置精确定位方法

    公开(公告)号:CN112336318A

    公开(公告)日:2021-02-09

    申请号:CN201910734678.5

    申请日:2019-08-09

    Applicant: 复旦大学

    Abstract: 本发明涉及一种自适应多模态融合的脉搏位置精确定位方法,利用机器视觉、生物信号以及深度学习架构的多模态融合技术,包括如下步骤:步骤S1,搭建数据采集系统,使用相机对志愿者的手腕脉搏处进行拍照,得到多张手腕脉搏照片;步骤S2,对多张手腕脉搏照片的RGB三通道像素进行像素处理,得到第四PPG信号,进而将第四PPG信号经过信号处理得到iPPG信号;步骤S3,将iPPG信号经过模型处理得到手腕脉搏处。

    基于特征金字塔网络的图像关键点检测方法

    公开(公告)号:CN111126412A

    公开(公告)日:2020-05-08

    申请号:CN201911159408.2

    申请日:2019-11-22

    Applicant: 复旦大学

    Abstract: 本发明属于计算机图像处理技术领域,具体为基于特征金字塔网络的图像关键点检测方法。本发明方法包括:通过特征金字塔网络提取高表征性图像特征,对尺度、视角几何变换、光照、模糊等都具备鲁棒性;并生成适用于关键点检测的训练数据集;在训练阶段,灰度图像作为网络模型的输入,使用在ImageNet数据集上预训练得到的权重参数来初始化网络模型参数,使用训练数据集对网络参数进行微调,最后输出和输入图像尺寸相同的概率图,图中的每个值处于0到1之间,值越大代表该点越适合作为关键点;在测试阶段使用非极大值抑制算法来避免响应值大的点堆积在一小部分区域,并且设置不同大小的阈值控制关键点数量,保证关键点质量。

Patent Agency Ranking