一种多尺度融合的食品图像分类模型训练及图像分类方法

    公开(公告)号:CN111222546A

    公开(公告)日:2020-06-02

    申请号:CN201911373760.6

    申请日:2019-12-27

    Abstract: 本发明提供一种训练食品图像分类模型的方法,所述方法包括:对食品图像进行多尺度切割,形成包含原图像的多尺度食品切割图像;分别构建多个尺度的卷积神经网络模型,每个卷积神经网络模型对应一个尺度的食品切割图像;利用带有类别标签的食品图像作为目标图像,将其多尺度切割后代入多个尺度的卷积神经网络模型,利用预测的类别概率与真实的类别标签的比对结果作为反馈来进行多个尺度的卷积神经网络模型的优化。本发明创新性地提出了在原图像基础上进行多尺度切割形成多尺度切片的方式题。本发明在多个公共数据集都达到目前最好的识别性能:本发明的方法在公共数据集ETH Food-101上可以达到90.56%的识别准确率,在公共数据集VireoFood-172上可以达到90.61%的识别准确率。

    多任务智能膳食管理方法、装置、存储介质、计算机设备

    公开(公告)号:CN118486430A

    公开(公告)日:2024-08-13

    申请号:CN202410715987.9

    申请日:2024-06-04

    Abstract: 本发明提出一种多任务智能膳食管理方法、装置、存储介质、计算机设备,该方法包含:构建专门面向食品领域的食品多模态基础模型;将该食品多模态基础模型中融合多模态数据融合模块,以食品图像与膳食问题共同作为多模态输入,输出膳食上下文Token;将该食品多模态基础模型中融合多个细粒度食品分析模块,依据该膳食上下文Token,对不同类别的食品进行细粒度的特征提取,输出细粒度食品特征分析结果;依据该细粒度食品特征分析结果以及该膳食上下文Token,利用问答模型生成膳食回答。该方法通过精确定位用户的膳食问题,匹配精准的膳食回答,提高了膳食场景下膳食管理的准确性,同时提高了用户饮食体验。

    一种用于食品图像分类的模型的训练方法和图像检索方法

    公开(公告)号:CN115797924A

    公开(公告)日:2023-03-14

    申请号:CN202211579758.6

    申请日:2022-12-06

    Abstract: 一种用于食品图像分类的模型的训练方法,所述模型包括特征提取器和分类器,所述方法包括:S1、获取包含多个样本和对应标签的初始的训练集并将其划分为多个批次,在每个批次基于当前批次中的样本构建多个包含锚样本、正样本和负样本的三元组,其中,每个样本为一张食品图像,样本对应的标签指示食品图像的类别;S2、对初始的训练集的每个批次选定部分三元组进行优化,优化时将选定的三元组的负样本用其正样本替代并将选定的三元组的正样本用其锚样本替代以得到优化的三元组,基于优化的三元组与未选定的三元组构成优化的训练集;S3、利用优化的训练集训练用于提取样本特征的特征提取器以及用于根据样本特征对样本进行分类的分类器进行分批次训练。

    一种食品检测系统、模型训练方法和食品检测方法

    公开(公告)号:CN115862005A

    公开(公告)日:2023-03-28

    申请号:CN202211698870.1

    申请日:2022-12-28

    Abstract: 本发明提供了一种食品检测系统、模型训练方法和食品检测方法,该系统包括基于神经网络构建的特征提取器和检测头,其中,特征提取器,用于根据多个处理层对输入的图像进行特征提取以得到图像特征,其中至少部分处理层为动态可变形卷积层,动态可变形卷积层包括多个可变形共享块,每个可变形共享块包括用于确定与输入的图像适配的变形参数的变形单元和多个用于根据该变形单元的变形参数调整卷积形态的动态卷积分支;检测头,用于根据图像特征对输入的图像进行检测,确定输入的图像中食品的位置区域和各位置区域对应的食品类别;本发明可提高食品检测模型的检测性能。

    一种第一视角视频行为预测系统及方法

    公开(公告)号:CN112183391A

    公开(公告)日:2021-01-05

    申请号:CN202011059356.4

    申请日:2020-09-30

    Abstract: 本发明一种第一视角视频行为预测系统,用于根据已有的视频进行行为预测,所述系统包括:视觉特征提取模块,用于提取已有视频中的视觉特征;基于直觉的预测模块,用于根据视觉特征提取模块提取到的视觉特征进行基于直觉的预测,得到第一预测结果;基于分析推理的预测模块,用于根据视觉特征提取模块提取到的视觉特征进行基于分析推理的预测,得到第二预测结果;自适应融合模块,用于采用注意力机制将将第一预测结果和第二预测结果进行有机融合,得到最终的行为预测结果。本发明将基于直觉的和基于分析推理的预测进行有机的结合,有效的缓解了“视觉鸿沟“问题,能更直接的从人类心理角度出发,更准确的预测其下一步动作,准确率更高,为实际工程应用提供更全面的支撑。

    图像标注方法和电子设备

    公开(公告)号:CN105426925B

    公开(公告)日:2019-03-08

    申请号:CN201511001231.5

    申请日:2015-12-28

    Abstract: 本发明提供一种图像标注方法和电子设备。所述方法包括:获取要标注的第一图像;获取与所述第一图像相关的多种不同类型的信息,所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型;根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测,以获得所述第一图像的每个抽象概念类型的概率分布;确定每个抽象概念类型之间的相关性;以及根据确定的相关性,最大化各个抽象概念类型的联合概率,从而确定所述第一图像的标注结果。

    图像标注方法和电子设备

    公开(公告)号:CN105426925A

    公开(公告)日:2016-03-23

    申请号:CN201511001231.5

    申请日:2015-12-28

    CPC classification number: G06K9/00671 G06K9/6277

    Abstract: 本发明提供一种图像标注方法和电子设备。所述方法包括:获取要标注的第一图像;获取与所述第一图像相关的多种不同类型的信息,所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型;根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测,以获得所述第一图像的每个抽象概念类型的概率分布;确定每个抽象概念类型之间的相关性;以及根据确定的相关性,最大化各个抽象概念类型的联合概率,从而确定所述第一图像的标注结果。

Patent Agency Ranking