公开(公告)号：CN118486430A

公开(公告)日：2024-08-13

申请号：CN202410715987.9

申请日：2024-06-04

Applicant: 中国科学院计算技术研究所

Inventor： 闵巍庆 ,  周鹏飞 ,  金颖 ,  蒋树强

IPC: G16H20/60 ,  G06F18/25 ,  G06F16/332 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提出一种多任务智能膳食管理方法、装置、存储介质、计算机设备，该方法包含：构建专门面向食品领域的食品多模态基础模型；将该食品多模态基础模型中融合多模态数据融合模块，以食品图像与膳食问题共同作为多模态输入，输出膳食上下文Token；将该食品多模态基础模型中融合多个细粒度食品分析模块，依据该膳食上下文Token，对不同类别的食品进行细粒度的特征提取，输出细粒度食品特征分析结果；依据该细粒度食品特征分析结果以及该膳食上下文Token，利用问答模型生成膳食回答。该方法通过精确定位用户的膳食问题，匹配精准的膳食回答，提高了膳食场景下膳食管理的准确性，同时提高了用户饮食体验。

公开(公告)号：CN115862005A

公开(公告)日：2023-03-28

申请号：CN202211698870.1

申请日：2022-12-28

Applicant: 中国科学院计算技术研究所

Inventor： 闵巍庆 ,  刘春霖 ,  周鹏飞 ,  刘涛 ,  蒋树强

IPC: G06V20/68 ,  G06V10/44 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明提供了一种食品检测系统、模型训练方法和食品检测方法，该系统包括基于神经网络构建的特征提取器和检测头，其中，特征提取器，用于根据多个处理层对输入的图像进行特征提取以得到图像特征，其中至少部分处理层为动态可变形卷积层，动态可变形卷积层包括多个可变形共享块，每个可变形共享块包括用于确定与输入的图像适配的变形参数的变形单元和多个用于根据该变形单元的变形参数调整卷积形态的动态卷积分支；检测头，用于根据图像特征对输入的图像进行检测，确定输入的图像中食品的位置区域和各位置区域对应的食品类别；本发明可提高食品检测模型的检测性能。