-
公开(公告)号:CN115359395A
公开(公告)日:2022-11-18
申请号:CN202210985312.7
申请日:2022-08-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种基于反事实分析的第一视角视频行为预测模型训练方法,采用第一视角视频训练集对预测模型进行多轮迭代训练直至收敛,其中,每轮训练包括:分别提取每个样本的视觉特征和语义特征;分别对视觉特征和语义特征进行编解码处理得到视觉特征对应的下一时刻的高维特征向量和语义特征对应的下一时刻的高维特征向量;基于高维特征向量分别获得下一时刻的反事实预测向量和事实预测向量;从每个样本对应的事实预测向量中按照相似度抠除反事实预测向量得到下一时刻的最终行为预测向量;每个样本的下一时刻的行为对应的最终预测向量与对应下一时刻的行为标签对应的向量之间的交叉熵损失更新预测模型的参数。
-
公开(公告)号:CN114118218A
公开(公告)日:2022-03-01
申请号:CN202111283429.2
申请日:2021-11-01
Applicant: 北京三快在线科技有限公司 , 中国科学院计算技术研究所
Abstract: 本说明书公开了一种模型训练的方法,由于终端可以从待训练模型所需的基础损失函数中,以用于收敛该待训练模型中模型参数的相关项作为导函数,并通过求解出该导函数的方式,得到用于训练待训练模型的实际损失函数,这样可以有效地去除基础损失函数中冗余项对待训练模型过程中的不利影响,从而有效地提高了模型训练的效率。
-
公开(公告)号:CN112906780A
公开(公告)日:2021-06-04
申请号:CN202110171006.5
申请日:2021-02-08
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种果蔬图像分类系统,包括用于提取输入果蔬图像特征图的卷积神经网络、用于识别果蔬图像的低维特征图中的低维关键特征图的低维SCA注意力模块、用于识别果蔬图像的中维特征图中的中维关键特征图的中维SCA注意力模块、用于识别果蔬图像的高维特征图中的高维关键特征图的高维SCA注意力模块、与每一个SCA注意力模块链接的池化层;所述果蔬图像分类系统还包括:多尺度特征融合模块,用于对经池化处理后的低维关键特征图、中维关键特征图、高维关键特征图进行融合处理,生成统一的特征表示;全连接层,用于根据统一的特征表示对果蔬图像进行分类。
-
公开(公告)号:CN111062424A
公开(公告)日:2020-04-24
申请号:CN201911232161.2
申请日:2019-12-05
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供小样本食品图像识别模型训练方法及食品图像识别方法。本发明的模型训练方法包括:利用训练数据集构建包含正、负样本以及锚图像的三元组,输入三元卷积神经网络提取三元组的特征表示;进行特征图融合,获得正负样本图像对特征图;基于所述关系值得分对所述正、负样本图像进行筛选,利用筛选后的正负样本图像对所述特征嵌入网络和关系学习网络进行训练。
-
公开(公告)号:CN117743653A
公开(公告)日:2024-03-22
申请号:CN202311766725.7
申请日:2023-12-21
Applicant: 中国科学院计算技术研究所
IPC: G06F16/9035 , G06F16/36 , G06F16/28
Abstract: 本发明实施例提供了一种个性化食品推荐模型,包括数据获取模块,用于获取包括预设的多个食品实体与其属性实体间的关系的第一知识图谱和包括多个用户实体和多个食品实体间的历史交互关系的第二知识图谱;食品知识图谱处理模块,用于根据与食品实体有关系的属性实体对食品实体进行编码处理,得到食品实体的食品信息编码;食品个性化推荐模块,用于根据多个食品信息编码分别对第二知识图谱中的多个用户实体和多个食品实体进行处理,以确定多个食品实体分别与每个用户实体的匹配分数,根据所述匹配分数为每个用户生成个性化的推荐食品列表;本发明实施例结合食品信息编码和历史交互关系进行多种食品推荐,解决单一推荐时难以平衡偏好和营养等问题。
-
公开(公告)号:CN116434108A
公开(公告)日:2023-07-14
申请号:CN202310232698.9
申请日:2023-03-06
Applicant: 中国科学院计算技术研究所
IPC: G06V20/40 , G06V10/774 , G06V10/74 , G06V10/764 , G06V20/56
Abstract: 本发明提出一种基于循环一致性的第一视角视频行为预测方法和系统,通过在高维特征空间构建过去信息蒸馏损失函数、未来信息蒸馏损失函数、后向‑前向循环一致性损失函数以及前向‑后向循环一致性损失函数,充分学习过去内容和当前观察内容、当前观察内容和未来内容之间的时序上下文关系。在测试时,我们只根据观察内容去预测未来的行为,通过隐式地扩展可观察的时序范围,在一定程度上能够克服难以获取长距离时序信息的客观条件限制,进而利用更多的信息辅助进行行为预测。
-
公开(公告)号:CN111222546B
公开(公告)日:2023-04-07
申请号:CN201911373760.6
申请日:2019-12-27
Applicant: 中国科学院计算技术研究所
IPC: G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/045 , G06N3/047 , G06N3/08
Abstract: 本发明提供一种训练食品图像分类模型的方法,所述方法包括:对食品图像进行多尺度切割,形成包含原图像的多尺度食品切割图像;分别构建多个尺度的卷积神经网络模型,每个卷积神经网络模型对应一个尺度的食品切割图像;利用带有类别标签的食品图像作为目标图像,将其多尺度切割后代入多个尺度的卷积神经网络模型,利用预测的类别概率与真实的类别标签的比对结果作为反馈来进行多个尺度的卷积神经网络模型的优化。本发明创新性地提出了在原图像基础上进行多尺度切割形成多尺度切片的方式题。本发明在多个公共数据集都达到目前最好的识别性能:本发明的方法在公共数据集ETH Food‑101上可以达到90.56%的识别准确率,在公共数据集VireoFood‑172上可以达到90.61%的识别准确率。
-
公开(公告)号:CN114419391A
公开(公告)日:2022-04-29
申请号:CN202111621115.9
申请日:2021-12-27
Applicant: 北京三快在线科技有限公司 , 中国科学院计算技术研究所
IPC: G06V10/774 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种目标图像识别方法及装置、电子设备及可读存储介质。其中,该方法包括:将目标图像输入至预先训练完成的目标图像识别模型;通过目标图像识别模型的特征学习模块,获取目标图像对应的多个不同维度的多个局部特征,以及确定多个局部特征对应的多个第一向量表示;通过目标图像识别模型的特征增强模块,确定多个局部特征对应的第二向量表示;通过目标图像识别模型的特征分类模块,对多个第一向量表示以及第二向量表示进行分类,以得到目标图像的预测结果。本发明解决了由于相关技术中食品图像预测结果准确性低的技术问题。
-
公开(公告)号:CN111046920A
公开(公告)日:2020-04-21
申请号:CN201911152246.X
申请日:2019-11-22
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种训练食品图像分类模型的方法及图像分类方法,所述方法包括:分别构建多尺度的食品原材料神经网络以及多尺度的食品类别神经网络,对目标图像进行多尺度划分;对于目标图像的每种类型特征,分别进行多尺度融合,对于融合后的三种类型特征进行融合;将融合后的特征输入到基于融合特征的分类器进行分类。本发明创新性地提出了高级食品语义分布和深度视觉特征的互补性融合,并且进一步将原材料属性信息与高级食品语义分布和深度视觉特征进行融合,解决了食品图像的非刚性结构和几何变形问题,更加有利于食品图像的识别。并且,本发明通过多尺度融合方式,弥补了食品图像不具备空间排列特性的缺陷,最大限度地提高了分类性能。
-
-
-
-
-
-
-
-