-
公开(公告)号:CN118762037B
公开(公告)日:2024-11-08
申请号:CN202411216338.0
申请日:2024-09-02
Applicant: 江南大学
Abstract: 本发明涉及图像语义分割技术领域,尤其是指一种基于邻域与形变注意力协同作用的食品分割方法及装置,包括:构建食品分割模型,所述食品分割模型包括依次连接的编码器、多尺度处理器、解码器和分割器;所述编码器包括多个阶段,每个阶段包括下采样模块、多个由邻域模块和膨胀邻域模块组成的串联结构;所述多尺度处理器包括依次连接的维度一致模块、若干个多尺度可形变模块和维度恢复模块;将原始食品图像输入食品分割模型,输出目标食品分割图像。本发明使用邻域注意力和多尺度形变注意力协同作用的特征提取方式,提供了更加精细的食材决策边界,实现对食物边界和形状更有效处理。
-
公开(公告)号:CN118981549B
公开(公告)日:2025-01-03
申请号:CN202411226525.7
申请日:2024-09-03
Applicant: 江南大学
IPC: G06F16/583 , G06N3/042 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/096 , G06V10/40 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 本发明属于跨模态检索技术领域,涉及一种基于类代理蒸馏的零样本草图图像检索方法;获取草图样本及对应的图片样本;利用预训练好的教师模型提取草图样本的第一语义特征向量和第一视觉特征向量、图片样本的第二语义特征向量和第二视觉特征向量;将第一语义特征向量和第二视觉特征向量融合得到目标第一融合特征向量,将第二语义特征向量和第一视觉特征向量融合得到目标第二融合特征向量;将草图样本和图片样本输入学生模型,输出草图特征向量和图片特征向量;构建损失函数并对学生模型进行迭代训练,直到损失函数的值最小,得到训练好的学生模型。通过融合语义特征和视觉特征,为草图和图片的匹配提供更丰富的特征信息,提高检索结果的精确度。
-
公开(公告)号:CN118981549A
公开(公告)日:2024-11-19
申请号:CN202411226525.7
申请日:2024-09-03
Applicant: 江南大学
IPC: G06F16/583 , G06N3/042 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/096 , G06V10/40 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 本发明属于跨模态检索技术领域,涉及一种基于类代理蒸馏的零样本草图图像检索方法;获取草图样本及对应的图片样本;利用预训练好的教师模型提取草图样本的第一语义特征向量和第一视觉特征向量、图片样本的第二语义特征向量和第二视觉特征向量;将第一语义特征向量和第二视觉特征向量融合得到目标第一融合特征向量,将第二语义特征向量和第一视觉特征向量融合得到目标第二融合特征向量;将草图样本和图片样本输入学生模型,输出草图特征向量和图片特征向量;构建损失函数并对学生模型进行迭代训练,直到损失函数的值最小,得到训练好的学生模型。通过融合语义特征和视觉特征,为草图和图片的匹配提供更丰富的特征信息,提高检索结果的精确度。
-
公开(公告)号:CN118762037A
公开(公告)日:2024-10-11
申请号:CN202411216338.0
申请日:2024-09-02
Applicant: 江南大学
Abstract: 本发明涉及图像语义分割技术领域,尤其是指一种基于邻域与形变注意力协同作用的食品分割方法及装置,包括:构建食品分割模型,所述食品分割模型包括依次连接的编码器、多尺度处理器、解码器和分割器;所述编码器包括多个阶段,每个阶段包括下采样模块、多个由邻域模块和膨胀邻域模块组成的串联结构;所述多尺度处理器包括依次连接的维度一致模块、若干个多尺度可形变模块和维度恢复模块;将原始食品图像输入食品分割模型,输出目标食品分割图像。本发明使用邻域注意力和多尺度形变注意力协同作用的特征提取方式,提供了更加精细的食材决策边界,实现对食物边界和形状更有效处理。
-
-
-