公开(公告)号：CN113407794B

公开(公告)日：2023-10-31

申请号：CN202110608491.8

申请日：2021-06-01

Applicant: 中国科学院计算技术研究所

Inventor： 王树徽 ,  韩歆哲 ,  黄庆明

IPC: G06F16/9032 ,  G06F30/27 ,  G06N20/00

Abstract: 一种用于抑制语言偏差的贪心梯度集成方法，其特征在于，包括下列步骤：将视觉问答任务建模为一加性模型，该加性模型分为广义相加的基础模型与偏差模型；对该加性模型各部逐一进行优化，先对偏差模型进行优化，利用二值交叉熵损失函数求该偏差模型最小损失：将m(m∈N*)个偏差模型函数代入二值交叉熵损失函数，对该二值交叉熵损失函数求负梯度以获得第m+1偏差模型函数的优化方向；优化该所有偏差模型后，以所有偏差模型的负梯度为监督，再对该基础模型进行优化。

公开(公告)号：CN117151225A

公开(公告)日：2023-12-01

申请号：CN202311042747.9

申请日：2023-08-18

Applicant: 中国科学院计算技术研究所

Inventor： 王树徽 ,  甘婧儒 ,  韩歆哲 ,  黄庆明

IPC: G06N5/04 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/0495 ,  G06N3/082 ,  G06V10/70 ,  G06V10/82 ,  G06F16/332 ,  G06F16/36 ,  G06N5/022 ,  G06F40/30

Abstract: 本发明提供了一种基于路径推理的开放视觉问答的系统，包括：模式图构建模块，用于根据输入的图像和针对该图像提出的问题文本，构建第二模式图；剪枝网络，包括节点编码器和剪枝层，节点编码器，用于根据图像、问题文本以及各个节点的类型提取节点的嵌入向量；剪枝层，用于对第二模式图进行剪枝，得到第三模式图；路径推理网络，包括路径编码器、双线性层和输出层，路径编码器确定候选推理路径的嵌入向量，双线性层，用于确定各候选推理路径的嵌入向量与多模态上下文特征的匹配概率，输出层，用于根据各候选推理路径对应的匹配概率确定推理结果。

公开(公告)号：CN113407794A

公开(公告)日：2021-09-17

申请号：CN202110608491.8

申请日：2021-06-01

Applicant: 中国科学院计算技术研究所

Inventor： 王树徽 ,  韩歆哲 ,  黄庆明

IPC: G06F16/9032 ,  G06F30/27 ,  G06N20/00

Abstract: 一种用于抑制语言偏差的贪心梯度集成方法，其特征在于，包括下列步骤：将视觉问答任务建模为一加性模型，该加性模型分为广义相加的基础模型与偏差模型；对该加性模型各部逐一进行优化，先对偏差模型进行优化，利用二值交叉熵损失函数求该偏差模型最小损失：将m(m∈N*)个偏差模型函数代入二值交叉熵损失函数，对该二值交叉熵损失函数求负梯度以获得第m+1偏差模型函数的优化方向；优化该所有偏差模型后，以所有偏差模型的负梯度为监督，再对该基础模型进行优化。