公开(公告)号：CN114004340A

公开(公告)日：2022-02-01

申请号：CN202111344376.0

申请日：2021-11-15

Applicant: 南开大学

Inventor： 张魏杰 ,  过辰楷 ,  朱静雯 ,  许静 ,  宫熙琳 ,  魏宇航

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明实施例提供一种基于序列变换的循环神经网络可解释性方法、系统，包括：获取用户选择的待解释模型和预期输入至待解释模型的原输入、各组件的序列；计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释；计算各个组件对应的组件中心重要性；从组件中心重要性数据库中获取与各组件的序列相似的数据；获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，确定原输入中最关键的输入序列；确定待解释模型对于所计算的原输入的结果的解释。本发明可以探索多个输入序列对循环神经网络计算过程的影响，并将模型的计算过程和其训练过程联系起来，获知训练集对计算产生影响的部分。

公开(公告)号：CN114004340B

公开(公告)日：2024-06-07

申请号：CN202111344376.0

申请日：2021-11-15

Applicant: 南开大学

Inventor： 张魏杰 ,  过辰楷 ,  朱静雯 ,  许静 ,  宫熙琳 ,  魏宇航

IPC: G06N3/044 ,  G06N3/126

Abstract: 本发明实施例提供一种基于序列变换的循环神经网络可解释性方法、系统，包括：获取用户选择的待解释模型和预期输入至待解释模型的原输入、各组件的序列；计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释；计算各个组件对应的组件中心重要性；从组件中心重要性数据库中获取与各组件的序列相似的数据；获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，确定原输入中最关键的输入序列；确定待解释模型对于所计算的原输入的结果的解释。本发明可以探索多个输入序列对循环神经网络计算过程的影响，并将模型的计算过程和其训练过程联系起来，获知训练集对计算产生影响的部分。