公开(公告)号：CN118194305A

公开(公告)日：2024-06-14

申请号：CN202410459109.5

申请日：2024-04-16

Applicant: 中国科学院计算技术研究所

Inventor： 曹婍 ,  刘旭超 ,  张凯科 ,  苏度 ,  沈华伟

IPC: G06F21/57 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/045 ,  G06V10/82 ,  G06N3/048

Abstract: 本发明提出一种基于神经网络表示的神经网络模型后门检测方法和装置，包括：根据神经网络模型中每个操作单元的操作类型和在计算流图中的位置，提取该神经网络模型的结构特征；根据神经网络模型中每个操作单元的参数矩阵，提取该神经网络模型的参数特征；结合该结构特征和该参数特征，得到该神经网络模型的表示特征；使用该表示特征训练后门检测器，将待后门检测的神经网络模型的表示特征输入训练完成后的后门检测器，得到其是否具有后门的后门检测结果。本发明可应用于图像识别领域，以提高图像分类模型的分类准确性和安全性，避免图像分类模型对特殊图像给出错误图像分类结果。

公开(公告)号：CN118193995A

公开(公告)日：2024-06-14

申请号：CN202410323557.2

申请日：2024-03-20

Applicant: 中国科学院计算技术研究所

Inventor： 曹婍 ,  刘元浩 ,  沈华伟 ,  张凯科 ,  伍云帆 ,  程学旗

IPC: G06F18/21 ,  G06F18/22 ,  G06F18/241 ,  G06Q30/0601 ,  G06F16/532 ,  G06F16/583 ,  G06F16/9532 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明提出一种人工智能模型的个体公平性度量方法，包括：根据人工智能模型的数据的输入数据范围，构建人工智能模型的输入样本集合；从输入样本集合中选择样本构成样本对，计算样本对中两样本间的样本相似性，将样本对中样本分别输入人工智能模型，得到样本对经过人工智能模型处理的结果对，计算结果对中结果间的结果相似性，判断结果相似性和样本相似性的差异绝对值是否低于阈值，若是则为样本对分配代表公平对待的公平性度量结果，否则为样本对分配代表不公平对待的公平性度量结果；重复多次公平性确定步骤，得到公平性报告，公平性报告包含多个样本对及各样本对的公平性度量结果。本发明可揭示和证明人工智能模型算法中存在的个体不公平现象。

公开(公告)号：CN117273073A

公开(公告)日：2023-12-22

申请号：CN202211061838.2

申请日：2022-08-31

Applicant: 腾讯科技(深圳)有限公司 ,  中国科学院计算技术研究所

Inventor： 曹婍 ,  张凯科 ,  方高林 ,  邹红建 ,  徐冰冰 ,  沈华伟 ,  程学旗 ,  王巨宏 ,  杜西库

IPC: G06N3/0464 ,  G06N3/049 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/094

Abstract: 本发明实施例公开了基于网络表示的训练方法、系统及存储介质和终端设备，应用于信息处理技术领域。基于网络表示的训练系统会将动态网络表示模型分为两个部分，即稳定特征模块和动态特征模块，从而通过多个时刻的样本网络来分别调整稳定特征模块和动态特征模块，从而通过稳定特征模块获取动态网络中各节点的稳定特征，通过动态特征模块获取动态网络中各节点的动态特征。训练的动态网络表示模型中的稳定特征模块和动态特征模块，针对性地对动态网络的各个节点中基于时序不变的特征与基于时序可变的特征进行分离表示，以面对不同的下游任务时可采用不同的侧重方，比如预测节点随时间不变的性质时可以采用稳定特征模块获取的稳定特征等。