一种多模态大模型对抗安全检测系统及方法

    公开(公告)号:CN118916833A

    公开(公告)日:2024-11-08

    申请号:CN202410952564.9

    申请日:2024-07-16

    Applicant: 浙江大学

    Abstract: 本发明公开了一种多模态大模型对抗安全检测系统及方法,旨在评估多模态大模型的鲁棒性和对抗安全性;本发明通过单模态编码器对输入数据进行处理,并对所得到的嵌入表示施加对抗性扰动,以削弱多模态数据间的协同一致性,从而构造多模态对抗样本,用于检测多模态大模型在执行下游任务时的准确性。本发明适用于非白盒测试场景,有效降低了模型安全性评估的难度,提升了评估的普适性;所提出的多模态对抗样本协同生成方案,能够有效利用各模态数据间的潜在联系,实现更为全面的对抗安全检测;此外,本发明具备良好的可扩展性,支持包括文本与图像、文本与音频、文本与无声视频等多种多模态数据的对抗样本生成。

    一种基于时间嵌入表示和频域信息的网络攻击检测方法

    公开(公告)号:CN118740498A

    公开(公告)日:2024-10-01

    申请号:CN202411005175.1

    申请日:2024-07-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于时间嵌入和频域信息的网络攻击检测方法;该方法基于流量的时域和频域特征学习正常流量的分布模式,并依此对攻击流量进行检测。首先流量采集处理模块采集和解析原始比特流,然后流量特征提取模块提取其特征,随后特征学习模块分别对流量的频域特征和经过时间嵌入的时序特征进行学习,最后威胁检测模块充分融合两部分特征,并以此对流量进行重构和异常评分。该方法融合了流量序列在时域和频域上的分布特征,降低了噪音数据的影响,强化了流量的时序特征关联,因此可以有效地提升检测的准确率。

    一种基于跨协议层融合的车载CAN总线入侵检测系统

    公开(公告)号:CN117857145A

    公开(公告)日:2024-04-09

    申请号:CN202311758541.6

    申请日:2023-12-20

    Applicant: 浙江大学

    Abstract: 本发明提供了一种基于跨协议层融合的车载CAN总线入侵检测系统,本发明通过基于跨协议层融合物理层电压特征,不仅能够有效提升识别应用层的多种攻击的准确率,还能对链路层的Bus off攻击进行有效检测,填补了多数现有方案的盲区,显示了其高度的适应性和稳健性。本发明跨层次的特征融合能够提供更全面的保护,可以在更早的阶段发现和防止攻击,从而大大提高汽车网络的安全性。

    一种基于语义空间扰动的语音识别模型安全性测评方法

    公开(公告)号:CN116758899B

    公开(公告)日:2023-10-13

    申请号:CN202311008778.2

    申请日:2023-08-11

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于语义空间扰动的语音识别模型安全性测评方法,包括(1)选择目标指令,将指令文本输入给预训练语音合成模型获得命令的原始语义特征、原始梅尔频谱和原始对齐信息;(2)初始化特征扰动为0;(3)将特征扰动加到命令的原始语义特征上,将加扰后的语义特征输入给语音合成模型的解码器,获得新的梅尔频谱和新的对齐信息;(4)将获得的梅尔频谱进行模糊化,并输入声码器获得音频;(5)将音频输入给待测目标语音识别模型获得识别结果;(6)如果识别结果和目标命令相同则保留音频;(7)计算损失并更新特征扰动;(8)回到步骤(3)直到扰动超过阈值或到达最大迭代次数;(9)检查最终是否通过步骤(6)保留了音频。

    一种基于语义空间扰动的语音识别模型安全性测评方法

    公开(公告)号:CN116758899A

    公开(公告)日:2023-09-15

    申请号:CN202311008778.2

    申请日:2023-08-11

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于语义空间扰动的语音识别模型安全性测评方法,包括(1)选择目标指令,将指令文本输入给预训练语音合成模型获得命令的原始语义特征、原始梅尔频谱和原始对齐信息;(2)初始化特征扰动为0;(3)将特征扰动加到命令的原始语义特征上,将加扰后的语义特征输入给语音合成模型的解码器,获得新的梅尔频谱和新的对齐信息;(4)将获得的梅尔频谱进行模糊化,并输入声码器获得音频;(5)将音频输入给待测目标语音识别模型获得识别结果;(6)如果识别结果和目标命令相同则保留音频;(7)计算损失并更新特征扰动;(8)回到步骤(3)直到扰动超过阈值或到达最大迭代次数;(9)检查最终是否通过步骤(6)保留了音频。

    基于跨领域自适应的深度伪造语音检测方法

    公开(公告)号:CN116153331A

    公开(公告)日:2023-05-23

    申请号:CN202211533985.5

    申请日:2022-12-01

    Abstract: 本发明公开了一种基于跨领域自适应的深度伪造语音检测方法及装置,涉及语音检测技术领域。该方法包括:获取跨语种音频数据集;从跨语种音频数据集随机抽取的包含源语种及目标语种真伪音频数据的N个音频数据输入至特征提取器进行音频特征提取;将音频特征分别输入至真伪分类器、语种分类器、差异测量器,计算得到真伪分类损失参数、语种分类损失参数和语种间特征差异损失参数;根据真伪分类损失参数、语种分类损失参数和语种间特征差异损失参数,以减小总损失为优化目标,采用优化算法对神经网络模型进行参数优化及更新;重复上述步骤得到深度伪造语音检测模型,通过该深度伪造语音检测模型可实现对不同语种待测音频数据真伪的精确识别。

    一种针对受软件噪声影响的相机指纹的匹配方法及装置

    公开(公告)号:CN115830650A

    公开(公告)日:2023-03-21

    申请号:CN202211715794.0

    申请日:2022-12-29

    Abstract: 本发明公开了一种针对受软件噪声影响的相机指纹的匹配方法及装置,该方法包括:获取待测图像Iq和目标匹配相机指纹Kr;根据所述待测图像Iq,提取对应的待测相机指纹Kq并与目标匹配相机指纹Kr计算基本相似度Cor_pair;估计目标匹配相机指纹Kr对应的设备型号和拍摄软件的软件噪声相似度Cor_software_noise;计算Cor_pair与Cor_software_noise的比值Ratio作为新的相机指纹相似度,并将比值Ratio与预设阈值对比,得到匹配结果。通过计算待测相机指纹与同型号其他设备相机指纹计算相似度并取平均值,估计软件噪声对相似度的影响程度,避开逆向工程等复杂方案推导软件噪声的产生过程。同时,通过比值的方式得出Ratio,直接判别待测相机指纹与目标匹配相机指纹之间的相似度中存不存在相同成分,得出匹配结果。

    一种基于触觉响应的指纹防伪系统

    公开(公告)号:CN115661873A

    公开(公告)日:2023-01-31

    申请号:CN202211254289.0

    申请日:2022-10-13

    Inventor: 林峰 沈轶杰 任奎

    Abstract: 本发明公开了一种基于触觉响应的指纹防伪系统,包括用于采集指纹信息的终端传感器和通过指纹信息判断指纹真假的识别模型;终端传感器包括指纹按压传感膜,采集控制单元以及图像采集器,指纹按压传感膜用于贴合手指生成形变的指纹轮廓,采集控制单元根据指纹按压传感膜的压力变化情况控制图像采集器的工作状态,图像采集器包括相机和至少三个环设在相机镜头周向的点光源发射器,相机用于获取不同角度点光源下的指纹轮廓图,并输出对应的图像数据至识别模型;识别模型对图像采集器采集获得的图像数据进行分析,以输出指纹真假的识别结果。本发明提供的系统可以分辨出假指纹或/和假手指,从而提高指纹的识别准确率。

    多发声者发声运动特征波形的获取方法及装置、电子设备

    公开(公告)号:CN113257271B

    公开(公告)日:2023-01-10

    申请号:CN202110534901.9

    申请日:2021-05-17

    Applicant: 浙江大学

    Abstract: 本申请公开了一种多发声者发声运动特征波形的获取方法及装置、电子设备,该方法包括:采集空间中的回波信号,其中所述回波信号由频率调制后的连续波感知空间中多个发声者喉咙振动所返回的信号,所述频率调制后的周期性连续波由调频连续波雷达发射;对所述回波信号的每一个周期的波形进行傅里叶变换,得到频谱图集S1;从所述频谱图集S1中定位各个发声者所在频点;根据所述各个发声者所在频点提取各个发声者喉咙振动的特征波形。

    一种基于惯性测量单元共振特征的手机牧场检测与标定方法

    公开(公告)号:CN113055889B

    公开(公告)日:2022-06-14

    申请号:CN202110138542.5

    申请日:2021-02-01

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于惯性测量单元共振特征的手机牧场检测与标定方法,该方法基于手机牧场中设备物理空间相邻的特性,在移动应用权限受限的情况下,基于陀螺仪对特定频段声波的敏感性检测是否存在设备集群,并利用惯性测量单元共振的频谱特性构成独有的设备指纹对该集群设备进行标定。当同一个集群中有一个设备出现高风险行为,则整个集群设备均视为高风险设备并限制其功能。本发明利用手机牧场中设备物理空间相邻的特性,结合惯性测量单元对声波的敏感性,检测手机牧场并标定设备,降低黑灰产对企业活动的危害。

Patent Agency Ranking