-
公开(公告)号:CN119314497A
公开(公告)日:2025-01-14
申请号:CN202411834367.3
申请日:2024-12-13
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G10L19/018
Abstract: 本申请涉及一种面向语音合成系统的模型水印方法、装置、计算机设备和存储介质,其中,该方法包括:基于预训练的语音合成模型和微调的说话人识别模型,构建域内的水印触发样本;并基于水印触发样本构建对应的水印植入数据集;基于微调的说话人识别模型,将水印植入数据集植入语音合成模型,得到标记化模型;基于标记化模型,筛选出目标水印触发样本。通过本申请,解决了相关技术中存在水印与语音合成主任务关联性不强,导致水印在模型微调过程中易丢失,利用构建域内的水印触发样本,从数据层面强迫水印触发任务与模型主任务之间的强耦合,提高标记化模型中水印的鲁棒性,使得目标水印触发样本保持稳定性和有效性。
-
公开(公告)号:CN119314497B
公开(公告)日:2025-04-01
申请号:CN202411834367.3
申请日:2024-12-13
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G10L19/018
Abstract: 本申请涉及一种面向语音合成系统的模型水印方法、装置、计算机设备和存储介质,其中,该方法包括:基于预训练的语音合成模型和微调的说话人识别模型,构建域内的水印触发样本;并基于水印触发样本构建对应的水印植入数据集;基于微调的说话人识别模型,将水印植入数据集植入语音合成模型,得到标记化模型;基于标记化模型,筛选出目标水印触发样本。通过本申请,解决了相关技术中存在水印与语音合成主任务关联性不强,导致水印在模型微调过程中易丢失,利用构建域内的水印触发样本,从数据层面强迫水印触发任务与模型主任务之间的强耦合,提高标记化模型中水印的鲁棒性,使得目标水印触发样本保持稳定性和有效性。
-
公开(公告)号:CN115631757A
公开(公告)日:2023-01-20
申请号:CN202211283900.2
申请日:2022-10-20
Applicant: 浙江大学 , 浙江大学杭州国际科创中心
IPC: G10L19/008 , G10L19/018 , G10L19/16
Abstract: 本发明公开了一种面向语音身份匿名的卷积性对抗样本构造方法及装置,获得用户的原始语音样本,获得至少1个真实房间脉冲响应信号,通过获得的真实房间脉冲响应信号初始化卷积性对抗扰动,将获得的用户原始语音样本与卷积性对抗扰动进行卷积运算,得到初始的语音对抗样本,随机选择目标类别的标签,通过嵌入码级别的条件变分自编码器采样说话人嵌入码等步骤,本发明设计卷积性对抗扰动来近似真实自然的房间脉冲响应,能够有效减少扰动注入带来的信号失真,保证文本内容的完整性和声纹的一致性以及良好的音频感知质量,实现语音服务隐私和功用的平衡,提出的卷积性对抗扰动能够有效抵御常见的基于信号处理技术的对抗扰动破坏手段。
-
公开(公告)号:CN116597811A
公开(公告)日:2023-08-15
申请号:CN202310533603.7
申请日:2023-05-12
Applicant: 浙江大学 , 浙江大学杭州国际科创中心
IPC: G10L15/01 , G10L15/06 , G10L15/16 , G10L17/04 , G10L17/18 , G06F21/57 , G06N3/0455 , G06N3/0464 , G06N3/0475 , G06N3/094
Abstract: 本发明公开了一种基于房间脉冲响应的语音后门验证方法,包括:获取目标语音模型的干净语音样本和其所在物理空间的属性信息;根据属性信息设定声学参数,并根据声学参数构建房间脉冲响应的条件向量;将条件向量与随机采样的隐向量拼接后输入房间脉冲响应生成器,合成房间脉冲响应信号作为动态触发器;使用动态触发器对干净语音样本进行投毒作为毒化语音样本,利用毒化语音样本和干净语音样本对目标语音模型进行训练,使得目标语音模型被受到感染并被注入后门;将受感染的目标语音模型部署后,正常说话发出语音以触发后门,从而验证目标语音模型的后门脆弱性,该方法有效提升语音后门的隐蔽性和鲁棒性,从而提供真实可靠的后门攻击测试。
-
公开(公告)号:CN119152862B
公开(公告)日:2025-04-04
申请号:CN202411604235.1
申请日:2024-11-12
Applicant: 浙江大学
IPC: G10L19/018 , G10L25/48 , G10L25/30
Abstract: 本发明公开了一种隐私保护的深度语音数字水印流式嵌入与检测方法,基于端云协同处理环境,有效隔离语音内容中的用户敏感信息与水印信息,同时实现流式嵌入、区间标注、防水印伪造、信道鲁棒等有益效果,支持语音内容版权声明、伪造样本标识等场景,服务第三方水印嵌入和检测应用,在整个水印嵌入阶段,服务器端仅根据水印信息生成通用水印数据,从而避免了用户隐私信息的泄露风险。在检测环节,接收端用户端采用第三深度神经网络对音频内容进行脱敏处理,使得服务器端仅能通过处理后的脱敏数据来推断水印的存在,隔绝了用户原始语音数据与服务器端的直接接触,显著提升了用户隐私保护水平,提高用户与第三方检测平台之间的信任感。
-
公开(公告)号:CN118824256A
公开(公告)日:2024-10-22
申请号:CN202411091594.1
申请日:2024-08-09
Applicant: 浙江大学计算机创新技术研究院
Abstract: 本发明公开了一种基于声纹识别系统服务拒绝后门的安全性测试方法和装置。本发明采用多种位置无关的环境音作为触发器,经过环境噪声对数据集做数据增强后,通过构建伪目标说话人的方式毒化数据集,再微调预训练模型以注入后门,微调过程中引入的多任务损失降低了后门植入的成本。受感染的声纹识别系统部署后,在物理空间通过触发器进行后门激活测试,根据已注册的合法用户是否会被系统拒绝从而验证目标声纹识别系统是否存在后门脆弱性。本发明综合考虑了现实条件下的物理有效性,触发可控性和感知隐蔽性,能够完成声纹识别系统的后门脆弱性的前置性验证。
-
公开(公告)号:CN116013318A
公开(公告)日:2023-04-25
申请号:CN202211595730.1
申请日:2022-12-13
Applicant: 浙江大学
Abstract: 本发明公开了一种针对声纹识别防御模块的对抗样本构造方法,包括获得初始对抗扰动、原始音频和声学掩蔽音集,从声学掩蔽音集中选择一个能使听感失真度降到最低的声学掩蔽音,并和获得的初始对抗扰动与原始音频结合计算出对抗样本等步骤;本发明创新性地提出一种针对声纹识别系统防御模块的对抗样本构造方法,利用精心制作的声学掩蔽音,使人类听感失真度降到最低,并将其叠加到经过初始化的对抗扰动上,用以进行扰动掩蔽。并同时考虑多种具有代表性的防御模块,并使用集成学习方法将其与可学系的自适应权重相融合。最终生成同时满足攻击有效性、人类不可感知性、自适应性的对抗样本。
-
公开(公告)号:CN119152862A
公开(公告)日:2024-12-17
申请号:CN202411604235.1
申请日:2024-11-12
Applicant: 浙江大学
IPC: G10L19/018 , G10L25/48 , G10L25/30
Abstract: 本发明公开了一种隐私保护的深度语音数字水印流式嵌入与检测方法,基于端云协同处理环境,有效隔离语音内容中的用户敏感信息与水印信息,同时实现流式嵌入、区间标注、防水印伪造、信道鲁棒等有益效果,支持语音内容版权声明、伪造样本标识等场景,服务第三方水印嵌入和检测应用,在整个水印嵌入阶段,服务器端仅根据水印信息生成通用水印数据,从而避免了用户隐私信息的泄露风险。在检测环节,接收端用户端采用第三深度神经网络对音频内容进行脱敏处理,使得服务器端仅能通过处理后的脱敏数据来推断水印的存在,隔绝了用户原始语音数据与服务器端的直接接触,显著提升了用户隐私保护水平,提高用户与第三方检测平台之间的信任感。
-
公开(公告)号:CN114093371B
公开(公告)日:2024-12-03
申请号:CN202111178765.0
申请日:2021-10-11
Applicant: 浙江大学
Abstract: 本发明公开了一种基于神经网络生成模型的音素级声纹识别对抗样本构造系统和方法,系统包括音素识别器、扰动生成器、听感抑制器、替代分类器和系统优化器,听感抑制器生成受抑制扰动与音素识别器生成的对齐语音叠加生成对抗样本,对抗样本通过替代分类器分类将分数发送至系统优化器并将梯度反向传播给扰动生成器进行迭代更新,得到一个训练好的音素扰动生成器。本发明创新性地提出融合语音中的音素信息进行扰动构造,利用音素识别器识别和定位语音中的音素并在音素级别生成细粒度的通用对抗扰动,从而使得一步生成的对抗扰动能够重用于任意语音文本输入,最终实现文本无关、输入无关的通用对抗样本生成,极大提升对抗样本的生成效率。
-
-
-
-
-
-
-
-