-
公开(公告)号:CN113807330B
公开(公告)日:2022-03-08
申请号:CN202111372548.5
申请日:2021-11-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V40/16 , G06V10/80 , G06V10/774 , G06V10/764 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种面向资源受限场景的三维视线估计方法及装置,方法包括:构建端到端的视线估计网络,同时进行人脸检测和视线估计,并且采用多任务学习同时对两种数据集进行采样,不同数据训练不同分支;将收集的人脸检测数据集和视线估计数据集进行融合训练,使端到端的视线估计网络同时适应这两种不同的数据域,并采用多任务学习方式训练该网络,得到训练好的模型;对训练好的模型进行压缩以及量化处理,从而使得训练好的模型能部署在边缘设备上,实现三维实现的实时估计。本发明使用端到端的方法,避免对图像进行多次特征提取,提高了运行速度并支持实时视线估计;本发明采用轻量级模型并进行模型压缩,使模型可以在资源受限场景运行。
-
公开(公告)号:CN113987522A
公开(公告)日:2022-01-28
申请号:CN202111637333.1
申请日:2021-12-30
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种用于源代码漏洞检测的代码属性图压缩方法及装置,所述方法包括如下步骤:根据代码属性图计算基于前K跳邻居的节点邻域信息增益;对节点邻域信息增益进行局部归一化处理;选择归一化处理后的节点邻域信息增益低的节点组成候选删除节点集合,判断候选删除节点集合中是否存在割点,并将割点从候选删除节点集合中移除,最终得到删除节点集合;从代码属性图中去掉删除节点集合中的节点以及与节点相连的边,得到代码属性压缩图。本发明通过计算节点的前K跳邻居增益信息,选择增益信息低的节点进行删除同时保证压缩图的连通性,在尽可能保持代码属性图的节点属性和结构特征的情况下降低其复杂度,从而提高后续模型训练的时空效率。
-
公开(公告)号:CN113918743A
公开(公告)日:2022-01-11
申请号:CN202111526779.7
申请日:2021-12-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/51 , G06F16/54 , G06V10/774 , G06V10/764 , G06K9/62
Abstract: 本发明提供了一种面向长尾分布场景下图片分类的模型训练方法,包括:构建第一损失函数,用于加入原型归一化以及角域上与类别数量相关的带有边界的交叉熵分类损失;构建第二损失函数,使得各个类别的原型分散的更加均匀的,与类别数量相关最小角度最大化的正则项损失;构建第三损失函数,用于帮助模型有效训练的特征向量模长大小的正则化损失;将第一损失函数、第二损失函数、第三损失函数组合起来得到最终的损失函数Loss。本发明的有益效果是:本发明可以避免训练数据不均衡带来的模型先验偏差的问题以及进一步提升模型在测试集上的泛化性,从而在长尾分布场景下提升图片分类准确率。
-
公开(公告)号:CN113807330A
公开(公告)日:2021-12-17
申请号:CN202111372548.5
申请日:2021-11-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种面向资源受限场景的三维视线估计方法及装置,方法包括:构建端到端的视线估计网络,同时进行人脸检测和视线估计,并且采用多任务学习同时对两种数据集进行采样,不同数据训练不同分支;将收集的人脸检测数据集和视线估计数据集进行融合训练,使端到端的视线估计网络同时适应这两种不同的数据域,并采用多任务学习方式训练该网络,得到训练好的模型;对训练好的模型进行压缩以及量化处理,从而使得训练好的模型能部署在边缘设备上,实现三维实现的实时估计。本发明使用端到端的方法,避免对图像进行多次特征提取,提高了运行速度并支持实时视线估计;本发明采用轻量级模型并进行模型压缩,使模型可以在资源受限场景运行。
-
公开(公告)号:CN118657173B
公开(公告)日:2025-01-14
申请号:CN202411136019.9
申请日:2024-08-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N3/042 , G06N3/045 , G06N3/0495 , G06N3/096 , G06N3/084 , G06F18/241 , G06F40/284
Abstract: 本发明公开了一种知识蒸馏方法和系统,方法包括:获取教师模型在训练集样本上的输出作为软标记训练集;设计学生模型架构和学生模型与教师模型的层对应关系;将训练集或软标记训练集划分为超批次,进行基于主成分分析的第一轮白盒知识蒸馏;进行基于软标记训练集的第二轮黑盒知识蒸馏;测试学生模型性能。本发明利用主成分分析将隐含层大小和架构不同的教师模型和学生模型相互对应,以完成白盒知识蒸馏的方法,使白盒知识蒸馏能被应用在更多学生模型上,便于进一步提高压缩比。本发明蒸馏方法相对白盒知识蒸馏和黑盒知识蒸馏均具有更好的性能。
-
公开(公告)号:CN118657173A
公开(公告)日:2024-09-17
申请号:CN202411136019.9
申请日:2024-08-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N3/042 , G06N3/045 , G06N3/0495 , G06N3/096 , G06N3/084 , G06F18/241 , G06F40/284
Abstract: 本发明公开了一种知识蒸馏方法和系统,方法包括:获取教师模型在训练集样本上的输出作为软标记训练集;设计学生模型架构和学生模型与教师模型的层对应关系;将训练集或软标记训练集划分为超批次,进行基于主成分分析的第一轮白盒知识蒸馏;进行基于软标记训练集的第二轮黑盒知识蒸馏;测试学生模型性能。本发明利用主成分分析将隐含层大小和架构不同的教师模型和学生模型相互对应,以完成白盒知识蒸馏的方法,使白盒知识蒸馏能被应用在更多学生模型上,便于进一步提高压缩比。本发明蒸馏方法相对白盒知识蒸馏和黑盒知识蒸馏均具有更好的性能。
-
公开(公告)号:CN115510226B
公开(公告)日:2023-11-10
申请号:CN202211070367.1
申请日:2022-09-02
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/35 , G06F16/36 , G06F40/211 , G06F40/242 , G06F40/30 , G06N3/0464 , G06N3/045 , G06N3/042 , G06N3/09 , G06F17/16 , G06F18/2415
Abstract: 本申请属于自然语言处理技术领域,公开了一种基于图神经网络的情感分类方法。通过利用BERT编码器得到文本句的上下文表示;基于句法依赖树,构建初始邻接矩阵;使用Glove词向量模型将初始邻接矩阵映射成初始化邻接矩阵表示;构建根选择分数向量和初始化邻接矩阵表示输入到结构归纳器中,获取潜在图以及语义图;将潜在图和语义图输入到图卷积神经网络中得到潜在图表示和语义图表示,将其结合交互得到经过语义信息增强的潜在图表示和与潜在图交互后的语义图表示;进一步获取用于情感分析的特征表示,经过平均池化操作得到最终特征表示,输入到图卷积网络的线性层,得到文本句的情感极性。实现更好的关联方面词与意见词,提高情感分类的准确性。
-
公开(公告)号:CN116955539A
公开(公告)日:2023-10-27
申请号:CN202311192177.1
申请日:2023-09-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供一种基于思维链推理隐式生成内容合规性判定方法,包括:步骤一:将安全性未知文本X输入大规模语言模型M;步骤二:询问大规模语言模型M安全性未知文本X中的主客体成份,获取主体文本S以及客体文本T;步骤三:询问大规模语言模型M潜在观点,获得潜在观点文本O;步骤四:根据步骤三获得的潜在观点文本O,询问大规模语言模型M安全性未知文本X表达的意图是否符合规范,如果符合规范,输出:安全,否则输出:不安全。本发明的有益效果是:本发明很好的利用大规模语言模型的常识推断能力以及特定领域的专家知识,合理的提示大规模语言模型进行链式推理,逐步地揭示出深层的文本隐藏语义,大幅度提升了系统文本安全检测系统的性能。
-
公开(公告)号:CN116909574A
公开(公告)日:2023-10-20
申请号:CN202311154532.6
申请日:2023-09-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F8/41 , G06F16/33 , G06F40/194
Abstract: 本发明提供了一种检索增强的结构化代码生成系统及方法,该结构化代码生成系统包括检索前处理模块、结构信息提取模块和代码生成融合模块,所述检索前处理模块根据自然语言描述来检索到功能相关的代码片段;所述结构信息提取模块对所述检索前处理模块检索到的代码片段进行结构信息的提取;所述代码生成融合模块将输入的自然语言和代码片段进行融合,完成代码生成任务。本发明的有益效果是:本发明在不改变原有模型规模的条件下,增强其泛化性,提升代码生成的能力。
-
公开(公告)号:CN116318929A
公开(公告)日:2023-06-23
申请号:CN202310206593.6
申请日:2023-03-07
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04L9/40 , H04L41/0631 , H04L41/16
Abstract: 本发明涉及网络安全技术领域,特别涉及一种基于安全告警数据的攻击策略抽取方法。其方法包括以下步骤:S1.从告警文本中获取攻击者的单步攻击信息;S2.构建攻击活动序列集;S3.构建候选攻击策略;S4.构建攻击策略数据集;S5.预训练;S6.模型训练;S7.攻击策略抽取;S8.人工验证。本方法通过训练模型来判断攻击者的一个候选攻击策略是否为全部的有效攻击步骤,并且这些攻击步骤的组合能完成攻击者的攻击目的;通过这个模型,能够使用枚举候选攻击策略的方式关联出攻击者的全部有效攻击步骤,组成攻击者的攻击策略,而无需定义大量的关联规则;而且在过去的关联经验中未被关联的两个告警也可能被本方法所关联。
-
-
-
-
-
-
-
-
-