公开(公告)号：CN118331995A

公开(公告)日：2024-07-12

申请号：CN202410761162.0

申请日：2024-06-13

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 刘川意 ,  颜亮 ,  高翠芸 ,  韩培义 ,  毛文欣 ,  王瑞祺 ,  郭济瑜

IPC: G06F16/242 ,  G06F16/332 ,  G06F16/31

Abstract: 本申请涉及计算机技术领域，提供了从文本到SQL语句的增强方法、设备和计算机存储介质，该方法包括：对自然语言问题进行优化，得到优化的自然语言问题；基于数据库内容信息和优化的自然语言问题，生成模型的上下文感知提示；将上下文感知提示输入模型，生成与自然语言问题相应的SQL语句；对SQL语句进行评估并将评估结果向模型反馈，直至模型生成的SQL语句合规或生成次数达到预设次数。本申请的技术方案可以使得模型能够生成更精确和合规的SQL语句。

公开(公告)号：CN118657173B

公开(公告)日：2025-01-14

申请号：CN202411136019.9

申请日：2024-08-19

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 高翠芸 ,  刘川意 ,  韩培义 ,  廖清 ,  顾钊铨 ,  王瑞祺 ,  杨泽洲

IPC: G06N3/042 ,  G06N3/045 ,  G06N3/0495 ,  G06N3/096 ,  G06N3/084 ,  G06F18/241 ,  G06F40/284

Abstract: 本发明公开了一种知识蒸馏方法和系统，方法包括：获取教师模型在训练集样本上的输出作为软标记训练集；设计学生模型架构和学生模型与教师模型的层对应关系；将训练集或软标记训练集划分为超批次，进行基于主成分分析的第一轮白盒知识蒸馏；进行基于软标记训练集的第二轮黑盒知识蒸馏；测试学生模型性能。本发明利用主成分分析将隐含层大小和架构不同的教师模型和学生模型相互对应，以完成白盒知识蒸馏的方法，使白盒知识蒸馏能被应用在更多学生模型上，便于进一步提高压缩比。本发明蒸馏方法相对白盒知识蒸馏和黑盒知识蒸馏均具有更好的性能。

公开(公告)号：CN118657173A

公开(公告)日：2024-09-17

申请号：CN202411136019.9

申请日：2024-08-19

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 高翠芸 ,  刘川意 ,  韩培义 ,  廖清 ,  顾钊铨 ,  王瑞祺 ,  杨泽洲

IPC: G06N3/042 ,  G06N3/045 ,  G06N3/0495 ,  G06N3/096 ,  G06N3/084 ,  G06F18/241 ,  G06F40/284

Abstract: 本发明公开了一种知识蒸馏方法和系统，方法包括：获取教师模型在训练集样本上的输出作为软标记训练集；设计学生模型架构和学生模型与教师模型的层对应关系；将训练集或软标记训练集划分为超批次，进行基于主成分分析的第一轮白盒知识蒸馏；进行基于软标记训练集的第二轮黑盒知识蒸馏；测试学生模型性能。本发明利用主成分分析将隐含层大小和架构不同的教师模型和学生模型相互对应，以完成白盒知识蒸馏的方法，使白盒知识蒸馏能被应用在更多学生模型上，便于进一步提高压缩比。本发明蒸馏方法相对白盒知识蒸馏和黑盒知识蒸馏均具有更好的性能。