公开(公告)号：CN116384357A

公开(公告)日：2023-07-04

申请号：CN202310206235.5

申请日：2023-03-06

Applicant: 厦门大学

Inventor： 苏劲松 ,  李彤 ,  王志豪 ,  谢彬彬 ,  邵良颖

IPC: G06F40/183 ,  G06F40/289

Abstract: 本申请提出了一种基于序列到集合生成的表格生成方法及装置，该方法包括获取文本，并对文本进行分词处理；将分词处理后的文本输入到文本编码器进行编码，以得到编码后的文本特征向量表示；将文本特征向量表示输入到表头生成器进行解码，以得到表头和表头特征向量表示；将文本特征向量表示和表头特征向量表示输入到表体生成器进行解码，以并行的生成表体行；构建表格生成模型，并根据文本、表头和表体行进行训练，其中，训练过程中对预生成的表体行首列和训练目标首列进行一对一匹配；通过训练好的表格生成模型对预测文本进行预测，以生成对应的完整表格；由此，无需考虑行之间的顺序依赖关系，从而有效提高生成的效率和准确度。

公开(公告)号：CN119539115A

公开(公告)日：2025-02-28

申请号：CN202411342985.6

申请日：2024-09-25

Applicant: 厦门大学

Inventor： 苏劲松 ,  王志豪 ,  刘诗雨

IPC: G06N20/00 ,  G06F16/23

Abstract: 本发明提出了一种基于学习率路径切换的大语言模型版本迭代方法及装置，该方法包括获取当前版本的大语言模型；根据新的数据集和当前版本的大语言模型对应的学习率主路径的检查点对当前版本的大语言模型进行继续预训练，以得到迭代好的下一版本的大语言模型，其中，在进行继续预训练时学习率路径从主路径切换到分支路径上，以采用快速衰减的学习率对当前版本的大语言模型进行继续预训练；根据新的数据集和当前版本的大语言模型对应的主路径检查点继续在主路径上以预设的最大学习率预训练当前版本的大语言模型，以得到迭代好的下一版本的大语言模型对应的检查点；从而在保持大语言模型版本迭代高性能的同时还降低了版本迭代的总预训练成本。

公开(公告)号：CN113869069B

公开(公告)日：2024-08-06

申请号：CN202111063749.7

申请日：2021-09-10

Applicant: 厦门大学

Inventor： 苏劲松 ,  蒋辉 ,  王志豪 ,  曾华琳

IPC: G06F40/58 ,  G06F40/211 ,  G06F40/289

Abstract: 本发明公开了一种基于译文树结构解码路径动态选择的机器翻译方法和介质，其中方法包括：获取人工标注的机器翻译数据；对目标语言句子进行解析，以得到该目标语言句子对应的目标语言成分句法树，并根据源语言句子和对应的目标语言成分句法树生成训练数据；进行模型的训练，以生成基于译文树结构解码路径动态选择的机器翻译模型；获取待翻译源语言句子，并将待翻译源语言句子输入到基于译文树结构解码路径动态选择的机器翻译模型，以通过基于译文树结构解码路径动态选择的机器翻译模型生成对应的目标语言成分句法树和目标语言句子；能够有效提高机器翻译过程中成分句法树的生成效率，提高机器翻译准确率。

公开(公告)号：CN113869069A

公开(公告)日：2021-12-31

申请号：CN202111063749.7

申请日：2021-09-10

Applicant: 厦门大学

Inventor： 苏劲松 ,  蒋辉 ,  王志豪 ,  曾华琳

IPC: G06F40/58 ,  G06F40/211 ,  G06F40/289

Abstract: 本发明公开了一种基于译文树结构解码路径动态选择的机器翻译方法和介质，其中方法包括：获取人工标注的机器翻译数据；对目标语言句子进行解析，以得到该目标语言句子对应的目标语言成分句法树，并根据源语言句子和对应的目标语言成分句法树生成训练数据；进行模型的训练，以生成基于译文树结构解码路径动态选择的机器翻译模型；获取待翻译源语言句子，并将待翻译源语言句子输入到基于译文树结构解码路径动态选择的机器翻译模型，以通过基于译文树结构解码路径动态选择的机器翻译模型生成对应的目标语言成分句法树和目标语言句子；能够有效提高机器翻译过程中成分句法树的生成效率，提高机器翻译准确率。