-
公开(公告)号：CN117972058A
公开(公告)日：2024-05-03
申请号：CN202410144351.3
申请日：2024-02-01
Applicant: 中国人民解放军战略支援部队信息工程大学
IPC: G06F16/332 , G06F18/23 , G06F18/22 , G06N5/02
Abstract: 本发明涉及人工智能对话技术领域，特别涉及一种基于对话思维链的隐性知识引导对话生成方法及系统，通过获取与对话源语句相关的对话背景知识，所述对话背景知识用于描述对话任务要求及对话语句规律；将对话源语句和对话背景知识输入至预配置的大语言模型中，以利用对话背景知识作为提示指令，通过大语言模型生成对话背景知识思维链下针对对话源语句的对话回复。本发明将隐性知识以思维链方式来促使模型能够更准确调用内部知识，使模型能够搜寻内部知识并合理使用来生成有针对性、高质量的对话内容，进而较好的完成对话任务，便于在语言翻译、文本对话和文本问答等智能对话系统中的应用部署，具有较好的应用前景。
-
公开(公告)号：CN117271717A
公开(公告)日：2023-12-22
申请号：CN202310992550.5
申请日：2023-08-08
Applicant: 中国人民解放军战略支援部队信息工程大学
IPC: G06F16/332 , G06F40/166 , G06N5/022 , G06N3/0455 , G06N3/0442 , G06N3/0475 , G06N3/08 , G06N20/00
Abstract: 本发明涉及人工智能对话文本生成技术领域，特别涉及一种对话数据样本增强方法及对话文本生成模型预训练方法和系统，从收集的对话样本数据集中选取单轮对话，所述单轮对话包括对话内容、对话响应及对话最佳知识，其中，对话最佳知识为单轮对话主题相关程度最佳且辅助生成对话响应的外部知识；基于交叉轮换对单轮对话中的对话内容、对话响应及对话最佳知识进行交换，以生成新的扩展单轮对话；将原单轮对话和新的扩展单轮对话进行拼接，以获取数据增强后的对话样本数据集。本发明能够加强对已有知识对话数据的利用，在不增加数据标注成本的情况下，用简单的方法实现数据增强，提升模型性能，使模型在训练过程中获得不同视角下生成回复的能力。
-
公开(公告)号：CN116611473A
公开(公告)日：2023-08-18
申请号：CN202310629724.1
申请日：2023-05-31
Applicant: 中国人民解放军战略支援部队信息工程大学
IPC: G06N3/045 , G06N3/0455 , G06N3/09 , G06N3/084
Abstract: 本发明涉及人工智能应用技术领域，特别涉及一种面向序列任务的Transformer监督学习双重一致性正则化方法及系统，通过对训练输入序列添加扰动，得到用于模型训练的扰动序列数据；基于扰动序列数据确定基础模型训练损失、及基础模型和均值模型之间一致性损失，其中，基础模型为采用Transformer结构建模的序列任务端到端模型，均值模型为基于基础模型并利用指数移动平均值对基础模型反向传播更新参数进行迁移来获取的模型结构；基于基础模型训练损失和基础模型和均值模型之间一致性损失获取基础模型的整体训练损失；基于整体训练损失调整基础模型参数，得到目标序列任务端到端模型。本发明可提升序列生成模型鲁棒性，便于机器翻译、文本摘要等序列任务中应用。
-
公开(公告)号：CN115132171A
公开(公告)日：2022-09-30
申请号：CN202210778061.5
申请日：2022-06-28
Applicant: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
Abstract: 本发明提供一种基于任务的焦点损失提升多语言元学习语音识别方法。该方法基于任务的焦点损失改进多语言元学习对任务不平衡的忽略，基于每个任务的查询损失引入了难任务调节器，引导模型更加关注难任务，并且为了充分利用难任务的数据，同时使用支持集梯度与查询集梯度来更新元参数。此外，本发明还在样本层面解释了难任务调节器的意义，经过公式推导，发现它与任务内样本的预测概率乘积成反相关。通过使用本发明方法，可以使模型学习到的初始化更加均衡，更加充分地利用了所有源语言的知识，从而能够有效的对目标语言进行泛化。
-
公开(公告)号：CN115410556B
公开(公告)日：2024-10-22
申请号：CN202210976069.2
申请日：2022-08-15
Applicant: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
Abstract: 本发明提供一种元对抗学习提升多语言预训练与低资源语音识别的方法，采用CTC‑注意力联合的端到端语音识别网络架构，在端到端语音识别网络架构中的编码器的输出端添加语言识别器，在元学习外循环中利用所述语言识别器与更新的语音识别模型对抗，引导更新的语音识别模型产生与语言无关的表征，缩小不同语言在语义空间中的差距；所述语言识别器由浅层至深层依次包括第一Linear层、第一Relu层、第二Linear层、第二Relu层、第三Linear层和softmax层。本发明可以解决不同语言数据规模与难度差异大导致ASR模型容易对一些语言产生倾向性以及不容易学习多种语言之间的共享语义空间的问题。
-
Patent Agency Ranking
公开(公告)号：CN116644763A
公开(公告)日：2023-08-25
申请号：CN202310543688.7
申请日：2023-05-15
Applicant: 中国人民解放军战略支援部队信息工程大学
IPC: G06F40/58 , G06N3/0455 , G06N3/084 , G06N3/042 , G06N3/0895
Abstract: 本发明属于自然语言处理技术领域，特别涉及一种构建基于双重知识蒸馏的机器翻译模型的方法及装置，该方法包括针对单语数据，将知识蒸馏和自训练相结合，构建单语数据的在线自蒸馏模块；针对双语数据，在交叉熵的损失函数基础上，将非参数知识蒸馏方法和自蒸馏相结合，构建双语数据的非参数知识蒸馏模块。针对双语数据，运用k近邻非参数知识蒸馏加入一致性损失的方式，实现更好的挖掘双语知识；针对单语数据，将知识蒸馏和自训练相结合提出一种自蒸馏的模型，实现更好的挖掘单语知识；两个模块相结合构成双重知识蒸馏的机器翻译模型，实现了更有效的挖掘双语数据和单语数据中的知识。
-
公开(公告)号：CN116155447A
公开(公告)日：2023-05-23
申请号：CN202211668777.6
申请日：2022-12-24
Applicant: 中国人民解放军战略支援部队信息工程大学
IPC: H04L1/00
Abstract: 本发明提出一种伪随机扰码参数的双迭和采分析方法及装置，适用于已知纠错码参数，且满足“码长与m序列周期互素”和“存在一个校验向量对应的多项式不被m序列的特征多项式整除”两个限定条件下，盲识别伪随机扰码的参数的具体场景。利用本发明的分析方法及装置，可以使通信双方无须共享伪随机扰乱编码参数，也无须在传输的码流中增加额外的开销去传递扰乱编码的参数，就能够帮助接收方自行恢复出扰乱编码的参数，从而还原出传输信息。
-
公开(公告)号：CN116011469A
公开(公告)日：2023-04-25
申请号：CN202211519654.6
申请日：2022-11-30
Applicant: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
Abstract: 本发明属于机器翻译处理技术领域，特别涉及一种离线机器翻译程序加速处理装置、方法及系统，利用与用户端主机Thunderbolt接口连接的GPU扩展坞接收用户端主机传送的计算参数，并依据计算参数来执行离线机器翻译程序中的模型计算；并利用与用户端主机USB接口连接的USB存储设备来预置固化离线机器翻译程序、依赖类库和模型。本发明将机器翻译系统中的模型计算部分从CPU转移至外接的GPU设备，利用USB接口外接存储设备，将翻译程序依赖的模型、类库和执行步骤固化，能够实现整个离线机器翻译程序的高效、便捷部署安装，机器翻译执行和处理效率可以成倍的提升，且根据实际应用可适合扩展到其他需要大量计算的系统中，具有较好的应用前景。
-
公开(公告)号：CN115410556A
公开(公告)日：2022-11-29
申请号：CN202210976069.2
申请日：2022-08-15
Applicant: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
Abstract: 本发明提供一种元对抗学习提升多语言预训练与低资源语音识别的方法，采用CTC‑注意力联合的端到端语音识别网络架构，在端到端语音识别网络架构中的编码器的输出端添加语言识别器，在元学习外循环中利用所述语言识别器与更新的语音识别模型对抗，引导更新的语音识别模型产生与语言无关的表征，缩小不同语言在语义空间中的差距；所述语言识别器由浅层至深层依次包括第一Linear层、第一Relu层、第二Linear层、第二Relu层、第三Linear层和softmax层。本发明可以解决不同语言数据规模与难度差异大导致ASR模型容易对一些语言产生倾向性以及不容易学习多种语言之间的共享语义空间的问题。
-
公开(公告)号：CN113505611A
公开(公告)日：2021-10-15
申请号：CN202110780410.2
申请日：2021-07-09
Applicant: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
Abstract: 本发明提供一种在生成对抗中获得更好的语音翻译模型的训练方法和系统。该方法包括收集训练数据，利用训练数据中的转录‑翻译数据对训练MT模型；利用收缩机制对ST模型的输入长度进行压缩，使得语音和文本的编码层输出长度近似相同，包括：先采用CTC损失帮助ST模型预测语音的转录，捕捉语音的声学信息；然后利用CTC存在的峰值现象去除ST模型编码层状态中的冗余信息；采用对抗器通过“最大最小”的方法，使ST模型的编码层输出分布拟合MT模型的编码层输出分布，帮助ST模型捕捉到更多的语义信息；以CTC损失作为附加损失，结合端到端ST模型的损失对整个语音翻译模型进行联合训练。本发明能提升语音翻译模型的识别性能，进而提高语音翻译效率和质量。
-
-
-
-
-
-
-
-
-
Search Results
34
records
(took 0.045 seconds)
