公开(公告)号：CN112307778B

公开(公告)日：2023-11-24

申请号：CN202011288192.2

申请日：2020-11-17

Applicant: 南京工业大学

Inventor： 梅雪 ,  钱天成 ,  高峻 ,  陈玉明 ,  秦午阳 ,  戈康启

IPC: G06F40/58 ,  G06V20/40 ,  G06V40/20 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/092

Abstract: 本发明公开了一种特定场景手语视频的翻译模型训练方法、翻译方法及系统，属于视频自然语言生成领域。本发明训练时，首先通过构建的actor‑double‑critic深度强化学习训练架构对过滤网络进行训练，再利用训练好的过滤网络筛选出手语视频的关键帧序列集，最后基于深度学习对深度序列自编码网络进行训练。过滤网络去除了视频帧的时空冗余，深度序列自编码网络融合了注意力机制，从而使得训练出的手语视频翻译模型具有较高的翻译准确率，并进一步地提出特定场景手语视频的翻译方法及系统，在训练出的翻译模型具有较高的翻译准确性的基础上，进行手语视频翻译，从而有效地提高了手语视频

公开(公告)号：CN112307778A

公开(公告)日：2021-02-02

申请号：CN202011288192.2

申请日：2020-11-17

Applicant: 南京工业大学

Inventor： 梅雪 ,  钱天成 ,  高峻 ,  陈玉明 ,  秦午阳 ,  戈康启

IPC: G06F40/58 ,  G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种特定场景手语视频的翻译模型训练方法、翻译方法及系统，属于视频自然语言生成领域。本发明训练时，首先通过构建的actor‑double‑critic深度强化学习训练架构对过滤网络进行训练，再利用训练好的过滤网络筛选出手语视频的关键帧序列集，最后基于深度学习对深度序列自编码网络进行训练。过滤网络去除了视频帧的时空冗余，深度序列自编码网络融合了注意力机制，从而使得训练出的手语视频翻译模型具有较高的翻译准确率，并进一步地提出特定场景手语视频的翻译方法及系统，在训练出的翻译模型具有较高的翻译准确性的基础上，进行手语视频翻译，从而有效地提高了手语视频翻译的准确性。