公开(公告)号：CN117008722A

公开(公告)日：2023-11-07

申请号：CN202310845918.5

申请日：2023-07-11

Applicant: 哈尔滨工程大学

Inventor： 莫宏伟 ,  才鑫源 ,  徐立芳 ,  闫景运 ,  张骞

IPC: G06F3/01 ,  G06V40/20 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  B25J9/16

Abstract: 本发明公开了一种基于视觉的动态手势识别与移动机器人控制方法，采用经过调整的3DCNN模型作为动态手势识别模型，通过将主干网络改进为ResNetxt‑50，进而提升网络的特征提取能力和表征能力，然后引入了卷积块注意力模块(CBAM)来增强网络对重点区域的关注度，最后使用Mish激活函数避免了网络中出现神经元坏死的情况。最后综合考虑模型的精度与运行速度，以改进的3DCNN模型作为人机交互的基础模型并定义了动态手势控制指令，然后利用该模型识别动态手势并将手势识别结果发送给移动机器人，从而利用手势控制移动机器人的运动轨迹与方向。本发明能有效解决动态手势识别精确度不高的问题，并能提高手势控制机器人运动的能力。

公开(公告)号：CN117010499A

公开(公告)日：2023-11-07

申请号：CN202310845919.X

申请日：2023-07-11

Applicant: 哈尔滨工程大学

Inventor： 徐立芳 ,  莫宏伟 ,  闫景运 ,  才鑫源 ,  张骞

IPC: G06N5/025 ,  G06N5/04 ,  G06F3/01 ,  G06F16/35 ,  G06F16/33 ,  G06F16/332 ,  G06N3/0455 ,  G06N3/09 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/048 ,  B25J11/00 ,  G05D1/02

Abstract: 本发明公开了一种应用于服务机器人的人机交互方法，涉及到人机对话系统及移动机器人导航控制。针对当前人机对话系统主要采用的序列到序列的模型，最大的缺陷是模型倾向于生成高频万能回复，且缺少足够的有用信息，难以给用户提供实际帮助。本专利引入外部知识，可以丰富模型生成应答的信息量，提升应答的多样性，缓解高频万能回复问题。基于此模型设计了一种应用于服务机器人的人机交互方法，此方法不仅具有对话功能还可以解析用户导航控制指令，实现在家庭或办公场景下的定点导航控制，提升机器人的人机交互能力。

公开(公告)号：CN116863255A

公开(公告)日：2023-10-10

申请号：CN202310768800.7

申请日：2023-06-28

Applicant: 哈尔滨工程大学

Inventor： 徐立芳 ,  莫宏伟 ,  张骞 ,  闫景运 ,  才鑫源

IPC: G06V10/77 ,  G06V10/774 ,  G06V20/70 ,  G06T5/50

Abstract: 本发明提供一种多策略下的多场景图像翻译及视频生成方法，涉及到多场景问题下多策略的图像翻译技术。针对多场景下图像翻译可控性弱以及解耦性不强的问题，考虑多场景下图像翻译所涉及的信息，包括多样性、语义性、配对性、层次性和耦合性，设计了一种基于对偶学习、增强循环一致性和分层解耦的多策略体系，实现对待翻译图像中的属性信息、特征信息、背景信息的统一编辑，实现多场景下图像翻译模型的构建。本发明能有效解决图像翻译存在的场景复杂、可解释性弱、可控性不强以及耦合性强的问题，提升图像翻译模型在多场景下，针对单一特征或多特征的生成和翻译能力。