公开(公告)号：CN116866708A

公开(公告)日：2023-10-10

申请号：CN202310911833.2

申请日：2023-07-25

Applicant: 复旦大学

Inventor： 朱国牛 ,  包泽宇 ,  谈金林 ,  王邵丰 ,  丁文超 ,  管宇翔 ,  甘中学 ,  白卫邦

IPC: H04N23/61 ,  H04N23/611 ,  H04N23/695 ,  H04N23/63 ,  H04N23/50 ,  H04N23/57 ,  B25J19/02 ,  B25J11/00 ,  G10L15/22 ,  G10L15/26

Abstract: 本发明公开一种移动式摄影机器人，涉及移动摄影技术领域，该机器人包括：相机，用于对图像和视频流进行获取；图像检测模块，用于对所述相机获取的图像进行目标识别，获得目标识别结果，所述目标识别结果包括至少一个目标框；图像追踪模块，用于确定所述目标识别结果中各目标框的追踪信息，所述追踪信息包括目标框的ID和中心坐标；用户界面，用于显示各所述目标框的所述追踪信息，从各所述目标框中选择追踪目标，还用于确定目标参考到达位置；大语言模型，用于根据所述追踪目标的追踪信息生成决策指令；机械臂，用于搭载所述相机，并根据所述决策指令进行运动；移动平台用于搭载机械臂，并根据决策指令进行运动。本发明提高了移动摄影的灵活性。

公开(公告)号：CN116690610A

公开(公告)日：2023-09-05

申请号：CN202310912204.1

申请日：2023-07-25

Applicant: 复旦大学

Inventor： 朱国牛 ,  包泽宇 ,  谈金林 ,  王邵丰 ,  丁文超 ,  管宇翔 ,  甘中学 ,  白卫邦

IPC: B25J11/00 ,  B25J9/08 ,  B25J9/16 ,  B25J18/00 ,  B25J19/02

Abstract: 本发明公开一种人机交互机器人，涉及人机交互技术领域，该机器人包括：图像检测模块对输入的图像进行用户位置信息识别和用户表情识别；所述用户位置信息包括中心坐标、景深、在画面中所占面积和用户位置与相机之间的距离；声音识别模块对输入的用户声音进行用户情绪识别；用户界面显示用户位置信息、用户表情和用户情绪；大语言模型根据用户位置信息、用户表情和用户情绪输出反馈信息；反馈信息包括文字信息和语音信息；机械臂根据反馈信息从设定动作库中提取与反馈信息匹配的反馈动作并输出；设定动作库用于存储多个反馈动作，且各反馈动作绑定多个信息关键字。本发明可实现文字、语音和动作多模态的信息交互，提高了信息交互的多样性。