-
公开(公告)号:CN119808006B
公开(公告)日:2025-05-16
申请号:CN202510287600.9
申请日:2025-03-12
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
Abstract: 本发明公开了一种多模态大模型驱动的智能体收集决策数据的方法及系统,该方法包括采集预定传感器原始数据,计算信息熵与归一化质量分数,经自适应多模态信息融合生成融合特征向量;对其做时序敏感多模态对齐处理,结合时间戳嵌入与自注意力机制得时序对齐特征;基于此用贝叶斯神经网络生成决策分布,评估不确定性并生成最终决策及指标集;结合任务描述评估任务得分,根据资源状态制定执行计划;初始化模型,生成合成数据,优化模型并存储经验。本发明实现了智能小车的高效决策过程,同时提升了智能小车的执行能力和任务完成精度。
-
公开(公告)号:CN119293139A
公开(公告)日:2025-01-10
申请号:CN202411806624.2
申请日:2024-12-10
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06F16/31 , G06F16/334 , G06F16/35 , G06F18/10 , G06F18/213 , G06N3/042 , G06N3/08
Abstract: 本发明公开了一种用于增强大语言模型多模态长上下文对话能力的记忆检索方法,包括对原始多模态对话序列进行基于信息密度的自适应切分并提取局部特征;构建三层特征金字塔结构实现多尺度特征表示;通过特征压缩和时序依赖图建模增强特征的时序表达能力;基于特征稳定性评估构建记忆向量序列;对查询数据进行结构化表示并与记忆向量进行多层次交互;通过层次化索引和多维度相似度计算实现高效检索;基于用户反馈定期优化记忆序列。本发明能够有效提升模型在长对话场景下的多模态信息理解和检索能力,具有重要的实践应用价值。
-
公开(公告)号:CN118394422A
公开(公告)日:2024-07-26
申请号:CN202410287661.0
申请日:2024-03-13
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种用于智能硬件协同控制的提示工程方法、系统及设备,其中方法包括:基于环境感知数据确定设备状态,基于用户位置和用户活动信息确定用户所在区域;在存在设备状态改变、用户所在区域改变和用户发出命令中的至少一种的情况下,将环境感知数据输入至大型语言模型中,得到环境信息分析文本,以及将用户历史数据输入至大型语言模型中,得到用户需求文本和行为分析文本;基于环境信息分析文本、用户需求文本和行为分析文本,生成控制指令,获取用户的第一反馈信息,并基于第一反馈信息执行控制指令,得到控制指令执行后用户的第二反馈信息。该方法提高了硬件协同控制方法的灵活性和适应性,在硬件涉及人机交互的情况下更能体现其优势。
-
公开(公告)号:CN111582058B
公开(公告)日:2023-04-18
申请号:CN202010312001.5
申请日:2020-04-20
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06V40/10 , G06V10/44 , G06V10/42 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/0475 , G06N3/09 , G06N3/094
Abstract: 本发明提出了一种使用对抗式3D分层网络进行手部姿态估计的方法,对抗式3D分层网络主要包括两个部分:3D分层预测网络(3DHNet)负责各个关节点的预测,3DHNet相比传统的2D卷积神经网络能够提取到深度图中的关键信息,姿态判别网络(PDNet)负责对输入的手部姿态的合理性进行判断。通过将3DHNet和PDNet进行对抗训练,在对抗训练的过程中,PDNet的目的是尽可能的将预测的手部姿态与真实的手部姿态区分开,而3DHNet的目的则是使预测的结果尽可能地接近真实的手部姿态,来迷惑PDNet,通过这种对抗训练的方式,PDNet以一种自适应的方式为3DHNet的预测结果添加了物理约束,来使得3DHNet的预测结果更加的合理和准确。
-
公开(公告)号:CN115576430A
公开(公告)日:2023-01-06
申请号:CN202211402904.8
申请日:2022-11-10
Applicant: 中国科学院自动化研究所 , 中科南京人工智能创新研究院
Abstract: 本发明提供一种脑电通讯方法、系统和电子设备,本发明涉及通讯技术领域。该方法包括:接收用户的脑电信号,所述脑电信号包括SSVEP信号和眼电信号;通过对所述脑电信号进行处理获得文字解码结果和情感解码结果;将所述文字解码结果和所述情感解码结果整合为语音信息;输出所述语音信息。该方法提供了一种富有情感的通讯交流方式。
-
公开(公告)号:CN115290038A
公开(公告)日:2022-11-04
申请号:CN202211197062.7
申请日:2022-09-29
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
Abstract: 本发明提供了一种面向线状障碍物测距的双目测距方法及系统,测距方法包括如下:第一步是利用标定好的双目相机内、外、畸变参数进行双目校正;第二步是利用目标检测网络对左目图像进行检测,得到障碍物在图像中的位置;第三步对障碍物区域内的图像先后进行高斯去噪、Sobel算子计算边缘梯度与方向、自适应阈值的Canny边缘检测,得到障碍物的边缘图;第四步通过深度优先搜索算法统计所有的边缘长度,通过设置的边缘属性阈值对边缘进行筛选;第五步计算边缘点描述子,并对边缘点校验、匹配得到视差,进而得到障碍物上某边缘点的深度值。最后,通过统计障碍物区域内的深度信息,得到障碍物距离值。
-
公开(公告)号:CN114756517A
公开(公告)日:2022-07-15
申请号:CN202210295189.6
申请日:2022-03-24
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06F16/174 , G06F17/16 , G06K9/62 , G06N3/04 , G06T7/11 , G06V10/774
Abstract: 本发明公开了一种基于可微量化训练的视觉Transformer压缩方法及系统,属于人工智能的技术领域。包括以下步骤:步骤一、将输入图片进行分块处理,并通过线性映射转换成对应的图片序列;步骤二、将图片序列依次经过M次全局信息与局部信息的量化交替式处理,得到压缩后的图片序列;步骤三、将压缩后的图片序列进行分类处理,输出预测的概率值。在执行步骤一至步骤三时引入了可微量化步长训练方法,基于可微量化步长训练方法提高每次可微量化步长与图像数据的匹配度;同时,步骤二在执行局部信息量化时引入了可微量化偏置训练方法,基于可微量化偏置训练方法自动学习得到最优的量化区间,保留负激活区域的信息。降低了因量化导致的性能损失,提高了量化精度。
-
公开(公告)号:CN110889331B
公开(公告)日:2022-07-01
申请号:CN201911045890.7
申请日:2019-10-30
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06V40/19 , G06V10/141 , H04N5/232 , H04N5/225 , H04N5/235
Abstract: 本发明公开了基于虹膜识别的照相机及识别方法,包括机壳、虹膜采集器、第一数据处理模块和第二数据处理模块,所述虹膜采集器包括有数字摄像头和图像传感器,所述数字摄像头的信号输出端口与图像传感器的信号输入端口连接,所述数字摄像头安装在机壳的内腔,所述图像传感器的信号输出端口与第一数据处理模块的信号输入端口连接,所述机壳的外壁边缘上下两侧分别垂直设有第一安装板和第二安装板,所述第一数据处理模块的信号端口双向连接有时间计时器,所述第一数据处理模块的信号输出端口通过无线通信单元与第二数据处理模块的信号输入端口连接。本发明便于辅助企业管理员工,提高管理效率,能够及时反馈和处理突发事件。
-
公开(公告)号:CN110889326B
公开(公告)日:2022-07-01
申请号:CN201910981576.3
申请日:2019-10-16
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
Abstract: 本发明公开了一种基于人体检测的插队行为监测警告系统、方法、装置和存储介质,包括队列检测单元、插队行为检测单元和特征识别单元;所述队列检测单元对室内情景进行基础建模,确定检测队列的范围;所述插队行为检测单元通过使用眨眼识别技术,定位检测人脸并确认插队人脸;所述特征识别单元借助摄像头进行人脸拍摄,对拍摄人脸进行特征识别并进行播报,完成插队行为的警告。本发明实现了对插队的不文明行为进行高精度化的自动检测的功能,有助于警示插队行为,促进和谐排队。
-
公开(公告)号:CN114120447A
公开(公告)日:2022-03-01
申请号:CN202111413784.7
申请日:2021-11-25
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06V40/20 , G06V10/774 , G06N3/08 , G06K9/62
Abstract: 本发明公开了一种基于原型对比学习的行为识别方法及系统、存储介质,属于人工智能技术领域。包括:于骨骼关键点数据集中采样生成样本集;采用至少两种随机数据变换方法对样本进行转换,得到两组增强样本;将所述两组增强样本分别输入至编码网络中得到两组表征向量;于原型向量集中搜索出与其中一组表征向量中每个表征向量相似度最高的原型向量,并标号生成对应的相似向量集;构建原型对比损失函数;采用所述原型对比损失函数进行反向传播,同时对编码器网络和所有原型向量进行训练。本发明使用的原型对比学习行为识别方法在不需要行为类别标签且不基于自编码器的情况下,即可使用骨骼点序列样本训练得到能有效获得行为表征向量的模型。
-
-
-
-
-
-
-
-
-