-
公开(公告)号:CN118966161B
公开(公告)日:2024-12-31
申请号:CN202411433513.1
申请日:2024-10-15
Applicant: 北京龙软科技股份有限公司 , 北京大学 , 北京大学鄂尔多斯能源研究院
Abstract: 本发明公开了一种通用人工时空智能大模型的构建方法,基于零维点、一维线、二维面、三维体的对象表达方式和关系模型,建立人类社会现实世界中各类文本、图形、图像、音频、视频等多媒体信息的统一结构化拓扑表达和存储,采用三维表征的多模态大模型训练方法,构建能够统一表达和处理人类社会所有对象的人工时空大模型,结合时空信息处理、时空关系分析、知识图谱及业务流程逻辑推理,提供时空关系表达、语义理解、环境感知、时空推理和空间决策等能力,解决目前大语言模型表达单一、缺乏拓扑关系,很难处理三维现实世界时空关系的难题,可全面应用于多媒体信息处理、理论模型推导、自动驾驶、智能机器人、工业工程等领域。
-
公开(公告)号:CN118966161A
公开(公告)日:2024-11-15
申请号:CN202411433513.1
申请日:2024-10-15
Applicant: 北京龙软科技股份有限公司 , 北京大学 , 北京大学鄂尔多斯能源研究院
Abstract: 本发明公开了一种通用人工时空智能大模型的构建方法,基于零维点、一维线、二维面、三维体的对象表达方式和关系模型,建立人类社会现实世界中各类文本、图形、图像、音频、视频等多媒体信息的统一结构化拓扑表达和存储,采用三维表征的多模态大模型训练方法,构建能够统一表达和处理人类社会所有对象的人工时空大模型,结合时空信息处理、时空关系分析、知识图谱及业务流程逻辑推理,提供时空关系表达、语义理解、环境感知、时空推理和空间决策等能力,解决目前大语言模型表达单一、缺乏拓扑关系,很难处理三维现实世界时空关系的难题,可全面应用于多媒体信息处理、理论模型推导、自动驾驶、智能机器人、工业工程等领域。
-
公开(公告)号:CN117557727A
公开(公告)日:2024-02-13
申请号:CN202311577506.4
申请日:2023-11-23
Applicant: 北京大学鄂尔多斯能源研究院 , 北京大学 , 北京龙软科技股份有限公司
IPC: G06T17/00 , G06T3/4038 , G06T5/80 , G06T7/73
Abstract: 本发明提出一种受限空间内矢量空间搭建与全景图像融合建模的方法和装置,通过全景图像采集设备获取受限空间内的全景图像和空间音频等数据,与搭建的多边体矢量空间融合,实现场景内自由移动与显示。通过布置的标志点对全景图像进行拼接、正射投影和几何校正等,根据时序将处理好的全景图像组输出成为全景视频流。再根据受限空间的大小构建矢量空间并嵌入全景视频流、摄像点、3D导航视角和空间音频点,使得每个像素都有三维坐标,形成视频流矢量空间。根据视角移动时的空间位置与摄像点位置对全景视频流投影变换。将整体模型融合优化后在显示设备上进行沉浸式展示和巡检。为受限空间内诸如矿山采掘工作面等工业生产环境空间搭建提供技术支持。
-
公开(公告)号:CN117557727B
公开(公告)日:2024-09-03
申请号:CN202311577506.4
申请日:2023-11-23
Applicant: 北京大学鄂尔多斯能源研究院 , 北京大学 , 北京龙软科技股份有限公司
IPC: G06T17/00 , G06T3/4038 , G06T5/80 , G06T7/73
Abstract: 本发明提出一种受限空间内矢量空间搭建与全景图像融合建模的方法和装置,通过全景图像采集设备获取受限空间内的全景图像和空间音频等数据,与搭建的多边体矢量空间融合,实现场景内自由移动与显示。通过布置的标志点对全景图像进行拼接、正射投影和几何校正等,根据时序将处理好的全景图像组输出成为全景视频流。再根据受限空间的大小构建矢量空间并嵌入全景视频流、摄像点、3D导航视角和空间音频点,使得每个像素都有三维坐标,形成视频流矢量空间。根据视角移动时的空间位置与摄像点位置对全景视频流投影变换。将整体模型融合优化后在显示设备上进行沉浸式展示和巡检。为受限空间内诸如矿山采掘工作面等工业生产环境空间搭建提供技术支持。
-
公开(公告)号:CN118096612B
公开(公告)日:2024-12-24
申请号:CN202410222860.3
申请日:2024-02-28
Applicant: 北京大学 , 北京龙软科技股份有限公司
IPC: G06T5/80 , G06T7/00 , G06V10/766 , G06N3/0464 , G06N3/045
Abstract: 本发明提出一种基于可变形网格和宽度残差网络的图像矩形化方法和装置,涉及计算机图像处理领域。通过卷积神经预测网络计算不规则图像的刚性结构数量。根据预测选取合适的网格结构并生成预定义目标网格。将不规则图像、预定义目标网格和利用预测网络模型得到的预测初始网格输入到宽度残差神经网络进行矩形化回归。损失函数包括局部和全局损失,分别控制网格内和全局信息。生成的矩形化图像不仅可以减少图像形变中的信息损失,而且可根据不同的实际输入图像结构进行适应性调整,从而进一步提高了图像矩形化的效果。处理后的图像自然,满足实际应用的需求。为煤矿综采工作面等工业生产场景内视频拼接校正提供技术支持。具有较高的实用性。
-
公开(公告)号:CN115065816B
公开(公告)日:2023-04-07
申请号:CN202210499659.0
申请日:2022-05-09
Applicant: 北京大学 , 北京龙软科技股份有限公司
IPC: H04N13/156 , H04N7/18 , H04N23/698 , G06T5/50 , G06T19/00 , G06V20/40
Abstract: 本发明提出一种基于全景视频技术的真实地理空间场景实时构建方法,包括在场景内安装配有姿态传感器、棱镜、麦克风和远程连接接口的若干720°全景摄像机以及5G等高性能传输和计算处理设备。利用测量机器人和姿态传感器对摄像机进行精确地理坐标和姿态标定;摄像机的安装可选择固定或架线式,固定式将同一时刻若干相邻视频进行正射校正和拼接;架线式将摄像机安装到引导装置上并可局部独立快速运动摄影,并对相邻摄像机视频实时拼接;将满足延迟时间的视频、地理坐标和环境音融合,形成场景视频流,使操作人员体验到“身临其境”的感觉,可对设备远程实时操控。为高危场景空间内,如矿井工作面、危化工厂、核电站等的少人或无人生产提供技术保障。
-
公开(公告)号:CN119478439A
公开(公告)日:2025-02-18
申请号:CN202411409062.8
申请日:2024-10-10
Applicant: 北京大学 , 北京龙软科技股份有限公司
Abstract: 本发明公开一种基于视觉信息对处理成果的多维码智能解析方法和系统,旨在模拟人类对复杂场景的快速理解和识别过程。该方法对基于视觉时空信息对处理成果形成的具有景深信息的多维场景栅格信息进行编码,编码过程采用特征提取、多维码生成和冗余检验多维码编码技术将复杂的场景信息转化为高效、压缩的编码形式,并将这些编码存储在数据库中;通过对场景快速编码后,与已存储的多维码信息进行匹配,实现对场景的快速理解和精确识别。本发明通过高效的多维码编码与处理方法,为场景智能快速处理提供了一个新的技术框架,提高了对复杂环境的场景识别和理解能力,为人形机器人、无人驾驶汽车、智能眼镜、巡检设备提供了强有力的技术支持。
-
公开(公告)号:CN117036639A
公开(公告)日:2023-11-10
申请号:CN202311058030.3
申请日:2023-08-21
Applicant: 北京大学 , 北京龙软科技股份有限公司
Abstract: 本发明提出一种面向受限空间的多视角几何场景建立方法,通过固定式或滑轨式图像采集设备获取多视角的受限空间内图像,经过图像编码剪枝与神经辐射场模型的迭代训练,快速还原该空间场景。首先根据受限空间的大小建立多尺度体素块对场景进行不同层次的分割。之后将采集图像的位置、位姿和图像属性信息等进行多尺度编码,其中多尺度编码与多尺度体素块相互对应。然后将二者输入神经辐射场进行颜色值与体素密度积分的循环迭代以建立立体几何场景。在迭代过程中逐级对体素块进行剪枝和精细化操作,随着体素块尺度逐渐变小,使得该方法对场景中细节区域的建模更加快速和精准。为受限空间内诸如矿山采掘工作面等工业生产环境和设备建模提供技术支持。
-
公开(公告)号:CN118230135B
公开(公告)日:2024-08-09
申请号:CN202410643385.7
申请日:2024-05-23
Applicant: 北京大学 , 北京龙软科技股份有限公司
Abstract: 本发明提出一种基于时空信息对的人工智能系统,通过集成部署成对的视觉、听觉和嗅觉采集设备,构建能够720度范围内采集数据的装置,实时记录设备周围环境或环境内同一空间对象的位置、形态、运动状态、声音和气味等多维度的连续时空信息对。这些信息对既包含空间关系和时钟属性,还包含丰富的标签属性,如采集设备标识,空间对象名称、类别和行为模式等。系统将同一时刻时空信息对以成对的形式组织存储和同步融合分析处理,以实现其相互印证和形成具有景深和属性标识的三维处理结果或视频流,以识别和理解场景中的时空关系和事件,为人形机器人、无人驾驶汽车、智能眼镜、巡检设备等提供人工智能软硬件系统支撑。
-
公开(公告)号:CN116824183A
公开(公告)日:2023-09-29
申请号:CN202310841374.5
申请日:2023-07-10
Applicant: 北京大学 , 北京龙软科技股份有限公司
Abstract: 本发明提出一种基于多重特征描述符的图像特征匹配方法和装置,涉及图像处理和图像特征匹配领域,在图像上检测到特征点,构建多重特征描述符,完成图像的精准匹配。本发明中的多重特征描述符使用符号、均值和中心值描述符的不同排列组合方法构建而成,考虑了特征点的方向信息、数值信息和全局信息。采用滑动窗口对特征点周围所截范围内像素矩阵进行扫描,在每个窗口内提取三种特征描述符后组合拼接,生成对应的矩阵数值分布直方图和特征描述符。根据不同图像的特征描述符进行特征点匹配,选取描述符距离最近的部分特征点作为最优点进行图像匹配,使得图像匹配效果更加精准。为矿山采掘环境、场景建模、工业生产中用到的图像匹配提供技术支持。
-
-
-
-
-
-
-
-
-