一种通用人工时空智能大模型的构建方法

    公开(公告)号:CN118966161B

    公开(公告)日:2024-12-31

    申请号:CN202411433513.1

    申请日:2024-10-15

    Abstract: 本发明公开了一种通用人工时空智能大模型的构建方法,基于零维点、一维线、二维面、三维体的对象表达方式和关系模型,建立人类社会现实世界中各类文本、图形、图像、音频、视频等多媒体信息的统一结构化拓扑表达和存储,采用三维表征的多模态大模型训练方法,构建能够统一表达和处理人类社会所有对象的人工时空大模型,结合时空信息处理、时空关系分析、知识图谱及业务流程逻辑推理,提供时空关系表达、语义理解、环境感知、时空推理和空间决策等能力,解决目前大语言模型表达单一、缺乏拓扑关系,很难处理三维现实世界时空关系的难题,可全面应用于多媒体信息处理、理论模型推导、自动驾驶、智能机器人、工业工程等领域。

    一种通用人工时空智能大模型的构建方法

    公开(公告)号:CN118966161A

    公开(公告)日:2024-11-15

    申请号:CN202411433513.1

    申请日:2024-10-15

    Abstract: 本发明公开了一种通用人工时空智能大模型的构建方法,基于零维点、一维线、二维面、三维体的对象表达方式和关系模型,建立人类社会现实世界中各类文本、图形、图像、音频、视频等多媒体信息的统一结构化拓扑表达和存储,采用三维表征的多模态大模型训练方法,构建能够统一表达和处理人类社会所有对象的人工时空大模型,结合时空信息处理、时空关系分析、知识图谱及业务流程逻辑推理,提供时空关系表达、语义理解、环境感知、时空推理和空间决策等能力,解决目前大语言模型表达单一、缺乏拓扑关系,很难处理三维现实世界时空关系的难题,可全面应用于多媒体信息处理、理论模型推导、自动驾驶、智能机器人、工业工程等领域。

    受限空间内矢量空间搭建与图像融合建模的方法和装置

    公开(公告)号:CN117557727A

    公开(公告)日:2024-02-13

    申请号:CN202311577506.4

    申请日:2023-11-23

    Abstract: 本发明提出一种受限空间内矢量空间搭建与全景图像融合建模的方法和装置,通过全景图像采集设备获取受限空间内的全景图像和空间音频等数据,与搭建的多边体矢量空间融合,实现场景内自由移动与显示。通过布置的标志点对全景图像进行拼接、正射投影和几何校正等,根据时序将处理好的全景图像组输出成为全景视频流。再根据受限空间的大小构建矢量空间并嵌入全景视频流、摄像点、3D导航视角和空间音频点,使得每个像素都有三维坐标,形成视频流矢量空间。根据视角移动时的空间位置与摄像点位置对全景视频流投影变换。将整体模型融合优化后在显示设备上进行沉浸式展示和巡检。为受限空间内诸如矿山采掘工作面等工业生产环境空间搭建提供技术支持。

    一种地理空间到高精度数字空间的设备管控系统和方法

    公开(公告)号:CN117528026A

    公开(公告)日:2024-02-06

    申请号:CN202311396230.X

    申请日:2023-10-25

    Abstract: 本发明提供一种地理空间到高精度数字空间的设备管控系统和方法,包括:构建与生产现场结构特征相同的工业生产场景和机电设备模型以及管控方法,形成数字孪生系统;构建视频流系统,实时连续输出基于正射投影、几何校正和全景拼接图像和音频融合的生产场景视频流数据。基于数字孪生和视频流系统,构建集图形、图像、视频、音频、监测监控和生产数据于一体的多媒体管控平台,实现对生产信息的相互补充及映证的管控模式;实现对工业生产现场的远程沉浸式数字巡检和灾害预警;实现对工业现场机电设备的远程控制和故障诊断。平台将提高数字孪生的表达范围和精度,实现对智能矿山、智能工厂等场所远程精准控制和沉浸式巡检及少人或无人化生产目标。

    一种地理空间到高精度数字空间的设备管控系统和方法

    公开(公告)号:CN117528026B

    公开(公告)日:2025-02-14

    申请号:CN202311396230.X

    申请日:2023-10-25

    Abstract: 本发明提供一种地理空间到高精度数字空间的设备管控系统和方法,包括:构建与生产现场结构特征相同的工业生产场景和机电设备模型以及管控方法,形成数字孪生系统;构建视频流系统,实时连续输出基于正射投影、几何校正和全景拼接图像和音频融合的生产场景视频流数据。基于数字孪生和视频流系统,构建集图形、图像、视频、音频、监测监控和生产数据于一体的多媒体管控平台,实现对生产信息的相互补充及映证的管控模式;实现对工业生产现场的远程沉浸式数字巡检和灾害预警;实现对工业现场机电设备的远程控制和故障诊断。平台将提高数字孪生的表达范围和精度,实现对智能矿山、智能工厂等场所远程精准控制和沉浸式巡检及少人或无人化生产目标。

    受限空间内矢量空间搭建与图像融合建模的方法和装置

    公开(公告)号:CN117557727B

    公开(公告)日:2024-09-03

    申请号:CN202311577506.4

    申请日:2023-11-23

    Abstract: 本发明提出一种受限空间内矢量空间搭建与全景图像融合建模的方法和装置,通过全景图像采集设备获取受限空间内的全景图像和空间音频等数据,与搭建的多边体矢量空间融合,实现场景内自由移动与显示。通过布置的标志点对全景图像进行拼接、正射投影和几何校正等,根据时序将处理好的全景图像组输出成为全景视频流。再根据受限空间的大小构建矢量空间并嵌入全景视频流、摄像点、3D导航视角和空间音频点,使得每个像素都有三维坐标,形成视频流矢量空间。根据视角移动时的空间位置与摄像点位置对全景视频流投影变换。将整体模型融合优化后在显示设备上进行沉浸式展示和巡检。为受限空间内诸如矿山采掘工作面等工业生产环境空间搭建提供技术支持。

    基于可变形网格和宽度残差网络的图像矩形化方法和装置

    公开(公告)号:CN118096612B

    公开(公告)日:2024-12-24

    申请号:CN202410222860.3

    申请日:2024-02-28

    Abstract: 本发明提出一种基于可变形网格和宽度残差网络的图像矩形化方法和装置,涉及计算机图像处理领域。通过卷积神经预测网络计算不规则图像的刚性结构数量。根据预测选取合适的网格结构并生成预定义目标网格。将不规则图像、预定义目标网格和利用预测网络模型得到的预测初始网格输入到宽度残差神经网络进行矩形化回归。损失函数包括局部和全局损失,分别控制网格内和全局信息。生成的矩形化图像不仅可以减少图像形变中的信息损失,而且可根据不同的实际输入图像结构进行适应性调整,从而进一步提高了图像矩形化的效果。处理后的图像自然,满足实际应用的需求。为煤矿综采工作面等工业生产场景内视频拼接校正提供技术支持。具有较高的实用性。

    一种真实地理空间场景实时构建方法和实时构建装置

    公开(公告)号:CN115065816B

    公开(公告)日:2023-04-07

    申请号:CN202210499659.0

    申请日:2022-05-09

    Abstract: 本发明提出一种基于全景视频技术的真实地理空间场景实时构建方法,包括在场景内安装配有姿态传感器、棱镜、麦克风和远程连接接口的若干720°全景摄像机以及5G等高性能传输和计算处理设备。利用测量机器人和姿态传感器对摄像机进行精确地理坐标和姿态标定;摄像机的安装可选择固定或架线式,固定式将同一时刻若干相邻视频进行正射校正和拼接;架线式将摄像机安装到引导装置上并可局部独立快速运动摄影,并对相邻摄像机视频实时拼接;将满足延迟时间的视频、地理坐标和环境音融合,形成场景视频流,使操作人员体验到“身临其境”的感觉,可对设备远程实时操控。为高危场景空间内,如矿井工作面、危化工厂、核电站等的少人或无人生产提供技术保障。

    基于视觉信息对处理成果的多维码智能解析方法和系统

    公开(公告)号:CN119478439A

    公开(公告)日:2025-02-18

    申请号:CN202411409062.8

    申请日:2024-10-10

    Abstract: 本发明公开一种基于视觉信息对处理成果的多维码智能解析方法和系统,旨在模拟人类对复杂场景的快速理解和识别过程。该方法对基于视觉时空信息对处理成果形成的具有景深信息的多维场景栅格信息进行编码,编码过程采用特征提取、多维码生成和冗余检验多维码编码技术将复杂的场景信息转化为高效、压缩的编码形式,并将这些编码存储在数据库中;通过对场景快速编码后,与已存储的多维码信息进行匹配,实现对场景的快速理解和精确识别。本发明通过高效的多维码编码与处理方法,为场景智能快速处理提供了一个新的技术框架,提高了对复杂环境的场景识别和理解能力,为人形机器人、无人驾驶汽车、智能眼镜、巡检设备提供了强有力的技术支持。

    一种面向受限空间的多视角几何场景建立方法和装置

    公开(公告)号:CN117036639A

    公开(公告)日:2023-11-10

    申请号:CN202311058030.3

    申请日:2023-08-21

    Abstract: 本发明提出一种面向受限空间的多视角几何场景建立方法,通过固定式或滑轨式图像采集设备获取多视角的受限空间内图像,经过图像编码剪枝与神经辐射场模型的迭代训练,快速还原该空间场景。首先根据受限空间的大小建立多尺度体素块对场景进行不同层次的分割。之后将采集图像的位置、位姿和图像属性信息等进行多尺度编码,其中多尺度编码与多尺度体素块相互对应。然后将二者输入神经辐射场进行颜色值与体素密度积分的循环迭代以建立立体几何场景。在迭代过程中逐级对体素块进行剪枝和精细化操作,随着体素块尺度逐渐变小,使得该方法对场景中细节区域的建模更加快速和精准。为受限空间内诸如矿山采掘工作面等工业生产环境和设备建模提供技术支持。

Patent Agency Ranking