支持海量数据分组统计的智能索引构建、查询及维护方法

    公开(公告)号:CN105631003A

    公开(公告)日:2016-06-01

    申请号:CN201511001092.6

    申请日:2015-12-28

    Inventor: 李斌斌 周游

    CPC classification number: G06F17/30321 G06F17/30289 G06F17/30424

    Abstract: 本发明提供了一种支持海量数据分组统计的智能索引构建、查询及维护方法,属于大数据处理技术领域。本方法建立了智能索引的数据组织结构,以使智能索引支持海量数据分组统计;智能索引的数据组织结构包括索引元数据和索引数据,索引元数据是创建索引的依据,包括分组列簇和统计列簇,索引数据是对原始数据构建的索引。本方法在写入数据时在内存中实时创建智能索引,利用智能索引进行分组统计的操作,也可快捷对智能索引进行删除。本发明实现了对海量数据的实时自动创建索引,在对海量数据进行分组统计时极大降低了磁盘I/O和计算时间,从而大幅提高了分组统计效率,并实现了对索引数据全生命周期的自动管理。

    一种基于Docker容器化技术支持分布式设备中多种板卡的仿真方法

    公开(公告)号:CN119806730A

    公开(公告)日:2025-04-11

    申请号:CN202411848752.3

    申请日:2024-12-16

    Abstract: 本发明公开了一种基于Docker容器化技术支持分布式设备中多种板卡的仿真方法,属于数通分布式设备测试领域;具体为:首先,在linux服务器上安装Docker,创建包含运行分布式设备软件所需库的Docker容器镜像;然后,创建一个Docker容器网络,以便容器实例之间可以基于同一容器网络通信。接着,将分布式设备中的每个板卡分别对应一个容器实例,基于创建好的容器镜像运行多个容器实例,并为每个容器实例分别指定一个IP地址,连接到Docker容器网络;最后,将每个板卡的程序对应拷贝到各自的容器实例中并运行,即可模拟仿真完整的分布式设备运行。本发明通过使用同一镜像和同一容器网络,提供了一致的运行环境,确保了在不同机器和环境中设备仿真结果的一致性。

    一种基于NAS文件系统的海量对象快速存储系统

    公开(公告)号:CN116910001A

    公开(公告)日:2023-10-20

    申请号:CN202310652580.1

    申请日:2023-06-02

    Inventor: 蒲路

    Abstract: 本发明公开了一种基于NAS文件系统的海量对象快速存储系统,涉及大数据服务等领域。本发明的海量对象快速存储系统包括服务端模块、客户端模块以及NAS文件系统;客户端模块收到用户写入的数据后,将对象数据组装成byte数组发送给服务端模块;服务端模块计算byte数组写入NAS系统的文件名称,文件名称为通用唯一标识码uuid,将数组存入对应NAS系统的文件中,返回文件名称和数组在文件中的索引位置给客户端;客户端计算每个对象的最终唯一标识,用户利用最终标识从NAS系统中读取对象文件。本发明能够基于NAS快速存储大量的对象数据,避开元数据问题,可提供接近网卡极限的超高对象写入速度。

    一种基于分布式多芯片解码的高通量视频实时分析处理方法及装置

    公开(公告)号:CN116847104A

    公开(公告)日:2023-10-03

    申请号:CN202310930006.8

    申请日:2023-07-27

    Abstract: 本发明公开了一种基于分布式多芯片解码的高通量视频实时分析处理方法及装置,涉及音视频处理技术领域。该视频实时分析处理装置包括CPU单元、解码单元和分析单元;CPU单元包括资源初始化模块、视频数据预处理模块和调度处理模块,解码单元上承载解码处理模块,分析单元承载分析处理模块。视频数据预处理模块对原始视频数据进行格式过滤,传输给调度处理模块,调度处理模块给视频数据分配固定的解码处理模块;解码处理模块对视频数据进行解码,并筛选关键帧,最后通过基于PCIE总线的视频数据直接传输技术传送给分析处理模块;分析处理模块对视频数据进行计算处理,输出最终视频分析结果。本发明有效降低了CPU的资源消耗,达到高并发高通量的效果。

Patent Agency Ranking