-
公开(公告)号:CN113723443B
公开(公告)日:2025-04-11
申请号:CN202110784131.3
申请日:2021-07-12
Applicant: 鹏城实验室 , 北京大学深圳研究生院
IPC: G06V10/82 , G06V10/764 , G06V10/774 , G06V10/776 , G06V10/94 , G06V10/96 , G06N3/0464 , G06N3/084 , G06T1/20 , G06F3/06 , H04L67/1097 , H04L67/568 , H04L67/1095
Abstract: 本发明公开了一种视觉大模型分布式训练方法及系统,所述方法包括:构建分布式训练系统,包括主控服务器、多个GPU服务器、分布式存储服务器和存储网络交换机;根据视觉大模型训练所用数据集的大小,确定数据加载方式;根据所述视觉大模型的结构特点,对所述视觉大模型中不同类型的网络层组的参数量和计算量进行评估,结合GPU的算力和缓存能力对所述视觉大模型进行分解,确定所述视觉大模型的并行训练方案;采用混合并行模式进行模型训练,基于所述主控服务器进行模型聚合、全局模型更新和模型分发,在训练过程中每隔若干周期利用训练集和验证集对所述视觉大模型进行测评,当所述视觉大模型收敛后停止训练;本发明实现了视觉大模型的高效训练。
-
公开(公告)号:CN112822450B
公开(公告)日:2024-03-19
申请号:CN202110024177.5
申请日:2021-01-08
Applicant: 鹏城实验室
Abstract: 本发明公开了一种大规模视觉计算系统中有效节点动态遴选方法,所述方法包括:获取待追踪目标的空间信息,根据所述待追踪目标的空间信息对前端节点进行筛选,得到初筛前端节点,然后获取所述初筛前端节点的空间信息和技术参数,根据所述待追踪目标的空间信息、所述初筛前端节点的空间信息和技术参数计算待追踪目标和节点之间的距离、高度、位置关系、拍摄角度等多个参数,并按照对应的筛选方法对所述初筛前端节点进行筛选,将筛选出的前端节点作为有效前端节点。本发明可以有效解决现有技术中进行目标追踪任务时需要对视频监控系统中的每个前端节点拍摄的视频进行处理和检索,导致产生大量无效工作,消耗大量人力物力的问题。
-
公开(公告)号:CN112822451A
公开(公告)日:2021-05-18
申请号:CN202110024219.5
申请日:2021-01-08
Applicant: 鹏城实验室
IPC: H04N7/18
Abstract: 本发明公开了一种用于感知系统构建的前端节点优化选择方法,通过建立边缘可用带宽约束关系、边缘可用存储约束关系、系统覆盖性约束关系、系统总效用函数,将满足所述边缘可用带宽约束关系、所述边缘可用存储约束关系以及所述系统覆盖性约束关系时,且所述系统总效用函数的数值最大的情况下的前端节点的集合作为最优协同节点集,将所述最优协同节点集内的前端节点作为系统前端节点。本发明在边缘节点的可用带宽和可用存储资源有限的情况下,利用已有的海量前端节点重构一个实现尽可能大范围的区域覆盖和更高的系统效能的视频监控系统,将冗余部署的前端节点剔除,解决了针对不同应用需求而独立建设的现有视频监控系统之间前端设备重复部署,造成一定的设备冗余的问题。
-
公开(公告)号:CN112822451B
公开(公告)日:2024-02-23
申请号:CN202110024219.5
申请日:2021-01-08
Applicant: 鹏城实验室
IPC: H04N7/18
Abstract: 本发明公开了一种用于感知系统构建的前端节点优化选择方法,通过建立边缘可用带宽约束关系、边缘可用存储约束关系、系统覆盖性约束关系、系统总效用函数,将满足所述边缘可用带宽约束关系、所述边缘可用存储约束关系以及所述系统覆盖性约束关系时,且所述系统总效用函数的数值最大的情况下的前端节点的集合作为最优协同节点集,将所述最优协同节点集内的前端节点作为系统前端节点。本发明在边缘节点的可用带宽和可用存储资源有限的情况下,利用已有的海量前端节点重构一个实现尽可能大范围的区域覆盖和更高的系统效能的视频监控系统,将冗余部署的前端节点剔除,解决了针对不同应用需求而独立建设的现有视频监控系统之间前端设备重复部署,造成一定的设备冗余的问题。
-
公开(公告)号:CN114900656A
公开(公告)日:2022-08-12
申请号:CN202210416036.2
申请日:2022-04-20
Applicant: 鹏城实验室
Abstract: 本发明公开了一种交通监控视频流处理方法、装置、系统及存储介质,方法包括:将预设区域的多个路边单元与多个摄像头建立通信连接,并在多个路边单元中更新信息表;根据更新后的信息表和多特征流传输的实时调度算法,在边缘服务器中确定多特征的选择性传输策略和计算资源分配策略;根据确定的策略信息在多个摄像头中上传与预设任务信息对应的视频流,并在边缘服务器中对上传的视频流进行在线推理和分析;根据在线推理和分析结果对预设任务信息中的目标对象进行实时追踪及预测,并输出追踪及预测结果。本发明提出了用于大规模实时监控视频流处理的一体化端‑边‑云架构,为现有的交通监控系统提供精准的低能耗响应及控制服务。
-
公开(公告)号:CN114691372A
公开(公告)日:2022-07-01
申请号:CN202210403583.7
申请日:2022-04-18
Applicant: 鹏城实验室
Abstract: 本发明公开了一种多媒体端边云系统的群体智能控制方法,方法包括:获取异构网络中任务请求的属性信息;根据任务请求的属性信息,对任务进行优先级排序,得到若干优先级等级;计算任务的总能耗值和任务的总响应时间值;其中,一个优先级等级与多个任务对应;根据任务请求的属性信息、总能耗值和总响应时间值,对多媒体端边云系统中的终端、边缘服务器和云服务器的组合方案进行优化部署,得到多媒体端边云系统的目标部署方案,以使得所述目标部署方案对应的总能耗值和总响应时间值最小。本发明实施例通过对多媒体端边云系统中各节点进行组合方案部署以使各节点都能分配高效的能耗需求和较低的响应延时需求。
-
公开(公告)号:CN112954269A
公开(公告)日:2021-06-11
申请号:CN202110022791.8
申请日:2021-01-08
Applicant: 鹏城实验室
Abstract: 本发明公开了一种用于大规模视觉计算系统的节点协同选择方法,在边缘节点的可用带宽和可用存储资源有限的情况下,利用已有的海量前端节点重构一个实现尽可能大范围的区域覆盖和更高的系统效能的视频监控系统,将冗余部署的前端节点剔除以后,再在重构的视频监控系统包含的前端节点中,根据待追踪目标的空间信息及其与前端节点之间的空间相对关系自动查找并选择可能拍摄到待追踪目标的前端节点,将筛选出的前端节点作为有效前端节点,再根据查找到的有效前端节点进行目标追踪任务。解决了现有技术中进行目标追踪任务时需要对系统中的每个前端节点拍摄的视频进行处理和检索,导致消耗大量人力物力的问题。
-
公开(公告)号:CN114900656B
公开(公告)日:2025-01-28
申请号:CN202210416036.2
申请日:2022-04-20
Applicant: 鹏城实验室
Abstract: 本发明公开了一种交通监控视频流处理方法、装置、系统及存储介质,方法包括:将预设区域的多个路边单元与多个摄像头建立通信连接,并在多个路边单元中更新信息表;根据更新后的信息表和多特征流传输的实时调度算法,在边缘服务器中确定多特征的选择性传输策略和计算资源分配策略;根据确定的策略信息在多个摄像头中上传与预设任务信息对应的视频流,并在边缘服务器中对上传的视频流进行在线推理和分析;根据在线推理和分析结果对预设任务信息中的目标对象进行实时追踪及预测,并输出追踪及预测结果。本发明提出了用于大规模实时监控视频流处理的一体化端‑边‑云架构,为现有的交通监控系统提供精准的低能耗响应及控制服务。
-
公开(公告)号:CN112884815B
公开(公告)日:2025-01-28
申请号:CN202110141583.X
申请日:2021-02-02
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于多摄像机的车辆追踪方法,包括:获取道路结构与通行属性、摄像机安装参数、历史车流数据和地理信息数据,构建摄像机网络时空拓扑关系;获取目标车辆,在单摄像机内对所述目标车辆进行跟踪;当目标车辆从所述单摄像机中消失后,根据目标车辆与所述单摄像机之间的相对运动类型、车辆行驶方向和时间信息,在所述摄像机网络时空拓扑关系中查找满足约束条件的所述单摄像机的相邻节点作为候选节点集;获取目标车辆车牌、目标车辆画像和深度学习特征,将候选节点集获取的车辆集合的车牌、车辆画像和深度学习特征与目标车辆进行关联识别,得到目标车辆跨摄像机跟踪结果,该方法计算量小,能够得到可靠、鲁棒的目标车辆持续跟踪结果。
-
公开(公告)号:CN112954269B
公开(公告)日:2023-06-06
申请号:CN202110022791.8
申请日:2021-01-08
Applicant: 鹏城实验室
IPC: H04N7/18 , H04N23/611
Abstract: 本发明公开了一种用于大规模视觉计算系统的节点协同选择方法,在边缘节点的可用带宽和可用存储资源有限的情况下,利用已有的海量前端节点重构一个实现尽可能大范围的区域覆盖和更高的系统效能的视频监控系统,将冗余部署的前端节点剔除以后,再在重构的视频监控系统包含的前端节点中,根据待追踪目标的空间信息及其与前端节点之间的空间相对关系自动查找并选择可能拍摄到待追踪目标的前端节点,将筛选出的前端节点作为有效前端节点,再根据查找到的有效前端节点进行目标追踪任务。解决了现有技术中进行目标追踪任务时需要对系统中的每个前端节点拍摄的视频进行处理和检索,导致消耗大量人力物力的问题。
-
-
-
-
-
-
-
-
-