-
公开(公告)号:CN113723443A
公开(公告)日:2021-11-30
申请号:CN202110784131.3
申请日:2021-07-12
Applicant: 鹏城实验室 , 北京大学深圳研究生院
Abstract: 本发明公开了一种视觉大模型分布式训练方法及系统,所述方法包括:构建分布式训练系统,包括主控服务器、多个GPU服务器、分布式存储服务器和存储网络交换机;根据视觉大模型训练所用数据集的大小,确定数据加载方式;根据所述视觉大模型的结构特点,对所述视觉大模型中不同类型的网络层组的参数量和计算量进行评估,结合GPU的算力和缓存能力对所述视觉大模型进行分解,确定所述视觉大模型的并行训练方案;采用混合并行模式进行模型训练,基于所述主控服务器进行模型聚合、全局模型更新和模型分发,在训练过程中每隔若干周期利用训练集和验证集对所述视觉大模型进行测评,当所述视觉大模型收敛后停止训练;本发明实现了视觉大模型的高效训练。
-
公开(公告)号:CN113723443B
公开(公告)日:2025-04-11
申请号:CN202110784131.3
申请日:2021-07-12
Applicant: 鹏城实验室 , 北京大学深圳研究生院
IPC: G06V10/82 , G06V10/764 , G06V10/774 , G06V10/776 , G06V10/94 , G06V10/96 , G06N3/0464 , G06N3/084 , G06T1/20 , G06F3/06 , H04L67/1097 , H04L67/568 , H04L67/1095
Abstract: 本发明公开了一种视觉大模型分布式训练方法及系统,所述方法包括:构建分布式训练系统,包括主控服务器、多个GPU服务器、分布式存储服务器和存储网络交换机;根据视觉大模型训练所用数据集的大小,确定数据加载方式;根据所述视觉大模型的结构特点,对所述视觉大模型中不同类型的网络层组的参数量和计算量进行评估,结合GPU的算力和缓存能力对所述视觉大模型进行分解,确定所述视觉大模型的并行训练方案;采用混合并行模式进行模型训练,基于所述主控服务器进行模型聚合、全局模型更新和模型分发,在训练过程中每隔若干周期利用训练集和验证集对所述视觉大模型进行测评,当所述视觉大模型收敛后停止训练;本发明实现了视觉大模型的高效训练。
-
公开(公告)号:CN114035938B
公开(公告)日:2025-02-07
申请号:CN202111209507.4
申请日:2021-10-18
Applicant: 鹏城实验室 , 北京大学深圳研究生院
IPC: G06F9/50 , G06F18/214 , G06F18/23 , G06N3/045 , G06N3/098
Abstract: 本发明公开了分布式训练方法、装置、智能终端及计算机可读存储介质,方法包括:分别获取各服务器的服务器智能水平,各上述服务器智能水平分别体现对应服务器的数据处理能力;基于待训练数据集的复杂度、待训练模型的复杂度以及各服务器智能水平获取目标分组数目信息,并基于目标分组数目信息和各上述服务器的服务器智能水平对所有服务器进行群组划分,获取多个服务器群组;基于各服务器群组的群组智能水平分别为各服务器群组分发待训练数据集中的数据资源和待训练模型中的模型资源,各群组智能水平分别体现对应服务器群组的数据处理能力;分别控制各服务器群组基于获得的数据资源和模型资源进行训练。与现有技术中相比,本发明可提高训练效率。
-
公开(公告)号:CN114035938A
公开(公告)日:2022-02-11
申请号:CN202111209507.4
申请日:2021-10-18
Applicant: 鹏城实验室 , 北京大学深圳研究生院
Abstract: 本发明公开了分布式训练方法、装置、智能终端及计算机可读存储介质,方法包括:分别获取各服务器的服务器智能水平,各上述服务器智能水平分别体现对应服务器的数据处理能力;基于待训练数据集的复杂度、待训练模型的复杂度以及各服务器智能水平获取目标分组数目信息,并基于目标分组数目信息和各上述服务器的服务器智能水平对所有服务器进行群组划分,获取多个服务器群组;基于各服务器群组的群组智能水平分别为各服务器群组分发待训练数据集中的数据资源和待训练模型中的模型资源,各群组智能水平分别体现对应服务器群组的数据处理能力;分别控制各服务器群组基于获得的数据资源和模型资源进行训练。与现有技术中相比,本发明可提高训练效率。
-
公开(公告)号:CN119830979A
公开(公告)日:2025-04-15
申请号:CN202510309307.8
申请日:2025-03-17
Applicant: 鹏城实验室
IPC: G06N3/08 , G06N3/063 , G06N3/048 , G06N3/0464
Abstract: 本申请实施例公开了一种模型数据处理方法、装置、计算机设备及存储介质。包括:获取预训练模型及预训练模型对应的模型数据,预训练模型为状态空间模型结构下的模型;根据模型数据确定预训练模型中需要进行数据处理加速的第一算子;对第一算子进行解耦处理,得到第一算子对应的第二算子,第二算子对应的硬件处理单元和第一算子对应的硬件处理单元不同;获取第二算子对应的待处理数据,并确定待处理数据对应的离散化参数;根据第二算子对待处理数据和离散化参数进行数据处理,得到数据处理结果。以此,通过模型的第一算子进行解耦出的第二算子可以被其他硬件处理单元加载,并对待处理数据进行离散化处理减少模型的计算量,提升了数据处理效率。
-
公开(公告)号:CN119420940B
公开(公告)日:2025-04-08
申请号:CN202510019861.2
申请日:2025-01-07
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种面向机器视觉的数据处理方法、装置、设备及介质,属于视觉数据处理技术领域。方法包括:将获取到的初始视觉信息输入训练好的端侧压缩模型中,通过多层次编码器对初始视觉信息进行不同类型的特征提取,得到各个层次下相应类型的编码特征;基于视觉码本对各编码特征分别进行矢量量化处理得到相应类型的压缩信息,以使边云侧系统在接收到的各类型下的压缩信息之后,通过多层次解码器对不同类型压缩信息表征的编码特征进行特征重构,得到各个层次下相应类型的解码特征,进而得到与初始视觉信息匹配的目标视觉信息。本申请能够提高视觉数据的传输效率。
-
公开(公告)号:CN119380125B
公开(公告)日:2025-04-01
申请号:CN202411976862.8
申请日:2024-12-31
Applicant: 鹏城实验室
IPC: G06V10/764 , G06V10/25 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本申请公开了一种模型训练方法、车辆识别方法、装置、电子设备及介质,涉及神经网络技术领域。模型训练方法将车辆训练图像输入至初始车辆识别模型得到第一训练图像特征,将车辆增强训练图像输入至训练辅助模型得到第二训练图像特征。然后分别得到局部对比损失、全局对比损失、类间对比损失和类类对比损失,从而得到总损失,基于总损失对初始车辆识别模型的第一网络参数进行迭代更新。在迭代更新的过程中,通过类间对比损失和类类对比损失,提高目标车辆识别模型对不同类别车辆的判别的准确性,以及提高相同类别车辆的位置回归精度,通过局部对比损失和全局对比损失,能够增强目标车辆识别模型的局部和全局特征分布。
-
公开(公告)号:CN112926599B
公开(公告)日:2025-02-07
申请号:CN202110260927.9
申请日:2021-03-10
Applicant: 鹏城实验室
IPC: G06V10/40 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种目标检测方法、装置、智能终端及计算机可读存储介质,其中,上述目标检测方法包括:获取源域图像和目标域图像;对上述源域图像和目标域图像进行特征提取,获取图像特征;基于上述图像特征,获取域不变特征;基于上述域不变特征获取域不变区域特征;基于上述域不变区域特征进行目标检测。其中,上述域不变区域特征即为域不变的实例特征。如此,与现有技术相比,本发明方案考虑了对目标检测非常重要的实例级表示,因而可以使用于专注实例特征层面的目标检测任务,且有利于提高目标检测方法的准确性和迁移能力。
-
公开(公告)号:CN112464749B
公开(公告)日:2025-02-07
申请号:CN202011251133.8
申请日:2020-11-11
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于规则与学习的交通场景异常目标检测方法,所述方法包括:获取实时采集的交通场景视频数据;对所述交通场景视频数据进行统计和运算,得到目标物体的疑似异常运动信息;根据所述疑似异常运动信息和交通规则,确定交通场景异常运动的目标。本发明实施例通过将采集的交通场景视频数据进行统计和运算,得到目标物体的疑似异常运动信息,再根据疑似异常运动信息和交通规则确定出交通场景异常运动的目标,运算量小,实现高实时性,对交通场景异常运动目标的确定更加精准。
-
公开(公告)号:CN114900656B
公开(公告)日:2025-01-28
申请号:CN202210416036.2
申请日:2022-04-20
Applicant: 鹏城实验室
Abstract: 本发明公开了一种交通监控视频流处理方法、装置、系统及存储介质,方法包括:将预设区域的多个路边单元与多个摄像头建立通信连接,并在多个路边单元中更新信息表;根据更新后的信息表和多特征流传输的实时调度算法,在边缘服务器中确定多特征的选择性传输策略和计算资源分配策略;根据确定的策略信息在多个摄像头中上传与预设任务信息对应的视频流,并在边缘服务器中对上传的视频流进行在线推理和分析;根据在线推理和分析结果对预设任务信息中的目标对象进行实时追踪及预测,并输出追踪及预测结果。本发明提出了用于大规模实时监控视频流处理的一体化端‑边‑云架构,为现有的交通监控系统提供精准的低能耗响应及控制服务。
-
-
-
-
-
-
-
-
-