-
公开(公告)号:CN111007719B
公开(公告)日:2022-08-05
申请号:CN201911102180.3
申请日:2019-11-12
Applicant: 杭州电子科技大学
IPC: G05B13/04
Abstract: 本发明公开了一种基于领域自适应神经网络的自动驾驶转向角度预测方法。本发明包括以下步骤:1、获取真实场景数据集和虚拟场景数据集,数据预处理。2、使用两个参数独立但结构相同的卷积神经网络提取语义特征。3、将特征向量输入转向角度预测网络和领域分类网络并建模一组对抗性的损失函数。4、模型训练,优化损失函数。5、保留语义特征提取网络和转向角度预测网络,对模型进行测试或应用。本发明提出用一种端到端的对抗性神经网络架构实现角度预测模型从虚拟环境数据集到真实环境数据集的领域自适应,并针对此神经网络架构设计了合适的损失函数和训练方法,提高了模型在多种真实驾驶场景下的准确性和泛化性。
-
公开(公告)号:CN110443883B
公开(公告)日:2023-04-07
申请号:CN201910609674.4
申请日:2019-07-08
Applicant: 杭州电子科技大学
IPC: G06T17/00 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于dropblock的单张彩色图片平面三维重建方法,包括以下步骤:步骤S1:使用ScanNet数据集和Dropblock正则化方法训练卷积神经网络模型;步骤S2:使用经过训练的卷积神经网络对单张彩色图片进行示例分割和深度估计;步骤S3根据步骤S2得到的平面实例分割和深度估计融合一个三维模型。与现有技术相比,将单张彩色图片进行尺度归一化后,通过经dropblock方法训练好的卷积神经网络进行平面实例分割和深度估计,然后投影到三维空间完场三维模型的构建,从而能够提高计算速度和精度。
-
公开(公告)号:CN116776938A
公开(公告)日:2023-09-19
申请号:CN202310694109.9
申请日:2023-06-13
Applicant: 杭州电子科技大学
IPC: G06N3/0475 , G06N3/094 , G06V10/764 , G06V10/82 , G06N3/045 , G06N3/0499
Abstract: 本发明公开了一种基于对抗式训练的多模态适配网络学习方法,包括如下步骤:S1、构建对抗式多模态适配网络,包括多模态模型的构建和对抗式扰动生成器的构建;S2、设置损失函数,包括原始损失、扰动后损失和扰动差异损失;S3、所构建的多模态模型朝着最小化所设置的损失函数的损失方向优化,所构建的对抗式扰动生成器朝着最大化所设置的损失函数的损失方向进行优化。该方法在现有的多模态模型上搭建用于适配下游任务的适配器和用于生成对抗式噪声扰动的扰动生成器,并将适配器与扰动生成器统一在一个对抗式训练的框架中进行端到端的训练,使得多模态模型在对下游任务的适配上能够获得更好的稳健性与泛化性。
-
公开(公告)号:CN110443883A
公开(公告)日:2019-11-12
申请号:CN201910609674.4
申请日:2019-07-08
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于dropblock的单张彩色图片平面三维重建方法,包括以下步骤:步骤S1:使用ScanNet数据集和Dropblock正则化方法训练卷积神经网络模型;步骤S2:使用经过训练的卷积神经网络对单张彩色图片进行示例分割和深度估计;步骤S3根据步骤S2得到的平面实例分割和深度估计融合一个三维模型。与现有技术相比,将单张彩色图片进行尺度归一化后,通过经dropblock方法训练好的卷积神经网络进行平面实例分割和深度估计,然后投影到三维空间完场三维模型的构建,从而能够提高计算速度和精度。
-
公开(公告)号:CN116644316A
公开(公告)日:2023-08-25
申请号:CN202310629849.4
申请日:2023-05-31
Applicant: 杭州电子科技大学
IPC: G06F18/214 , G06F18/24 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种面向多模态多任务学习的轻量化适配网络学习方法,包括如下步骤:1、构建下游任务数据集,2、构建深度自注意力网络模型,3、预训练权重裁剪,4、构建任务适配器,5、适配预训练模型,6、设计渐进式引导蒸馏训练并训练模型。该方法对预训练模型部分权重进行裁剪,并采用高效的任务适配器与之适配。本发明提出了一种渐进式引导蒸馏训练算法以更好地填补预训练任务和下游任务之间的差异,保证了模型在下游任务上的性能。本发明可以与任何现有的基于深度自注意力网络的预训练模型相结合,通过训练得到在下游任务性能、模型部署时总存储开销、模型推理时计算开销和模型配置灵活性等方面均存在优越性的适配器模型。
-
公开(公告)号:CN116595151A
公开(公告)日:2023-08-15
申请号:CN202310744506.2
申请日:2023-06-25
Applicant: 杭州电子科技大学
IPC: G06F16/332 , G06N5/04 , G06F16/583
Abstract: 本发明提出一种基于先验知识启发大语言模型的图像推理问答方法。本发明其核心在于通过在大语言模型上游引入一个可学习的、任务相关的视觉问答小模型,更好地激发大模型的潜力以解决视觉知识推理任务。本方法首次提出基于先验知识启发的方法,通过在大语言模型上游引入一个可学习的、任务相关的视觉问答小模型,构建先验知识启发向大语言模型输入更多图片的细节和关键信息,充分激发大语言模型的潜能,进而得到更好的结果,相比于先前的基于大语言模型的方法性能有了很大提升。
-
公开(公告)号:CN111007719A
公开(公告)日:2020-04-14
申请号:CN201911102180.3
申请日:2019-11-12
Applicant: 杭州电子科技大学
IPC: G05B13/04
Abstract: 本发明公开了一种基于领域自适应神经网络的自动驾驶转向角度预测方法。本发明包括以下步骤:1、获取真实场景数据集和虚拟场景数据集,数据预处理。2、使用两个参数独立但结构相同的卷积神经网络提取语义特征。3、将特征向量输入转向角度预测网络和领域分类网络并建模一组对抗性的损失函数。4、模型训练,优化损失函数。5、保留语义特征提取网络和转向角度预测网络,对模型进行测试或应用。本发明提出用一种端到端的对抗性神经网络架构实现角度预测模型从虚拟环境数据集到真实环境数据集的领域自适应,并针对此神经网络架构设计了合适的损失函数和训练方法,提高了模型在多种真实驾驶场景下的准确性和泛化性。
-
-
-
-
-
-