-
公开(公告)号:CN112614039A
公开(公告)日:2021-04-06
申请号:CN202011560006.6
申请日:2020-12-25
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种基于任务驱动的图像预处理算法评估方法,其步骤包括:1)根据设置的视觉处理任务,选择对应评估指标,并构造该视觉处理任务相应的测试数据集;所述测试数据集包括基准测试子集以及不同条件的测试子集;2)在基准测试子集上分别对各所选视觉处理任务模型进行训练,得到训练好的视觉处理任务模型;3)选取多种被评估的图像预处理算法,分别对同一条件的测试子集进行图像预处理;4)使用训练好的视觉处理任务模型,对预处理前后的同一条件的测试子集进行视觉处理任务并进行评估;5)通过对比各训练好的视觉处理任务模型对图像预处理前后的视觉处理任务的评估指标,得到同一条件下各图像预处理算法的评估结果。
-
公开(公告)号:CN111983934A
公开(公告)日:2020-11-24
申请号:CN202010803542.8
申请日:2020-08-11
Applicant: 中国科学院软件研究所
IPC: G05B17/02
Abstract: 本发明公开一种无人车仿真测试用例生成方法及系统,涉及无人车测试技术领域,通过在仿真环境中选择测试用例的测试场地;确定所述测试用例中的主车和参与者的初始状态,并在所述测试场地中生成主车和参与者;根据原子行为动作设计所述测试用例中所述参与者的动作行为,设计所述主车的判定规则;将被测对象连接到所述仿真环境的所述主车,并控制所述参与者进行测试;根据所述参与者的动作行为和所述主车的判定规则,分析测试数据,返回测试结果。本发明突破了传统无人车仿真测试利用固定测试用例的局限性,为测试用例设计带来了极大的灵活性,为自动驾驶领域构建基于模型的测试验证奠定了技术基础。
-
公开(公告)号:CN118331845A
公开(公告)日:2024-07-12
申请号:CN202410172770.8
申请日:2024-02-07
Applicant: 中国科学院软件研究所
IPC: G06F11/36
Abstract: 本公开涉及深度神经网络模型的质量测评方法、装置及设备,属于人工智能领域。所述方法包括:构建包括多个质量评估指标的测试方案,并基于深度神经网络模型的应用场景获取测试数据集;基于测试方案和测试数据集对深度神经网络模型进行测试,得到多个质量评估指标的取值;获取深度神经网络模型在测试过程中的神经元激活情况,并基于神经元激活情况执行测试充分性验证;在深度神经网络模型未通过测试充分性验证的情况下,调整测试数据集;在深度神经网络模型通过测试充分性验证的情况下,基于多个质量评估指标的取值确定深度神经网络模型的质量评估结果。本发明能够实现对深度神经网络模型进行充分且全面的质量测评。
-
公开(公告)号:CN117349138A
公开(公告)日:2024-01-05
申请号:CN202311426533.1
申请日:2023-10-31
Applicant: 中国科学院软件研究所
IPC: G06F11/34
Abstract: 本公开涉及面向无人系统感知的可解释性评估方法及装置,属于无人系统感知技术领域。所述方法包括:获取评估数据集,以及无人系统针对评估数据集中各个样本的感知结果;获取掩码规则和评估阈值;按照掩码规则和评估阈值,采用不同可解释测试方法,确定各个样本的第一最有效特征和第一有效特征比率以及第二最有效特征和第二有效特征比率;基于各个样本的第一最有效特征和第二最有效特征以及第一有效特征比率和第二有效特征比率,确定各个样本下不同可解释测试方法对无人系统的可解释一致性和可解释有效性;基于所有样本下可解释有效性和可解释一致性,确定无人系统的感知性能。本公开能够实现对无人系统的感知推理能力进行有效、充分且准确地评估。
-
公开(公告)号:CN113536564B
公开(公告)日:2023-11-28
申请号:CN202110789217.5
申请日:2021-07-13
Applicant: 中国科学院软件研究所
IPC: G06F30/20 , G06F11/36 , G06F111/02
Abstract: 本发明涉及一种基于虚拟仿真的无人蜂群自主协同评估方法及系统。该方法包括:获取虚拟仿真环境的配置参数;配置无人蜂群构型、挂载等,获取无人蜂群的配置参数;获取无人蜂群测试任务的配置参数;获取无人蜂群任务执行过程中的实时参数;综合获取的各项参数计算无人蜂群的基本能力指标、任务能力指标、智能水平指标;根据指标计算的结果进行无人蜂群自主协同能力的评估。本发明基于虚拟仿真的测试手段搭建出适合于无人蜂群自主协同能力及灵活多样群组变化需求的测试框架,设计了与自主协同能力评估相关的、较为全面的数据获取方案和数据采集方案,形成了无人蜂群自主协同评估度量模型和评估体系,实现了无人蜂群自主协同能力
-
公开(公告)号:CN113535555B
公开(公告)日:2023-06-27
申请号:CN202110784453.8
申请日:2021-07-12
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向强化学习模型的容器化测试方法与系统。本方法为:1)测试方根据待建的测试任务制作测试环境Docker镜像、代理Docker镜像及其对应的连接模块、回调模块、评估模块,然后将连接模块封装到代理Docker镜像文件模板中;2)测试方在测试平台上创建测试任务,并上传镜像文件到测试方服务器;3)被测方下载测试任务的镜像文件训练代理,将训练后的代理集成到代理Docker镜像并上传至测试方服务器;4)测试方服务器在新上传的代理Docker镜像文件中添加或替换回调模块和评估模块,并对其进行重新封装得到新的代理Docker镜像后,开始运行测试任务;5)测试方服务器将测试过程数据传回测试平台。
-
公开(公告)号:CN115877821A
公开(公告)日:2023-03-31
申请号:CN202211584110.8
申请日:2022-12-09
Applicant: 中国科学院软件研究所
IPC: G05B23/02 , G01M17/007
Abstract: 本公开涉及一种车辆机动平稳性评估方法、装置、电子设备和存储介质,涉及自动驾驶技术领域。所述方法包括:获取待评估车辆经过的路段的高精地图和行驶数据,待评估车辆基于待测的自动驾驶方案行驶;根据高精地图和行驶数据,确定至少一个横向机动评估参数和至少一个纵向机动评估参数;基于至少一个横向机动评估参数计算横向机动平稳度;基于至少一个纵向机动评估参数计算纵向机动平稳度;根据横向机动平稳度和纵向机动平稳度,确定待评估车辆执行待测的自动驾驶方案时的机动平稳度。本公开可以对车辆在执行自动驾驶方案时的平稳性进行比较准确的评价,以保证评估结果的有效性。
-
公开(公告)号:CN115860105A
公开(公告)日:2023-03-28
申请号:CN202211584429.0
申请日:2022-12-09
Applicant: 中国科学院软件研究所
IPC: G06N3/092 , G06N3/049 , G06N3/0464
Abstract: 本公开涉及一种行人模型的训练方法、装置、电子设备以及存储介质,属于自动驾驶技术领域。所述方法包括:构建行人模型;根据仿真系统的地图信息和仿真系统中目标车辆的行驶信息,得到行人模型的训练数据;其中,目标车辆为仿真系统中正在行驶的车辆,且目标车辆与行人模型发生交通事故的概率大于预设概率;利用训练数据,对行人模型进行强化学习的训练,以使训练后的行人模型与目标车辆发生交通事故的概率大于预设阈值,预设阈值大于预设概率。本公开可以通过行人模型模拟实际开放道路场景下的各种突发情况,对自动驾驶车辆进行有效的测试。
-
公开(公告)号:CN115757125A
公开(公告)日:2023-03-07
申请号:CN202211435590.1
申请日:2022-11-16
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向自动驾驶的关键场景生成方法、装置及计算机设备,属于自动驾驶技术领域。所述方法包括:获取自动驾驶测试的测试任务对应的场景描述信息;从场景地图中获取符合场景描述信息的测试区域,并在测试区域中针对被测对象设置符合测试任务的行驶路线;从场景描述信息中提取场景参与者的原子动作;初始化强化学习模型对应的经验回放池,并基于场景描述信息、测试区域以及行驶路线,构建样本数据以存储至经验回放池;从经验回放池中抽取样本数据对强化学习模型进行更新,并通过更新后的强化学习模型获取原子动作的确定参数值;基于所有原子动作的确定参数值,生成用于实现测试任务的关键场景。本发明能够提升关键场景的生成效率。
-
公开(公告)号:CN115204655A
公开(公告)日:2022-10-18
申请号:CN202210805581.0
申请日:2022-07-08
Applicant: 中国科学院软件研究所
IPC: G06Q10/06 , G01M17/007
Abstract: 本发明公开了一种无人车自主能力评估方法、装置、设备及存储介质,涉及自动驾驶领域。所述方法包括:获取针对参考无人车的多个测试任务;获取测试任务的任务困难度计算所基于的度量值;获取测试任务的测试数据;获取测试任务的环境复杂度计算所基于的度量值;获取测试任务的任务完成质量;获取多个任务样本,基于多个任务样本调整任务评估模型、环境评估模型以及自主能力等级模型的参数;通过任务评估模型和环境评估模型,计算多个测试任务的任务困难度和环境复杂度,并结合多个测试任务的任务完成质量,获取自主能力边界曲线;通过自主能力等级模型和自主能力边界曲线,评估目标无人车的自主能力。本发明实现了对无人车自主能力水平的准确评估。
-
-
-
-
-
-
-
-
-