公开(公告)号：CN119476451A

公开(公告)日：2025-02-18

申请号：CN202510067225.7

申请日：2025-01-16

Applicant: 浙江大学

Inventor： 王闻箫 ,  邱奇波 ,  林彬彬 ,  何晓飞

IPC: G06N5/022 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/044 ,  G06N3/08

Abstract: 本发明公开了一种基于混合保留度的专家大模型训练方法，包括：在选定基础大模型的任意层后面插入混合保留度层，得到专家大模型；对混合保留度层进行设置；所述混合保留度层由M个专家组成，其中每个专家均具有预先设定的参数；在混合保留度层中引入路由模块，根据输入特征动态选择专家，通过高斯噪声向量增加路由的随机性；并通过设置策略来设置M个专家的参数值；通过任务相关的损失函数和负载均衡损失函数以训练混合保留度层，在训练过程中，混合保留度层保持可训练状态，而专家大模型的其他部分保持冻结状态。本发明设计的负载均衡损失，使得每个专家被充分训练；并且从源头保证每个专家存在差异性。

公开(公告)号：CN119440718A

公开(公告)日：2025-02-14

申请号：CN202411415621.6

申请日：2024-10-11

Applicant: 浙江大学

Inventor： 赵洋 ,  王闻箫 ,  林彬彬 ,  蔡登

IPC: G06F9/455 ,  G06F9/50

Abstract: 本发明公开了一种在分布式流计算引擎Apache Flink中实时均衡负载的方法，包括在Flink内核中新增可以进行子任务重新分配的重启功能及其接口；为Flink增加根据节点数评估子任务计算量并综合考虑计算节点计算能力的子任务分配策略；在新增计算节点时自动将正在执行中的流任务的工作负载均衡到新增计算节点上；在遇到突发流量时自动均衡计算节点集群的工作负载。本发明依靠高效的重启功能、更加均衡的子任务分配策略、更实时且自动的均衡负载手段，使本发明方法在保证用户无感知的前提下，能更快、更好的实现分布式Flink系统的负载均衡，提升流计算引擎整体的任务执行效率和资源利用率。

公开(公告)号：CN119090917A

公开(公告)日：2024-12-06

申请号：CN202411209061.9

申请日：2024-08-30

Applicant: 浙江大学

Inventor： 戴宇晗 ,  王闻箫 ,  林彬彬 ,  蔡登

IPC: G06T7/246 ,  G06V10/25 ,  G06V10/40 ,  G06V10/75 ,  G06V10/764 ,  G06V10/82 ,  G06V20/40 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于时间记忆和GNN的多目标跟踪方法，包括训练LSTM、GhostNetV3、GCN模型，使用预训练的YOLOX对视频的每一帧进行目标检测得到检测框；将每一个跟踪到的方框送入对应的LSTM网路中得到预测框，拿YOLOX得到的检测框和LSTM得到的预测框做匹配，对当前帧的目标检测结果进行分类，分别做不同的处理；本发明使用YOLOX作为检测器、使用LSTM来进行预测、使用GCN高效地处理多节点之间复杂的关系，使用GhostNetV3保证特征提取效果的同时降低计算复杂度，使本发明方法在保证运行精度的前提下，能更快提取出特征，仍然保持着较高的帧率和舒适的视觉效果。

公开(公告)号：CN117152262A

公开(公告)日：2023-12-01

申请号：CN202310906810.2

申请日：2023-07-24

Applicant: 浙江大学

Inventor： 曹晨 ,  王闻箫 ,  蔡登

IPC: G06T7/80 ,  G06V10/42 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种用于自动驾驶的端到端相机与激光雷达标定方法，包括：(1)对点云数据根据3D编码器进行层次化特征提取；(2)对图像数据根据2D编码器进行层次化特征提取；(3)根据点云和图像特征进行注意力融合，得到加权点特征；(4)将点云编码器得到的层次化特征和加权点特征输入到层次化解码器，得到逐点特征；(5)对逐点特征根据两层共享感知机预测该点是否位于相机视锥范围内，输出一个二分类结果；(6)对逐点特征根据另外两层共享感知机预测该点的标定结果；(7)根据二分类结果对标定结果进行过滤，对过滤后的标定结果进行聚合得到最终的相机与点云之间的标定参数。本发明可以避免流水线模式造成的误差累积，提高标定精度。

公开(公告)号：CN117032243A

公开(公告)日：2023-11-10

申请号：CN202311043080.4

申请日：2023-08-18

Applicant: 浙江大学 ,  宁波舟山港集团有限公司

Inventor： 贾丙西 ,  任海东 ,  茹祥宇 ,  杨政 ,  何晓飞 ,  林彬彬 ,  王闻箫

IPC: G05D1/02

Abstract: 本发明公开了一种基于集装箱卡车检测的状态观测方法。方法将所要状态观测的参数分为横向和纵向的两部分，两部分分别进行处理建立对应的状态观测模型，将历史采集的横向和纵向两部分的参数由状态观测模型输入到同一目标函数中进行最优控制处理获得各自观测值，进而用于集装箱卡车的无人驾驶控制。本发明能够去除噪声实现有效的滤波，实现准确观测，能够对没有办法直接检测的速度、加速度、曲率等状态信息进行准确观测。

公开(公告)号：CN116645575A

公开(公告)日：2023-08-25

申请号：CN202310633481.9

申请日：2023-05-31

Applicant: 浙江大学

Inventor： 魏直晟 ,  武伯熹 ,  王闻箫 ,  林彬彬 ,  蔡登 ,  何晓飞

IPC: G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V10/762 ,  G06V10/25 ,  G06V20/58 ,  G06T7/80 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种基于图像点云互信息的交通指示灯半自动化标注方法，包括如下步骤：(1)收集交通指示灯数据集，预处理后进行数据标注和增强；(2)使用步骤(1)的数据训练一个目标检测模型，所述的目标检测模型采用改进的加入锚定框优化和注意力机制的YOLOv4模型；使用训练好的目标检测模型对道路视频图像进行检索，找到含有道路交通指示灯的图片；(3)通过激光雷达和相机的联合标定，将2D图像的像素点反投影到激光雷达坐标系的3D点云数据；(4)人工对自动标注出的红绿灯位置进行校验和修正。利用本发明，有助于提升高精度地图制作效率和精确度，为自动驾驶系统提供了更精确的交通指示灯定位信息。

公开(公告)号：CN116310720A

公开(公告)日：2023-06-23

申请号：CN202310202582.0

申请日：2023-03-06

Applicant: 浙江大学

Inventor： 陈蔚 ,  王闻箫 ,  蔡登

IPC: G06V10/82 ,  G06V10/26 ,  G06V10/40 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于幅值冷却与可变分组变换器的图像目标检测和语义分割方法，包括：(1)将输入图片划分为若干小块，分别进行嵌入并添加位置编码；(2)将得到的输入向量通过若干串行的可变分组的注意力模块和幅值冷却模块，得到图像表征；(3)将图像表征通过块融合模块，得到降采样的图像表征；(4)将步骤(2)～(3)作为一个阶段，串行地堆叠多阶段，得到层次化的图像表征；(5)将层次化的图像表征输入到目标检测和语义分割相应的任务头中，训练模型；(6)将采集的图片处理后输入训练好的模型中，针对目标检测或语义分割分别输出结果。本发明具有更高的目标检测和语义分割处理速度、更稳定的训练过程以及更快的模型收敛速度。

公开(公告)号：CN111881828A

公开(公告)日：2020-11-03

申请号：CN202010738838.6

申请日：2020-07-28

Applicant: 浙江大学

Inventor： 王闻箫 ,  蔡登

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向移动端设备的障碍物检测方法，包括：(1)选择障碍物检测模型；(2)将训练完的检测模型的识别准确率a作为因变量，模型的深度d、宽度w和图片大小r作为自变量；(3)分别对模型的深度d、宽度w和图片大小r进行剪枝，并在数据集上对模型进行微调，用函数f拟合a与d、w、r之间的关系；(4)通过优化函数求解最优的深度、宽度和图片大小(dm，wm，rm)，并根据求得的(dm，wm，rm)，导出对应的精简模型结构；(5)在数据集上对精简模型进行训练；(6)在移动端设备运行精简模型，实时输入周围的环境照片，进行障碍物识别。本发明使深度卷积神经网络可以满足移动端设备的流畅性要求，同时使障碍物检测具有较高的准确率。

公开(公告)号：CN119443267A

公开(公告)日：2025-02-14

申请号：CN202411479942.2

申请日：2024-10-23

Applicant: 浙江大学

Inventor： 李嘉明 ,  谢亮 ,  王闻箫 ,  林彬彬

IPC: G06N5/04 ,  G06F18/2411 ,  G06F17/10

Abstract: 本发明公开了一种基于特征分类器的思维链推理数学问题求解方法及系统，包括：(1)获取数学问题集并选取正向与反向思维链示例进行拼接组成新集合；(2)将新集合元素分别输入模型进行推理构建单词级别的推理路径生成树，选择池化差值处理后的注意力权重矩阵作为节点特征进行存储；(3)遍历生成的所有推理路径生成树，筛选符合要求的节点构建特征分类器训练集；(4)使用支持向量机算法训练特征分类器；(5)通过训练好的特征分类器，参与预训练语言模型推理过程中路径的选择，获得较为准确的推理过程及答案。利用本发明，可以实现对于预训练语言模型推理路径更细颗粒度的调整把控，有利于其在数学问题上的准确推理求解，提升其泛化水平。

公开(公告)号：CN119399443A

公开(公告)日：2025-02-07

申请号：CN202411537179.4

申请日：2024-10-31

Applicant: 浙江大学

Inventor： 侯辰舒 ,  王闻箫 ,  何晓飞 ,  蔡登

IPC: G06V10/25 ,  G06V10/40 ,  G06N3/0455 ,  G06F18/213 ,  G06F18/25 ,  G06N3/047 ,  G06N3/048

Abstract: 本发明公开了一种基于自适应位置编码和并行解码的3D视觉定位方法及系统，其中方法包括：使用文本编码器处理输入的自然语言文本，得到文本令牌和特征；使用视觉编码器处理3D点云输入，得到种子点和特征；采用交叉编码器对视觉和文本特征进行互调，更新文本特征和视觉特征；预测种子点的置信度分数并排序，选出分数最高的候选点作为查询；根据自然语言描述的语义将文本令牌分为目标物体属性令牌和周围空间环境令牌；使用双分支并行解码器，生成新的查询特征，并由框预测头生成粗预测框；将生成的查询特征投影到位置特征和对象语义特征中，用于计算损失并训练网络；使用查询特征的投影结果为粗预测框评分，取分数最高者为视觉定位结果。