公开(公告)号：CN118939395A

公开(公告)日：2024-11-12

申请号：CN202410970947.9

申请日：2024-07-19

Applicant: 北京邮电大学

Inventor： 徐鹏 ,  刘年超 ,  温自强 ,  于秀丽 ,  杨王颖

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供了一种面向大模型应用的任务分发方法及系统，涉及资源调度技术领域，方法包括：使用消息队列分发不同类型的任务到请求分发器；使用用户配置的分组策略对同一类型的任务分组，得到不同的任务组；基于最优匹配算法将不同的任务组调度到执行组件进行执行。本发明进行多个大模型任务的调度，能够充分利用到大模型推理优化手段中最重要的批处理方法，能够有效管理部署在多个节点的大模型，能够根据不同的请求类型对大模型任务进行分发，能够高效地调度大模型执行具体任务，还支持拓展或减少大模型任务类型。

公开(公告)号：CN118296413A

公开(公告)日：2024-07-05

申请号：CN202410344839.0

申请日：2024-03-25

Applicant: 北京邮电大学

Inventor： 徐鹏 ,  杨王颖 ,  吴宇轩

IPC: G06F18/231 ,  G06N3/0475 ,  G06N3/094 ,  G06F123/02

Abstract: 本申请提供一种预测方法及相关设备。所述方法包括：基于获取的运维时序数据的内部数据权重对运维时序数据进行树形聚合处理，得到运维时序数据聚合树；计算运维时序数据聚合树中各向量的相关系数，并基于相关系数计算得到与运维时序数据聚合树对应的特征时序数据向量；对特征时序数据向量利用引入残差连接的信息提取网络进行预测，得到运维时序数据对应的预测结果。本申请实施例通过在主编码器中引入残差连接，确保了即使堆叠网络深度，输出层也能够直接获取到更多的输入信息，从而保持模型训练的稳定性。引入生成对抗网络，对于价值函数网络的每次迭代，基于最优传输距离更新梯度，然后剪切权重，有效地解决了长序列状态梯度爆炸的问题。