面向资源受限终端的深度模型计算图峰值内存优化方法

    公开(公告)号:CN119376930A

    公开(公告)日:2025-01-28

    申请号:CN202411408404.4

    申请日:2024-10-10

    Abstract: 本申请的实施例涉及峰值内存优化技术领域,特别涉及一种面向资源受限终端的深度模型计算图峰值内存优化方法,包括:获取深度模型的计算图,若深度模型的网络架构为不规则网络架构,利用面向不规则网络架构的最优拓扑排序搜索算法进行搜索;在搜索步骤i开始时,获取当前的状态信息,包括到目前为止的调度序列Si、内存占用μi、以及到目前为止的峰值内存占用#imgabs0#选择一个未调度的节点ui进行调度;当ui被调度后,ui的输出被激活形成Si+1和μi+1;更新峰值内存占用得到#imgabs1#将ui之前的出度变为0的节点释放并更新μi+1;进入下一个搜索步骤,直至找到满足所有约束条件的最优解,得到最优执行顺序并执行。该方法实现了深度模型运行时峰值内存使用的最优化。

    面向智能物联网异构嵌入式芯片的自适应算子并行分割方法

    公开(公告)号:CN119201622A

    公开(公告)日:2024-12-27

    申请号:CN202411328256.5

    申请日:2024-09-24

    Abstract: 本发明公开了一种面向智能物联网异构嵌入式芯片的自适应算子并行分割方法,首先,基于随机森林回归算法的能耗预测模型进行能耗预测;针对多种硬件环境和任务特征,构建能耗数据集并进行特征选择,实现对设备状态和任务需求的实时监测和能耗精准预测。其次,基于动态规划算法的算子自适应划分方法,用于深度神经网络在多异构处理器上的高效并行推理。在能耗预测的基础上,综合考虑算子之间的依赖关系、跨处理器的数据通信开销及处理器的动态资源情况,确保系统在满足性能要求的同时达到最佳能效。通过以上方法,本发明显著提高了移动设备上深度神经网络推理的能效和响应速度,解决了现有技术中静态划分方法难以适应动态环境的问题。

    一种基于用户信念的情感支持对话方法

    公开(公告)号:CN119106687A

    公开(公告)日:2024-12-10

    申请号:CN202411094919.1

    申请日:2024-08-11

    Abstract: 本发明公开了一种基于用户信念的情感支持对话方法,利用过去的对话信息、用户性格、情绪、场景共同构成用户的特征向量,然后基于大语言模型代理和知识图谱的方式,生成发散性扩充模型,得出用户情景向量。基于心智理论的一致性算法,在信息流一致性和连贯性的前提下,生成一致性检验模型,将情景向量映射为用户的信念向量,加入到信念库中。本方法从生成式人工智能的角度,模拟了人与系统之间的认知过程,总体上分为三步——觉察、猜测、验证。在动态获取了对话的基本信息之后,利用发散性扩充模型通过生成详细的描述文本和知识链,增强了对用户的认知。随后经过一致性模型确保了信念信息的动态更新情况与用户真实情况的高度相关性。

Patent Agency Ranking