一种大语言模型下的动态推理方法和系统

    公开(公告)号:CN119150863B

    公开(公告)日:2025-03-18

    申请号:CN202411566454.5

    申请日:2024-11-05

    Abstract: 针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题,本发明提出了一种大语言模型下的动态推理方法和系统,通过将用户输入的提示语句进行分词处理,并利用两个不同的识别模型分别计算每个分词的匹配度,进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程,具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时,相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率,使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配,从而提高了整体的响应速度和准确性。

    一种大语言模型下的动态推理方法和系统

    公开(公告)号:CN119150863A

    公开(公告)日:2024-12-17

    申请号:CN202411566454.5

    申请日:2024-11-05

    Abstract: 针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题,本发明提出了一种大语言模型下的动态推理方法和系统,通过将用户输入的提示语句进行分词处理,并利用两个不同的识别模型分别计算每个分词的匹配度,进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程,具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时,相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率,使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配,从而提高了整体的响应速度和准确性。

    一种无线无源温度传感器
    3.
    发明公开

    公开(公告)号:CN119334490A

    公开(公告)日:2025-01-21

    申请号:CN202411854534.0

    申请日:2024-12-17

    Abstract: 本发明涉及一种无线无源温度传感器,包括:温敏层;第一电感线圈、第二电感线圈,磁性薄膜。所述第一电感线圈固定设置于所述温敏层的一侧,所述第二电感线圈固定设置于所述温敏层的另一侧,以垂直于所述温敏层的方向为中心,所述第一电感线圈、所述第二电感线圈均呈螺旋设置,且所述第一电感线圈、所述第二电感线圈的螺旋方向相反;磁性薄膜,位于所述第二电感线圈背离所述温敏层的一侧,且所述磁性薄膜与所述第二电感线圈固定抵接;或者,所述磁性薄膜位于所述第一电感线圈背离所述温敏层的一侧,且所述磁性薄膜与所述第一电感线圈固定抵接;所述磁性薄膜与所述温敏层间隔设置。本申请的传感器具有高灵敏性,准确度高等优异性能。

Patent Agency Ranking