-
公开(公告)号：CN119597471A
公开(公告)日：2025-03-11
申请号：CN202411657605.8
申请日：2024-11-19
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
Abstract: 本申请涉及一种基于细粒度调度的模型训练方法、装置、设备和存储介质，通过获取第一样本序列；将第一样本序列输入至模型进行训练，并在训练过程中为各第一样本序列分配显存空间，以及对各第一样本序列基于单独线程进行运算；在有任一第一样本序列完成反向传播的情况下，释放该第一样本序列占用的显存空间，并将新的第二样本序列输入至模型进行训练；解决了大语言模型在训练过程中存在运算资源浪费的问题。
-
公开(公告)号：CN119396875A
公开(公告)日：2025-02-07
申请号：CN202411268074.3
申请日：2024-09-10
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G06F16/2455 , G06F16/2453 , G06N3/0464
Abstract: 本申请涉及一种基于代理模型的推理查询动态自适应优化方法和装置。其中，方法包括：接收数据查询请求，数据查询请求包含待处理数据和系统资源；根据数据查询请求生成多个候选查询计划，各候选查询计划包括待处理数据的分布状态以及相对应的系统资源配置；将多个候选查询计划输入至深度学习模型，预测得到对应于各候选查询计划的执行时间；选择最短执行时间的候选查询计划进行执行。通过该方法，能够实现推理查询动态自适应优化，提升数据查询的效率。
-
公开(公告)号：CN119862210A
公开(公告)日：2025-04-22
申请号：CN202510347551.3
申请日：2025-03-24
Applicant: 浙江大学 , 杭州高新区(滨江)区块链与数据安全研究院
IPC: G06F16/2453 , G06F16/22 , G06F16/2455 , G06F16/248 , G06F40/30
Abstract: 本发明公开了一种基于动态查询编译缓存优化的数据库查询执行方法和装置，属于数据库管理系统领域。接收用户输入的查询语句并构建抽象语法树；根据抽象语法树生成对应的标识符，查找匹配的机器代码，加载并执行能被复用的匹配的机器代码得到执行结果；对没有查找到匹配的机器代码的用户输入的查询语句或匹配的机器代码不能被复用的用户输入的查询语句生成对应的可执行计划树，通过动态编译生成机器代码并优化，得到优化后的机器代码并加载和执行得到执行结果；随后将执行结果发送给用户，并定期清理缓存中的机器代码。本发明精准决定是否复用缓存中的机器代码，从而减少不必要的编译开销，提高查询执行效率。
-
公开(公告)号：CN119598509A
公开(公告)日：2025-03-11
申请号：CN202411650255.2
申请日：2024-11-19
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G06F21/62 , H04L9/00 , G06N3/0455 , G06N3/084 , G06N3/0499 , G06F18/214
Abstract: 本申请涉及一种基于拆分学习的私有化大模型微调训练方法和装置，其中，该方法包括：将预训练的大模型拆分成头部模型段、中间模型段以及尾部模型段；将原始数据拆分成隐私数据和非隐私数据；根据隐私数据和非隐私数据，协同训练客户端中的头部模型段和尾部模型段，及服务器中的第一中间模型段和第二中间模型段，得到目标大模型；其中，在协同训练过程中，同态加密客户端和服务器之间传输的与隐私数据相关的隐私中间激活量；目标大模型输出关于特定主题的文档答复。通过本申请，解决了相关技术中需要向服务器传输中间激活量，存在通过模型反演攻击推测或恢复原始数据的风险的问题；实现对隐私数据的保护，降低隐私数据泄露的风险。
-
公开(公告)号：CN119536983A
公开(公告)日：2025-02-28
申请号：CN202411345113.5
申请日：2024-09-25
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G06F9/50 , G06F21/71 , G06F21/62 , G06N3/0499 , G06N3/084
Abstract: 本申请涉及一种异构系统的模型并行训练方法、装置和计算机设备，其中，该方法包括：在每个预设条件下，构建待训练模型与各计算设备之间的多种映射关系，并生成策略集合；预设条件包括训练数据的批次大小、待训练模型对应的流水线并行粒度和每个计算设备的预设显存预算；遍历各预设条件，通过动态规划算法对不同的映射关系和策略集合中的各候选策略进行处理，得到当前最优的模型并行训练策略下异构系统的执行成本；基于最小执行成本对应的模型并行训练策略，通过各计算设备执行模型训练。通过本申请，解决了采用固定处理器进行训练，无法利用异构系统中多个计算设备实现高效的并行训练的问题，实现高效的模型并行训练，提升计算设备的资源利用率。
-
Patent Agency Ranking
公开(公告)号：CN119597469A
公开(公告)日：2025-03-11
申请号：CN202411656715.2
申请日：2024-11-19
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G06F9/50 , G06N3/084 , G06T1/20 , G06N3/0499
Abstract: 本申请涉及一种资源受限的大模型异构训练方法、计算机设备和存储介质，方法包括：在图像处理器进行模型前向传播时生成的激活量中，根据与各激活量对应的计算量之间的依赖关系和/或各激活量的计算量与存储量确定第一激活量，并将第一激活量异步传输至中央处理器；在模型反向传播过程中从中央处理器加载第一激活量至图像处理器；获取图像处理器基于第一激活量计算得到模型参数的梯度，将梯度异步传输至中央处理器；确定中央处理器中基于梯度更新得到的优化器，并获取更新后的优化器调整得到的模型参数，将模型参数异步传输至图像处理器。采用本方法能够解决显存资源受限的大模型训练困难且显卡计算效率低的问题。
-
公开(公告)号：CN119377270A
公开(公告)日：2025-01-28
申请号：CN202411266464.7
申请日：2024-09-10
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G06F16/2455 , G06F16/242 , G06F16/2458 , G06F16/248 , G06F16/2453
Abstract: 本申请涉及一种基于数据编码的含有代理模型的推理查询方法及装置。所述方法包括：获取查询数据，所述查询数据包括查询文本以及查询函数数据；基于所述查询文本确定文本编码，以及基于所述查询函数数据确定查询参数编码；基于所述文本编码以及所述查询参数编码，确定查询数据编码；将所述查询数据编码输入查询时间预测模型，输出查询预测时间，再基于所述查询预测时间以及预设查询计划算法确定查询结果，其中，所述查询时间预测模型基于多个查询时间预测样本训练得到，所述查询时间预测样本基于预设查询计划算法以及历史查询数据确定。本申请能够有效提高查询效率。
-
公开(公告)号：CN119149588A
公开(公告)日：2024-12-17
申请号：CN202411639951.3
申请日：2024-11-18
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G06F16/2453 , G06N5/04
Abstract: 本申请涉及一种面向代理模型的推理查询重优化方法、装置、设备和介质，通过基于第一查询计划，将当前批次数据输入至推理模型进行处理，得到所需查询的数据；其中，推理模型包括代理模型和机器学习模型；在执行第一查询计划的过程中，监测统计信息；其中，统计信息包括系统资源或者查询计划选择率；在监测到统计信息的变化超出阈值的情况下，基于第二查询计划，将历史数据输入至代理模型进行重训练；其中，历史数据包括在当前批次数据之前输入至推理模型处理后携带上标签的数据；减小了重优化推理查询方法产生的计算开销，提升了重优化效率。
-
公开(公告)号：CN118861036A
公开(公告)日：2024-10-29
申请号：CN202410972203.0
申请日：2024-07-19
Applicant: 浙江大学
Abstract: 本发明公开了一种基于量子电路的关系表存储方法。本发明利用量子比特和量子门，可以使用少量量子比特，存储大量数据。本发明首先使用一种控制哈达玛门，生成从0开始逐一递增的整数作为主键，再利用主键作为控制位，使用多控制位托佛利门，保存每行的数据。本发明使用量子硬件，实现了关系表的存储，可利用少量量子比特保存大量数据，有利于大数据处理的加速。
-
公开(公告)号：CN118278468B
公开(公告)日：2024-09-06
申请号：CN202410695887.4
申请日：2024-05-31
Applicant: 浙江大学
IPC: G06N3/0495 , G06N3/082 , G06N3/098 , G06F16/242
Abstract: 本发明公开了一种基于数据库管理系统的深度神经网络推理方法和装置，包括：将预训练神经网络模型参数转换为二进制格式；根据不同的目标任务，使用对应的目标数据集微调将参数已转换为二进制格式的预训练神经网络模型，并在微调中，通过概率模型和剪枝技术，去除冗余参数，得到轻量化模型；将若干个所述轻量化模型部署到数据库管理系统中，即SmartLite；其中，所述预训练神经网络模型的结构和参数作为共享块；当所述SmartLite接受到混合查询请求，至少调用一个模型进行推理；所述混合查询包括SQL查询和深度学习模型推理。本发明计算效率显著提升，使用查找表和比特操作优化，在各种计算任务中显著提高了计算速度。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.036 seconds)
