-
公开(公告)号：CN117094361B
公开(公告)日：2024-01-26
申请号：CN202311352064.3
申请日：2023-10-19
Applicant: 北京中科汇联科技股份有限公司
IPC: G06N3/0455 , G06N3/08
Abstract: 本发明提供了一种选择参数高效微调模块的方法，包括：获取待选择参数高效微调模块和输入样本的最终隐状态；构建参数高效微调超网络并根据所述输入样本的最终隐状态，得到输入样本的最后表征；所述输入样本的最后表征为学习系数与输入样本的最终隐状态相乘；判断所述学习系数是否大于阈值，若是，则所述待选择参数高效微调模块为选中，若否，则所述待选择参数高效微调模块为舍弃。本发明解决了现有技术中大规模语言模型微调方法选择性少并且训练过程消耗大的问题。
-
公开(公告)号：CN117634595A
公开(公告)日：2024-03-01
申请号：CN202410087649.5
申请日：2024-01-22
Applicant: 北京中科汇联科技股份有限公司
IPC: G06N3/0985 , G06N3/088 , G06N3/092 , G06N3/0442 , G06N3/045 , G06N3/0475
Abstract: 本发明提供了一种基于贡献度的扩散模型快速微调方法，包括：获取经过预训练的扩散模型，获取微调数据集及评估模型，初始化预训练的扩散模型上的LoRA参数及门控，基于微调数据集及评估模型对扩散模型上的LoRA参数及门控进行微调，得到微调后的扩散模型。本发明提供的基于贡献度的扩散模型快速微调方法，能够实现扩散模型的快速微调，便于使用。
-
公开(公告)号：CN116303959A
公开(公告)日：2023-06-23
申请号：CN202310270126.X
申请日：2023-03-20
Applicant: 北京中科汇联科技股份有限公司
IPC: G06F16/332 , G06F18/22 , G06N5/022 , G06N3/0455 , G06N3/096
Abstract: 本发明提供了一种可终身学习的对话状态追踪方法，包括：搭建DST模型，构造DST知识提示模板，对DST模型进行微调，将对话历史、用户输入语句及DST知识提示模板输入微调后的DST模型，得到对应的输出，根据新业务知识，对DST模型进行微调，进行后向知识迁移。本发明提供的可终身学习的对话状态追踪方法，通过结合参数高效的微调方法和跨任务的知识迁移，能够实现新业务的快速开发。
-
公开(公告)号：CN117423329A
公开(公告)日：2024-01-19
申请号：CN202311746255.8
申请日：2023-12-19
Applicant: 北京中科汇联科技股份有限公司
IPC: G10L13/027
Abstract: 本公开实施例公开了一种模型训练及语音生成方法、装置、设备及存储介质。该方法包括：获取初始生成模型，初始生成模型为经过预训练的条件扩散模型；获取用户数据，用户数据包括用于反映目标人物特性的文本语音对数据；将初始生成模型作为待训练模型，并基于用户数据，调整待训练模型的激活函数，得到目标模型，目标模型用于语音生成。
-
公开(公告)号：CN117349418A
公开(公告)日：2024-01-05
申请号：CN202311342627.0
申请日：2023-10-17
Applicant: 北京中科汇联科技股份有限公司
IPC: G06F16/332 , G06F16/33 , G06F40/35 , G06N20/00
Abstract: 本发明提供了一种基于可学习温度调节的大模型训练方法，包括：搭建语言模型，对语言模型进行训练，通过训练学习人工标注的回复，在训练过程中，设置能够动态调节的温度参数对语言模型进行训练。本发明提供的基于可学习温度调节的大模型训练方法，有效改善大模型有监督学习时的过拟合，提升模型训练后的生成质量。
-
Patent Agency Ranking
公开(公告)号：CN117094361A
公开(公告)日：2023-11-21
申请号：CN202311352064.3
申请日：2023-10-19
Applicant: 北京中科汇联科技股份有限公司
IPC: G06N3/0455 , G06N3/08
Abstract: 本发明提供了一种选择参数高效微调模块的方法，包括：获取待选择参数高效微调模块和输入样本的最终隐状态；构建参数高效微调超网络并根据所述输入样本的最终隐状态，得到输入样本的最后表征；所述输入样本的最后表征为学习系数与输入样本的最终隐状态相乘；判断所述学习系数是否大于阈值，若是，则所述待选择参数高效微调模块为选中，若否，则所述待选择参数高效微调模块为舍弃。本发明解决了现有技术中大规模语言模型微调方法选择性少并且训练过程消耗大的问题。
-
公开(公告)号：CN117423329B
公开(公告)日：2024-02-23
申请号：CN202311746255.8
申请日：2023-12-19
Applicant: 北京中科汇联科技股份有限公司
IPC: G10L13/027
Abstract: 本公开实施例公开了一种模型训练及语音生成方法、装置、设备及存储介质。该方法包括：获取初始生成模型，初始生成模型为经过预训练的条件扩散模型；获取用户数据，用户数据包括用于反映目标人物特性的文本语音对数据；将初始生成模型作为待训练模型，并基于用户数据，调整待训练模型的激活函数，得到目标模型，目标模型用于语音生成。
-
公开(公告)号：CN117235230A
公开(公告)日：2023-12-15
申请号：CN202311318602.7
申请日：2023-10-12
Applicant: 北京中科汇联科技股份有限公司
IPC: G06F16/332 , G06F16/338 , G06F18/22
Abstract: 本发明提供了一种基于消融的大模型示例选择方法，包括：搭建用户问题表征模型，并基于数据库对其进行训练，通过训练后的用户问题表征模型获取用户问题相关的示例，搭建第一语言模型及第二语言模型，并将用户问题及相关的示例输入第一语言模型中。本发明提供的基于消融的大模型示例选择方法，能够在已有的数据库中获取合适的示例，帮助大模型生成更好的回复。
-
公开(公告)号：CN115983282A
公开(公告)日：2023-04-18
申请号：CN202310272467.0
申请日：2023-03-21
Applicant: 北京中科汇联科技股份有限公司
Abstract: 本发明提供了一种基于提示的高效率小样本对话语义理解方法，包括：收集槽位标签的中文名称及描述语句，得到预训练数据集，构造提示模板，搭建小样本微调语言模型，将提示模板及预训练数据集输入小样本微调语言模型，对小样本微调语言模型进行训练，输入需要预测的语句，进行小样本对话语义理解预测。本发明提供的基于提示的高效率小样本对话语义理解方法，通过在提示中陈述槽类型来预测槽值，减少了解码和预测的所需要的模型前向传播次数，在不损失模型表现的同时，大大提高了模型的效率。
-
公开(公告)号：CN216927480U
公开(公告)日：2022-07-08
申请号：CN202122991904.3
申请日：2021-12-01
Applicant: 北京中科汇联科技股份有限公司
Abstract: 本实用新型公开了一种政务大厅内的便民自助查询机，包括机体，所述机体从上往下依次设置有触摸屏、若干个插卡槽、识别区、打印区和收纳箱；所述触摸屏的背面中心位置上设置有铰接部一，铰接部一下端设置有支撑杆，所述支撑杆的底部靠近所述触摸屏的一侧设置有铰接部二，所述触摸屏的背面底部设置有铰接部三，所述铰接部二和铰接部三之间设置有气缸一；所述识别区的内部设置有识别槽，所述机体内部设置有与所述识别槽连接的识别控制装置；所述机体的底部中心对称设置有若干个凹槽，若干个所述凹槽内均设置有气缸二，所述气缸二的伸缩端设置有万向轮。本实用新型政务大厅内的便民自助查询机使用方便、舒适，且便于移动。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.049 seconds)
