一种面向端侧操作系统的大模型自适应量化部署方法及装置

    公开(公告)号:CN120046753A

    公开(公告)日:2025-05-27

    申请号:CN202411897344.7

    申请日:2024-12-23

    Abstract: 本申请公开了一种面向端侧操作系统的大模型自适应量化部署方法及装置,属于人工智能领域。首先通过Jaccard系数评估每一层的层重要性指标,根据端侧设备的内存容量自适应调整所述量化精度策略,根据层重要性指标和设备资源情况动态制定量化方案,最后根据调整后的量化精度策略对所述大模型中需要量化的层按照对应的精度进行per‑channel量化并在端侧设备上部署模型。通过这种智能的自适应量化与部署方法,可以在尽量保持大模型精度的前提下,显著降低模型存储需求,进而实现模型在不同硬件平台上,以及同一硬件平台不同使用场景下的高效部署。在大模型的量化过程中,考虑了层的重要性,并结合设备资源情况,采用更加灵活和高效的量化策略。与传统统一量化方法相比,能够根据不同层的重要性和硬件资源情况进行动态优化,从而在不显著损失精度的情况下减少模型的存储需求并加速推理。

    一种基于本地大模型的操作系统用户意图处理方法、装置及存储介质

    公开(公告)号:CN119884340A

    公开(公告)日:2025-04-25

    申请号:CN202411946949.0

    申请日:2024-12-27

    Abstract: 本申请公开了一种基于本地大模型的操作系统用户意图处理方法、装置及存储介质,属于人工智能领域。获取用户端输入的自然语言指令;调用本地大模型对所述自然语言指令进行语义简化和意图解析,得到用户意图处理结果;将所述用户意图处理结果传至FAISS向量数据库进行自定义指令集的匹配;响应于匹配成功,将匹配后的自然语言指令送至执行器模块执行得到对应回答;响应于匹配失败,调用所述本地大模型生成所述自然语言指令的对应回答,从而,将所述对应回答实时反馈至所述用户端。实现支持离线运行,保障数据隐私,语义解析精准且灵活以及高精度指令匹配,此外还实现了实时反馈与权限控制,获得了多任务并行处理与性能优化,确保在低资源离线环境中依然高效运行,提升整体操作的流畅度。

    一种数字腕式终端系统的实现方法

    公开(公告)号:CN112817783A

    公开(公告)日:2021-05-18

    申请号:CN202110240979.X

    申请日:2021-03-04

    Abstract: 本发明公开了一种数字腕式终端系统的实现方法,本发明预先在麒麟移动操作系统的交互层配置以dlopen的方式打开底层库加载底层库接口的控制模块,并在麒麟移动操作系统的交互层、应用层之间的兼容层扩展出一个新的callclibrary模块;当应用程序使用JavaScript调用时callclibrary模块通过控制模块控制底层库接口执行对数字腕式终端的操控,且返回值通过回调函数的方式获取,当底层库的接口执行结果返回时,应用层的应用程序通过监听事件的方式触发对执行结果的处理函数,通过上述先方式,从控制、消息、用户交互这三个层面对麒麟移动操作系统进行扩展,使其满足对战术腕式终端进行操控的要求。

    一种基于远程调试协议的应用批量部署方法

    公开(公告)号:CN112636966A

    公开(公告)日:2021-04-09

    申请号:CN202011503630.2

    申请日:2020-12-18

    Abstract: 本发明公开了一种基于远程调试协议的应用批量部署方法,本发明的方法步骤包括:配置远程调试客户端、远程调试服务端和网络环境;远程调试客户端连接当前远程调试服务端;远程调试客户端推送应用资源包、封装并发布客户端请求,同时接收并解析部署结果,若接收到应用部署失败,终止当前远程调试服务端的应用部署,若接收到应用部署成功,继续下一应用的推送直到所有应用在当前远程调试服务端部署完毕;远程调试客户端断开与当前目标远程调试服务端的连接并连接下一远程调试服务端,直到所有远程调试服务端部署完成。本发明实现了无人值守批量部署,节省了工作时间,提高了工作效率。

    一种GPIO信号主动轮询检测方法、系统、设备及介质

    公开(公告)号:CN120029736A

    公开(公告)日:2025-05-23

    申请号:CN202510486212.3

    申请日:2025-04-17

    Abstract: 本申请涉及一种GPIO信号主动轮询检测方法、系统、设备及介质。所述方法包括:初始化主动轮询操作;创建主动轮询操作的内核线程,并在设置内核线程的亲和性至预留CPU资源后,启动内核线程;在检测到GPIO信号时,进入信号处理程序,并保留当前的GPIO端口状态位,进入下一轮检测,直至所有GPIO信号检测完成;在所有GPIO信号检测完成后,终止主动轮询操作,停止内核线程,并释放内核线程所占资源。采用本方法能够基于主动轮询检测机制、CPU资源预留机制以及GPIO内核实时驱动的封装,实现微秒级GPIO信号的实时检测。

    一种Web应用插件的安全隔离与集成方法及装置

    公开(公告)号:CN119577740A

    公开(公告)日:2025-03-07

    申请号:CN202411613160.3

    申请日:2024-11-13

    Abstract: 本发明公开了一种Web应用插件的安全隔离与集成方法及装置。属于Web操作系统技术领域。在Web操作系统中,输入第三方插件源代码;通过沙箱模块的wasm编译模块将第三方插件源代码编译成wasm文件,其中,沙箱模块用于提供隔离环境;通过沙箱模块的wasm2c转换模块将wasm文件进行转换得到第三方插件源代码对应的C源码及头文件;对第三方插件源代码进行沙箱化重构;编写插件库源代码,并调用第三方插件源代码对应的C源码及头文件;将插件库源代码编译成插件库并运行。实现了Web应用中使用插件形式安全访问第三方插件源代码的功能,解决了现有Web应用无法安全使用C/C++等系统语言开发的第三方插件的问题,实现了对第三方插件内存访问的隔离管控,避免了因第三方插件漏洞造成的数据泄密、终端设备失控等安全风险。

Patent Agency Ranking