一种数据处理方法、装置、设备、存储介质及分布式集群

    公开(公告)号:CN117112466A

    公开(公告)日:2023-11-24

    申请号:CN202311386368.1

    申请日:2023-10-25

    Abstract: 本发明涉及计算机技术领域,具体公开了一种数据处理方法、装置、设备、存储介质及分布式集群,基于计算机快速互联协议实现主机安装的第一加速器的内存成为共享内存,在主机控制器接收到计算任务时先将共享内存的控制权切换至发送方设备,以使发送方设备将计算任务的待处理数据写入共享内存,再将控制权切换至主机安装的第二加速器,以使第二加速器从共享内存中读取待处理数据完成计算任务,将共享内存的控制权再切换至发送方设备或主机控制器以自共享内存中读取计算任务的计算结果,使加速器方案中数据输入和输出均直接基于共享内存进行,无需在主机内存和加速器内存间搬移,从而缩短了数据导入导出的路径,由此提高了加速器方案的数据处理效率。

    一种数据传输控制方法、装置、FPGA及介质

    公开(公告)号:CN112230880B

    公开(公告)日:2023-08-11

    申请号:CN202011148294.4

    申请日:2020-10-23

    Abstract: 本申请公开了一种数据传输控制方法、装置、FPGA、介质,该方法包括:向接收端FPGA的第二kernel发送数据帧;接收所述第二kernel发送的ACK响应帧;根据所述ACK响应帧中的接收信用使用字段、帧响应序列号、接收端缓存剩余空间大小以及本地保存的发送信用消耗数据对本地数据发送端口的数据流量进行控制,其中,所述发送信用消耗数据表示所述第一kernel已向所述第二kernel发送的数据量。这样能够根据接收端的情况对发送端的数据传输进行自动控制,能够充分利用带宽,又不造成数据丢失。

    连接处理方法、系统、电子设备、服务器及可读存储介质

    公开(公告)号:CN115190175B

    公开(公告)日:2023-07-14

    申请号:CN202210840515.7

    申请日:2022-07-18

    Abstract: 本申请公开了一种连接处理方法、系统、电子设备、服务器及可读存储介质,涉及服务器领域,该连接处理方法包括对接收到的客户端发送的TCP连接进行解析,得到客户端数据;将客户端数据存储到DDR中与TCP连接对应的预设存储空间,并判断预设存储空间中存储的客户端数据是否满足TLS处理条件;若是,对预设存储空间中存储的所有客户端数据进行TLS计算处理,将处理后的客户端数据发送至服务端;当接收到服务端反馈的服务端数据,对服务端数据进行TLS计算处理,将处理后的服务端数据封包发送至客户端。本申请能够减少设计复杂度,避免大量断包处理、状态存储及回读,同时释放了CPU资源,从而保证服务器性能。

    一种图像处理方法、系统、设备及计算机可读存储介质

    公开(公告)号:CN115731446A

    公开(公告)日:2023-03-03

    申请号:CN202211411889.3

    申请日:2022-11-11

    Abstract: 本申请公开了一种图像处理方法、系统、设备及计算机可读存储介质,获取待处理的目标图像;获取已训练好的源模型的卷积隐藏层的特征图像;将最后一层的特征图像作为深度特征,将其余的特征图像作为低层次特征;对于每个低层次特征,提取低层次特征的感兴趣特征向量;基于感兴趣特征向量及深度特征对目标模型进行训练,得到训练好的目标模型;基于目标模型对目标图像进行处理,得到处理结果。本申请中,可以基于低层次特征的感兴趣特征向量及深度特征对目标模型进行训练,在保留多种层次的特征信息的基础上,增加了目标模型训练时的特征数目,增强了目标模型训练时的特征鲁棒性,增强了目标模型的训练效果,可以提高目标模型对目标图像的处理效果。

    一种图数据并行处理的方法、装置、设备及可读存储介质

    公开(公告)号:CN111177482A

    公开(公告)日:2020-05-19

    申请号:CN201911402930.9

    申请日:2019-12-30

    Abstract: 本申请公开了一种图数据并行处理的方法,包括:获取图数据;对图数据中的源地址进行筛选,得到独立源地址;根据独立源地址确定对应的目的地址,并对目的地址进行筛选,得到独立目的地址;根据独立源地址和独立目的地址获取对应的独立源数据和独立目的数据,并对独立源数据和独立目的数据进行并行处理,得到并行处理结果。本申请不需要多个处理单元同时处理,仅需一个处理单元即可完成对图数据的并行处理,极大的降低图数据并行处理过程中的缓存开销及通信开销。本申请同时还提供了一种图数据并行处理的装置、设备及可读存储介质,具有上述有益效果。

    图数据的数据压缩方法、解压缩方法、系统及相关装置

    公开(公告)号:CN111046002A

    公开(公告)日:2020-04-21

    申请号:CN201911243266.8

    申请日:2019-12-06

    Abstract: 本申请提供一种图数据的压缩方法,包括:获取原始图数据并确定原始图数据中每条边的节点对;将节点对中的同一源节点按照预设分组规则分组;每个分组中保留一个源节点;根据每个分组的组类型存入对应的FIFO;对源节点的源节点数据和目的节点的目的节点数据添加标签;对FIFO进行轮询并存储,得到压缩图数据。本申请使得对应目的节点数量不同的源节点采用不同的压缩率,在同一分组内仅保留一个源节点,无需存储重复的源节点。可以支持图数据大规模并行解压缩,大幅增加图数据处理带宽。本申请还提供一种图计算系统的数据压缩系统、计算机可读存储介质和一种数据压缩终端,具有上述有益效果。

    一种数据处理方法、装置、设备、存储介质及分布式集群

    公开(公告)号:CN117112466B

    公开(公告)日:2024-02-09

    申请号:CN202311386368.1

    申请日:2023-10-25

    Abstract: 本发明涉及计算机技术领域,具体公开了一种数据处理方法、装置、设备、存储介质及分布式集群,基于计算机快速互联协议实现主机安装的第一加速器的内存成为共享内存,在主机控制器接收到计算任务时先将共享内存的控制权切换至发送方设备,以使发送方设备将计算任务的待处理数据写入共享内存,再将控制权切换至主机安装的第二加速器,以使第二加速器从共享内存中读取待处理数据完成计算任务,将共享内存的控制权再切换至发送方设备或主机控制器以自共享内存中读取计算任务的计算结果,使加速器方案中数据输入和输出均直接基于共享内存进行,无需在主机内存和加速器内存间搬移,从而缩短了数据导入导出的路径,由此提高了加速器

    连接处理方法、系统、电子设备、服务器及可读存储介质

    公开(公告)号:CN115190175A

    公开(公告)日:2022-10-14

    申请号:CN202210840515.7

    申请日:2022-07-18

    Abstract: 本申请公开了一种连接处理方法、系统、电子设备、服务器及可读存储介质,涉及服务器领域,该连接处理方法包括对接收到的客户端发送的TCP连接进行解析,得到客户端数据;将客户端数据存储到DDR中与TCP连接对应的预设存储空间,并判断预设存储空间中存储的客户端数据是否满足TLS处理条件;若是,对预设存储空间中存储的所有客户端数据进行TLS计算处理,将处理后的客户端数据发送至服务端;当接收到服务端反馈的服务端数据,对服务端数据进行TLS计算处理,将处理后的服务端数据封包发送至客户端。本申请能够减少设计复杂度,避免大量断包处理、状态存储及回读,同时释放了CPU资源,从而保证服务器性能。

    图数据的数据压缩方法、解压缩方法、系统及相关装置

    公开(公告)号:CN111046002B

    公开(公告)日:2022-08-02

    申请号:CN201911243266.8

    申请日:2019-12-06

    Abstract: 本申请提供一种图数据的压缩方法,包括:获取原始图数据并确定原始图数据中每条边的节点对;将节点对中的同一源节点按照预设分组规则分组;每个分组中保留一个源节点;根据每个分组的组类型存入对应的FIFO;对源节点的源节点数据和目的节点的目的节点数据添加标签;对FIFO进行轮询并存储,得到压缩图数据。本申请使得对应目的节点数量不同的源节点采用不同的压缩率,在同一分组内仅保留一个源节点,无需存储重复的源节点。可以支持图数据大规模并行解压缩,大幅增加图数据处理带宽。本申请还提供一种图计算系统的数据压缩系统、计算机可读存储介质和一种数据压缩终端,具有上述有益效果。

    一种计算资源的远程映射方法、装置、设备及存储介质

    公开(公告)号:CN112416840A

    公开(公告)日:2021-02-26

    申请号:CN202011229875.0

    申请日:2020-11-06

    Abstract: 本申请公开了一种计算资源的远程映射方法,应用于服务器中,包括:识别出FPGA BOX中的各个FPGA异构加速卡;通过各FPGA异构加速卡的网络接口建立与各FPGA异构加速卡的网络通信连接以及各FPGA异构加速卡之间的网络通信连接;将各FPGA异构加速卡映射到服务器中;为建立的网络通信连接建立网络传输并将通过PCIE进行的控制流及数据流迁移到网络传输中;通过建立的网络传输,将目标应用部署在FPGA BOX中,并在运行时通过网络传输与FPGA BOX进行数据交互。应用本申请的方案,突破了PCIE插槽的限制且降低了传输路径。本申请还提供了一种计算资源的远程映射装置、设备及存储介质,具有相应效果。

Patent Agency Ranking