-
公开(公告)号：CN117675097A
公开(公告)日：2024-03-08
申请号：CN202211053757.8
申请日：2022-08-30
Applicant: 华为云计算技术有限公司 , 中国科学技术大学
IPC: H04L1/00 , H04L67/1097
Abstract: 本申请涉及存储领域，提供了一种数据编码的方法及装置，该方法包括：获取目标数据；将所述目标数据拆分为n个数据集合，所述n为大于1的正整数；搭建所述n个数据集合的编码环境；在所述编码环境中对所述n个数据集合依次进行编码。该方法能够提高编码计算的效率。
-
公开(公告)号：CN119065584A
公开(公告)日：2024-12-03
申请号：CN202310627504.5
申请日：2023-05-30
Applicant: 中国科学技术大学 , 深圳市欢太科技有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据处理方法及设备、存储介质，对缓存区域中的第一对象进行拆分，得到第一数量个第一子块，并将所述第一数量个第一子块分别存储为所述第一数量个第一数据块；其中，所述第一对象的数据量大于第一数据量，所述第一数量为一个条带包括的数据块的数量；对所述缓存区域中的第二对象，分配至所述第一数量个第一数据块中，其中，所述第二对象的数据量小于所述第一数据量；在所述第一数量个第一数据块满足校验条件的情况下，对所述第一数量个第一数据块进行校验，得到第二数量个第一校验块，所述第一数量个第一数据块和所述第二数量个第一校验块构成第一条带。
-
公开(公告)号：CN116011551B
公开(公告)日：2023-08-29
申请号：CN202310040431.X
申请日：2023-01-13
Applicant: 中国科学技术大学
IPC: G06N3/082 , G06N3/084 , G06N3/0495 , G06F9/50
Abstract: 本发明公开了一种优化数据加载的图采样训练方法、系统、设备及存储介质，其中，方法、系统、设备及存储介质是一一对应的方案，方案中在训练之前通过压缩特征数据，减少了数据量，大幅降低数据加载的开销，并在不同规模的图数据集上均能维持恒定的效果，同时减少训练过程中的内存占用，并且还可以降低数据传输量以缓解PCI‑e带宽瓶颈，以及提升GPU资源利用率，使得训练大规模的图成为可能；并且，通过在GPU上解压缩恢复其格式，将数据加载方法与模型解耦，在保留原有图神经网络模型不变的情况下提供加速，兼容各种图神经网络模型。结合以上方案，本发明能够大大提升图采样训练过程中的数据加载速度。
-
公开(公告)号：CN116011551A
公开(公告)日：2023-04-25
申请号：CN202310040431.X
申请日：2023-01-13
Applicant: 中国科学技术大学
IPC: G06N3/082 , G06N3/084 , G06N3/0495 , G06F9/50
Abstract: 本发明公开了一种优化数据加载的图采样训练方法、系统、设备及存储介质，其中，方法、系统、设备及存储介质是一一对应的方案，方案中在训练之前通过压缩特征数据，减少了数据量，大幅降低数据加载的开销，并在不同规模的图数据集上均能维持恒定的效果，同时减少训练过程中的内存占用，并且还可以降低数据传输量以缓解PCI‑e带宽瓶颈，以及提升GPU资源利用率，使得训练大规模的图成为可能；并且，通过在GPU上解压缩恢复其格式，将数据加载方法与模型解耦，在保留原有图神经网络模型不变的情况下提供加速，兼容各种图神经网络模型。结合以上方案，本发明能够大大提升图采样训练过程中的数据加载速度。
-
公开(公告)号：CN115357368A
公开(公告)日：2022-11-18
申请号：CN202211280671.9
申请日：2022-10-19
Applicant: 中国科学技术大学
IPC: G06F9/48 , G06F9/50 , G06F16/182
Abstract: 本发明涉及分布式计算系统技术领域，公开了一种基于异构环境感知的MapReduce作业调度方法，包含混合存储模式下数据的均衡放置、节点任务并发度评估、多作业并发时的资源均衡分配和作业内任务分配优先级划分等步骤；能够有效提升MapReduce作业的处理效率。适用于底层数据采用多种纠删码或纠删码和副本混合存储、计算侧硬件异构和后台负载多变的Hadoop集群环境中，既能保证MapReduce框架的作业吞吐，又能保证每个作业的服务质量，且保证集群节点存储或计算设备资源占用的均衡性。
-
Patent Agency Ranking
公开(公告)号：CN112817567A
公开(公告)日：2021-05-18
申请号：CN202110117329.6
申请日：2021-01-28
Applicant: 中国科学技术大学
IPC: G06F8/20 , G06F8/41 , G06F9/448 , G06F8/65 , G06F16/903 , G06F16/955
Abstract: 本发明公开了一种微服务应用的openwhisk无服务框架迁移方法，利用了Node.js语言的exprima语法解析工具生成抽象语法树节点，并从中提取关键信息来生成函数调用图，微服务子模块间通信图以及判断微服务子模块的性质，并对有状态的微服务模块尝试划分，最大限度的实现自动化迁移。从抽象语法树的层面解析项目源代码文件，项目包文件，配置文件等，实现简单，效率高。目前并上还没有同类的技术方案，本发明的出现将会帮助开发人员提高将应用向无服务器计算平台上的迁移效率。
-
公开(公告)号：CN111241424A
公开(公告)日：2020-06-05
申请号：CN202010069748.2
申请日：2020-01-21
Applicant: 中国科学技术大学
IPC: G06F16/9536 , G06F16/951 , G06Q50/00
Abstract: 本发明公开了一种基于随机游走采样的社交网络模式挖掘方法，特征是包含在社交网络上进行随机游走、在收敛后的随机游走路径上进行采样、对单个样本进行分析、根据所有样本分析关系模式等步骤。本发明支持任意节点数目的子图模式挖掘，既能采用爬虫通过社交网络提供的有限接口对社交网络进行在线挖掘，也支持直接在社交网络数据库上进行挖掘，无需读取全部社交网络数据库，仅需要全社交网络的总关系数这一信息，访问代价与内存需求低。本方法适用于社交网络关系模式挖掘场景，可以挖掘社交网络中实体之间的交互模式，为商品推荐、社交分析、兴趣推广等服务提供数据支持。
-
公开(公告)号：CN107729535A
公开(公告)日：2018-02-23
申请号：CN201711042747.3
申请日：2017-11-17
Applicant: 中国科学技术大学
IPC: G06F17/30
Abstract: 本发明公开了一种键值数据库内布隆过滤器配置方法，特征是包括布隆过滤器相关参数设置步骤，生成适应性布隆过滤器步骤，多级缓存队列初始化步骤，多级缓存队列参数调整策略设置步骤，查询策略调整步骤；本发明能够根据工作负载的特征，动态调整布隆过滤器的配置情况；本发明与传统方法相比，在进行查询操作时，对于访问频率较高的文件元数据来说，进行查询判断时，多个布隆过滤器同时进行判断，从而减少了布隆过滤器误报带来的硬盘输入/输出操作；对于访问频率较低的元数据来说，其对应的布隆过滤器个数较少，相应的内存资源占用相对于传统技术也就越低；降低了内存开销，提高了读性能，系统整体的吞吐量得到提升。
-
公开(公告)号：CN116226425A
公开(公告)日：2023-06-06
申请号：CN202310304193.9
申请日：2023-03-24
Applicant: 中国科学技术大学
Abstract: 本发明涉及数据存储技术领域，提供一种图数据的存储方法、读取方法和系统，方法包括：将图数据的每个顶点和边分别建立一个主键，所述主键能够排序，并且每个顶点和所述顶点的临边的主键是连续排序的；将所述图数据的顶点和边的数据值存储在持久性内存里，得到一个存储地址，每个所述存储地址都对应一个所述主键；利用特定数据结构形成索引来记录所述主键和对应存储地址的关系，所述特定数据结构为一个支持范围查询的数据结构，该数据结构以主键来排序；将所述特定数据结构存在动态随机存取存储器里。提高了图拓扑访问性能，以及对属性图查询的性能。该系统不仅支持属性图上的分析型负载，还能够支持事务型负载，具有较好的通用性和扩展性。
-
公开(公告)号：CN115934409A
公开(公告)日：2023-04-07
申请号：CN202211482377.6
申请日：2022-11-24
Applicant: 中国科学技术大学
IPC: G06F11/10 , G06F3/06 , G11C29/42 , G06F12/0877
Abstract: 本发明涉及计算机分布式存储系统中的纠删码技术领域，公开了一种寄存器友好的高效异或纠删码编码方法，包括数据块和校验块的拆分，校验子块的计算和校验子块的合并步骤；相比于现有的编码方法，本发明将数据从寄存器到内存或者缓存的存储次数降到最低，即所有数据只需要从寄存器存储到内存一次，减少了数据存储延迟；还将数据从内存或者缓存到寄存器的读取次数减少接近一半，提高了数据加载效率。本发明通过减少编码过程中数据在寄存器与内存或者与缓存之间的读取和存储次数，提高了编码速度。
-
-
-
-
-
-
-
-
-
Search Results
27
records
(took 0.058 seconds)
