-
公开(公告)号：CN108090222B
公开(公告)日：2020-07-07
申请号：CN201810011460.2
申请日：2018-01-05
Applicant: 中国科学院计算技术研究所 , 中科天玑数据科技股份有限公司
IPC: G06F16/27
Abstract: 本发明公开了一种数据库集群节点间数据同步系统，涉及数据处理领域。所述系统包括配置单元、元数据存储单元、元数据判断单元、读写判断单元、Paxos同步单元、日志存储单元和日志重现单元。本发明解决了现有数据库同步方法中异步方式可能导致数据库集群数据不一致的问题，也解决了同步方式可能因为某个节点阻塞导致性能低下的问题；最后，本发明所述数据库集群节点间数据同步系统也支持不同方向的数据同步，没有只能将数据从主数据库同步到从数据库的限制。
-
公开(公告)号：CN108090222A
公开(公告)日：2018-05-29
申请号：CN201810011460.2
申请日：2018-01-05
Applicant: 中国科学院计算技术研究所 , 中科天玑数据科技股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据库集群节点间数据同步系统，涉及数据处理领域。所述系统包括配置单元、元数据存储单元、元数据判断单元、读写判断单元、Paxos同步单元、日志存储单元和日志重现单元。本发明解决了现有数据库同步方法中异步方式可能导致数据库集群数据不一致的问题，也解决了同步方式可能因为某个节点阻塞导致性能低下的问题；最后，本发明所述数据库集群节点间数据同步系统也支持不同方向的数据同步，没有只能将数据从主数据库同步到从数据库的限制。
-
公开(公告)号：CN110533162B
公开(公告)日：2022-01-07
申请号：CN201910677639.6
申请日：2019-07-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种自动生成深度学习框架间操作映射的方法及系统，包括：根据原深度学习框架和目标深度学习框架间的操作转换规则，抽取框架间操作转换的基本共性，根据基本共性构建转换关系，将转换关系作为基类存储于操作转换的初始描述文件中；获得原深度学习框架下支持的操作集合，遍历操作集合，为每个操作构建继承基类的子类，判断操作集合中操作除了基类中的基本转换规则外是否具有特殊属性，若是则补充特殊属性至子类，构成完备描述文件，否则直接保存子类，构成完备描述文件；将完备描述文件输入至编译器，得到操作转换规则，根据操作转换规则将原深度学习框架下待转换的操作转换为目标深度学习框架下的操作。
-
公开(公告)号：CN110532291A
公开(公告)日：2019-12-03
申请号：CN201910676904.9
申请日：2019-07-25
Applicant: 中国科学院计算技术研究所
IPC: G06F16/2455 , G06N20/00
Abstract: 本发明提出一种基于最小执行代价的深度学习框架间模型转换方法及系统，包括：在原有技术的基础上，添加操作转换代价值，同时考虑多个独立操作可以融合的情况，补充融合映射；模型的具体实现体现在构成模型的操作转换上，本阶段依据模型转换映射表，通过动态规划算法得到执行代价最低的转换后模型结构。本发明通过操作融合可以减少多个操作间中间结果的读写过程，从而优化计算性能和存储空间，进而降低转换后模型的执行代价。同时，在有多种融合可选时通过动态规划的算法得到执行代价最小的模型转换方法。
-
公开(公告)号：CN105095353B
公开(公告)日：2018-12-04
申请号：CN201510345279.1
申请日：2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种并行网络文件系统中预读小文件后忙等的系统及方法，该系统包括：客户端，用于根据当前访问文件的文件布局确定当前访问文件的数据页面数量，并访问磁盘中当前访问文件的数据页面；服务器端，用于获取当前访问文件的文件布局并发送给客户端；客户端当上层应用在缓存中查找到被加锁的当前数据页面时，将该当前数据页面标记为“未访问”，跳过该当前数据页面，访问下一个数据页面，待全部数据页面访问完成后，对该当前数据页面进行再次访问。
-
Patent Agency Ranking
公开(公告)号：CN106354870A
公开(公告)日：2017-01-25
申请号：CN201610828103.6
申请日：2016-09-18
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F16/254
Abstract: 本发明提供一种数据加载系统和方法。所述方法包括：多个数据加载节点中的一个接收加载请求；响应于该加载请求，在多个数据加载节点中启动与该加载请求相对应的加载服务进程，以及生成加载标识，该加载标识与该加载服务进程相关联；数据源节点基于所述加载标识获得所述加载服务进程的监听地址；数据源节点向该监听地址发送待加载数据；数据加载节点从该监听地址接收来自该数据源节点的待加载数据，以及按照设置的路由规则将数据转发至其他数据加载节点，或者将数据加载到相关联的存储设备。根据本发明的方法，可以提高数据加载的安全性和可靠性，避免采用硬件或者频繁启动加载而带来的损耗成本，并且利用并发的系统资源来执行数据加载的过程。
-
公开(公告)号：CN118819829A
公开(公告)日：2024-10-22
申请号：CN202410805665.3
申请日：2024-06-21
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种增量图数据计算方法，包括：图层构建步骤：基于原始图数据构建从上之下包括原始图层、中间子图层、顶层图层。计算步骤：响应图数据的变化，通过调整三层结构图的内部结构以实现不断变化的图数据的增量计算，每次计算进行多轮迭代直至图结构收敛，其中，在计算过程中，用外存储器存储图计算的所有中间结果，用内存储器动态存储图计算的部分中间结果，并且在外存储器和内存储器中均以中间子图结构为存储单位进行中间结果的读取或存储，顶层图层的所有中间结果作为一个整体进行存储，其中，为响应增量计算数据访问，采用启发式缓存替换策略更新内存储器中的中间结果。本发明相对现有图计算方法的内存占用平均降幅可达40％‑60％。
-
公开(公告)号：CN104503706B
公开(公告)日：2017-10-10
申请号：CN201410810681.8
申请日：2014-12-23
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明提供一种基于磁盘阵列的数据存储方法，其中每个条带包括空子条带和纠删码子条带；存储方法包括下列步骤：1)确定需要写入数据的条带并将其作为当前条带；2)当需要写入的数据是全条带数据时，将所述全条带数据写入当前条带的空子条带，写入完毕后将该空子条带转换为纠删码子条带；3)在新的纠删码子条带生效后，将当前条带的原有纠删码子条带转换为空子条带。所述条带还可以进一步包括镜像子条带。另外，本发明还提供了相应的基于磁盘阵列的数据读取方法。本发明能够解决纠删码技术中的WriteHole问题；能够提高基于纠删码的存储系统的I/O性能；无论在写入数据块较多还是较少时均能达到较高的性能。
-
公开(公告)号：CN110532291B
公开(公告)日：2022-07-12
申请号：CN201910676904.9
申请日：2019-07-25
Applicant: 中国科学院计算技术研究所
IPC: G06F16/2455 , G06N20/00
Abstract: 本发明提出一种基于最小执行代价的深度学习框架间模型转换方法及系统，包括：在原有技术的基础上，添加操作转换代价值，同时考虑多个独立操作可以融合的情况，补充融合映射；模型的具体实现体现在构成模型的操作转换上，本阶段依据模型转换映射表，通过动态规划算法得到执行代价最低的转换后模型结构。本发明通过操作融合可以减少多个操作间中间结果的读写过程，从而优化计算性能和存储空间，进而降低转换后模型的执行代价。同时，在有多种融合可选时通过动态规划的算法得到执行代价最小的模型转换方法。
-
公开(公告)号：CN110533162A
公开(公告)日：2019-12-03
申请号：CN201910677639.6
申请日：2019-07-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种自动生成深度学习框架间操作映射的方法及系统，包括：根据原深度学习框架和目标深度学习框架间的操作转换规则，抽取框架间操作转换的基本共性，根据基本共性构建转换关系，将转换关系作为基类存储于操作转换的初始描述文件中；获得原深度学习框架下支持的操作集合，遍历操作集合，为每个操作构建继承基类的子类，判断操作集合中操作除了基类中的基本转换规则外是否具有特殊属性，若是则补充特殊属性至子类，构成完备描述文件，否则直接保存子类，构成完备描述文件；将完备描述文件输入至编译器，得到操作转换规则，根据操作转换规则将原深度学习框架下待转换的操作转换为目标深度学习框架下的操作。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.051 seconds)
