-
公开(公告)号：CN104834532B
公开(公告)日：2018-01-02
申请号：CN201510299229.4
申请日：2015-06-03
Applicant: 星环信息科技(上海)有限公司
IPC: G06F9/44
Abstract: 本发明的目的是提供一种分布式数据向量化处理方法和装置，其中，所述方法包括：建立多行数据缓存以存储多行基于行的字节数组；将基于行的字节数组转换为基于列的字节数组；对代码指令进行向量化处理；以所述向量化处理后的代码指令对所述基于列的字节数组进行向量化计算。本发明的分布式数据向量化处理方法和装置，避免了多次读出的系统开销，并能有效的利用系统缓存，同时通过有效的利用CPU的高效指令集来加速计划的执行效率，提高系统的性能。
-
公开(公告)号：CN107291545A
公开(公告)日：2017-10-24
申请号：CN201710666610.9
申请日：2017-08-07
Applicant: 星环信息科技(上海)有限公司
Abstract: 本申请的目的是提供一种计算集群中多用户的任务调度方法及设备，通过确定所述计算集群中各服务器的当前的剩余总资源量配额，确定各用户当前的剩余任务数量配额，能够对当前集群负载主动感知，通过从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，并对所有节点进行节点优先级排序，无需预先为任务指定固定的资源池，调度策略无需随着调度器的配置而固定下来，调度策略能够动态的生成，实现计算集群的计算资源灵活、动态分配，实现更加细粒度的资源分配和任务调度。
-
公开(公告)号：CN104834532A
公开(公告)日：2015-08-12
申请号：CN201510299229.4
申请日：2015-06-03
Applicant: 星环信息科技(上海)有限公司
IPC: G06F9/44
Abstract: 本发明的目的是提供一种分布式数据向量化处理方法和装置，其中，所述方法包括：建立多行数据缓存以存储多行基于行的字节数组；将基于行的字节数组转换为基于列的字节数组；对代码指令进行向量化处理；以所述向量化处理后的代码指令对所述基于列的字节数组进行向量化计算。本发明的分布式数据向量化处理方法和装置，避免了多次读出的系统开销，并能有效的利用系统缓存，同时通过有效的利用CPU的高效指令集来加速计划的执行效率，提高系统的性能。
-
公开(公告)号：CN106940715B
公开(公告)日：2019-11-15
申请号：CN201710138728.4
申请日：2017-03-09
Applicant: 星环信息科技(上海)有限公司
IPC: G06F16/242 , G06F16/22
Abstract: 本申请的目的是提供一种基于索引表的查询的方法及设备，本申请通过根据用户的查询请求判断所述索引列的值是否为确定值，进而选择对应的索引表，根据所述索引表对应的元信息将所确定的从节点上的索引文件的位置信息发送至所述从节点，并根据所述数据表的元信息将所确定的从节点上的数据文件的位置信息发送至所述从节点。在从节点端，根据所述主节点发送的数据表的元信息中数据文件的位置信息，判断所述从节点中是否存在用户查询请求对应的数据文件，若是，则根据所述索引文件的信息获取所述数据文件，从而满足用户不同的筛选条件，有效地筛选出满足条件的数据文件，大大减少了查询时的数据读取量，缩短查询时间、提高了数据查询的效率。
-
Patent Agency Ranking
公开(公告)号：CN106960020B
公开(公告)日：2019-10-22
申请号：CN201710140132.8
申请日：2017-03-09
Applicant: 星环信息科技(上海)有限公司
IPC: G06F16/22
Abstract: 本申请的目的是提供一种创建索引表的方法及设备，本申请通过创建获取到的数据源对应数据表的元信息的结构；接着，创建待创建索引表的数据结构，根据用户的请求确定所述数据表中所述待创建索引表的索引列，并根据所述索引列创建所述待创建索引表对应的元信息的结构；将所述数据源中当前数据行生成的数据文件分配至从节点；将所述待创建索引表的索引文件的信息分配至对应的从节点的索引文件中，进而优化了底层存储结构，当应用于数据查询时，提供索引文件的信息，从而根据索引文件的信息能够快速定位到满足条件的数据文件，大大减少了数据的访问量，提高了查询性能。
-
公开(公告)号：CN106960020A
公开(公告)日：2017-07-18
申请号：CN201710140132.8
申请日：2017-03-09
Applicant: 星环信息科技(上海)有限公司
IPC: G06F17/30
Abstract: 本申请的目的是提供一种创建索引表的方法及设备，本申请通过创建获取到的数据源对应数据表的元信息的结构；接着，创建待创建索引表的数据结构，根据用户的请求确定所述数据表中所述待创建索引表的索引列，并根据所述索引列创建所述待创建索引表对应的元信息的结构；将所述数据源中当前数据行生成的数据文件分配至从节点；将所述待创建索引表的索引文件的信息分配至对应的从节点的索引文件中，进而优化了底层存储结构，当应用于数据查询时，提供索引文件的信息，从而根据索引文件的信息能够快速定位到满足条件的数据文件，大大减少了数据的访问量，提高了查询性能。
-
公开(公告)号：CN106940715A
公开(公告)日：2017-07-11
申请号：CN201710138728.4
申请日：2017-03-09
Applicant: 星环信息科技(上海)有限公司
IPC: G06F17/30
Abstract: 本申请的目的是提供一种基于索引表的查询的方法及设备，本申请通过根据用户的查询请求判断所述索引列的值是否为确定值，进而选择对应的索引表，根据所述索引表对应的元信息将所确定的从节点上的索引文件的位置信息发送至所述从节点，并根据所述数据表的元信息将所确定的从节点上的数据文件的位置信息发送至所述从节点。在从节点端，根据所述主节点发送的数据表的元信息中数据文件的位置信息，判断所述从节点中是否存在用户查询请求对应的数据文件，若是，则根据所述索引文件的信息获取所述数据文件，从而满足用户不同的筛选条件，有效地筛选出满足条件的数据文件，大大减少了查询时的数据读取量，缩短查询时间、提高了数据查询的效率。
-
公开(公告)号：CN107291545B
公开(公告)日：2019-12-10
申请号：CN201710666610.9
申请日：2017-08-07
Applicant: 星环信息科技(上海)有限公司
Abstract: 本申请的目的是提供一种计算集群中多用户的任务调度方法及设备，通过确定所述计算集群中各服务器的当前的剩余总资源量配额，确定各用户当前的剩余任务数量配额，能够对当前集群负载主动感知，通过从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，并对所有节点进行节点优先级排序，无需预先为任务指定固定的资源池，调度策略无需随着调度器的配置而固定下来，调度策略能够动态的生成，实现计算集群的计算资源灵活、动态分配，实现更加细粒度的资源分配和任务调度。
-
公开(公告)号：CN106611037A
公开(公告)日：2017-05-03
申请号：CN201610818819.8
申请日：2016-09-12
Applicant: 星环信息科技(上海)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30 , G06F17/30194 , G06F17/30324
Abstract: 本申请的目的是提供一种用于分布式图计算的方法与设备。与现有技术相比，本申请先获取原始图数据，然后根据图算法处理所述原始图数据以获得所述图算法对应的规整图数据，以便于适配不同种类的图算法，接着将所述图算法对应的计算任务分发至多个计算节点执行，其中，在执行过程中当满足持久化条件，进行持久化操作，切断数据依赖，减少重复计算量，提高处理效率。进一步地，本申请在对图数据进行聚合操作及连接操作之前，先对其进行合并操作，从而提高运算效率，减轻网络传输压力。进一步地，本申请采用一种数据序列化和反序列化的方法，以便于计算过程中的产生的中间数据在计算节点之间传递。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.035 seconds)
