-
公开(公告)号：CN104834532B
公开(公告)日：2018-01-02
申请号：CN201510299229.4
申请日：2015-06-03
Applicant: 星环信息科技(上海)有限公司
IPC: G06F9/44
Abstract: 本发明的目的是提供一种分布式数据向量化处理方法和装置，其中，所述方法包括：建立多行数据缓存以存储多行基于行的字节数组；将基于行的字节数组转换为基于列的字节数组；对代码指令进行向量化处理；以所述向量化处理后的代码指令对所述基于列的字节数组进行向量化计算。本发明的分布式数据向量化处理方法和装置，避免了多次读出的系统开销，并能有效的利用系统缓存，同时通过有效的利用CPU的高效指令集来加速计划的执行效率，提高系统的性能。
-
公开(公告)号：CN107291545A
公开(公告)日：2017-10-24
申请号：CN201710666610.9
申请日：2017-08-07
Applicant: 星环信息科技(上海)有限公司
Abstract: 本申请的目的是提供一种计算集群中多用户的任务调度方法及设备，通过确定所述计算集群中各服务器的当前的剩余总资源量配额，确定各用户当前的剩余任务数量配额，能够对当前集群负载主动感知，通过从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，并对所有节点进行节点优先级排序，无需预先为任务指定固定的资源池，调度策略无需随着调度器的配置而固定下来，调度策略能够动态的生成，实现计算集群的计算资源灵活、动态分配，实现更加细粒度的资源分配和任务调度。
-
公开(公告)号：CN104834532A
公开(公告)日：2015-08-12
申请号：CN201510299229.4
申请日：2015-06-03
Applicant: 星环信息科技(上海)有限公司
IPC: G06F9/44
Abstract: 本发明的目的是提供一种分布式数据向量化处理方法和装置，其中，所述方法包括：建立多行数据缓存以存储多行基于行的字节数组；将基于行的字节数组转换为基于列的字节数组；对代码指令进行向量化处理；以所述向量化处理后的代码指令对所述基于列的字节数组进行向量化计算。本发明的分布式数据向量化处理方法和装置，避免了多次读出的系统开销，并能有效的利用系统缓存，同时通过有效的利用CPU的高效指令集来加速计划的执行效率，提高系统的性能。
-
公开(公告)号：CN109726250B
公开(公告)日：2020-01-17
申请号：CN201811614654.8
申请日：2018-12-27
Applicant: 星环信息科技(上海)有限公司
Abstract: 本发明公开了数据存储系统、元数据库同步及数据跨域计算方法。数据存储系统包括：至少两个数据中心，数据中心包括：访问层、编译层、计算层、存储层以及底层容器云平台；访问层，用于提供统一数据访问接口；编译节点，用于根据接收的SQL语句，查询元数据库，生成匹配的执行计划，根据执行计划将作业任务分配给计算节点执行；计算节点，用于根据作业任务，从所在数据中心的数据节点中获取数据进行计算，将计算结果发送至作为汇总节点的计算节点中；数据节点，用于存储数据；底层容器云平台，用于对同一数据中心的所有服务进行容器化管理。本发明实施例的技术方案在高质量提供跨域计算服务的同时，节约投入成本，并满足数据合规性需求。
-
公开(公告)号：CN110493236A
公开(公告)日：2019-11-22
申请号：CN201910786643.6
申请日：2019-08-23
Applicant: 星环信息科技(上海)有限公司
Abstract: 本发明实施例公开了一种通信方法、计算机设备及存储介质，其中，方法包括：通过预设加密通信协议与客户端建立通信信道连接；接收所述客户端发送的认证机密信息；通过可插拔的认证服务对所述认证机密信息进行认证；根据认证结果执行与所述客户端匹配的通信操作。本发明实施例的技术方案能够完善通信过程中的加密认证机制，从而减轻系统认证的负担。
-
Patent Agency Ranking
公开(公告)号：CN109726250A
公开(公告)日：2019-05-07
申请号：CN201811614654.8
申请日：2018-12-27
Applicant: 星环信息科技(上海)有限公司
Abstract: 本发明公开了数据存储系统、元数据库同步及数据跨域计算方法。数据存储系统包括：至少两个数据中心，数据中心包括：访问层、编译层、计算层、存储层以及底层容器云平台；访问层，用于提供统一数据访问接口；编译节点，用于根据接收的SQL语句，查询元数据库，生成匹配的执行计划，根据执行计划将作业任务分配给计算节点执行；计算节点，用于根据作业任务，从所在数据中心的数据节点中获取数据进行计算，将计算结果发送至作为汇总节点的计算节点中；数据节点，用于存储数据；底层容器云平台，用于对同一数据中心的所有服务进行容器化管理。本发明实施例的技术方案在高质量提供跨域计算服务的同时，节约投入成本，并满足数据合规性需求。
-
公开(公告)号：CN110493236B
公开(公告)日：2020-09-25
申请号：CN201910786643.6
申请日：2019-08-23
Applicant: 星环信息科技(上海)有限公司
Abstract: 本发明实施例公开了一种通信方法、计算机设备及存储介质，其中，方法包括：通过预设加密通信协议与客户端建立通信信道连接；接收所述客户端发送的认证机密信息；通过可插拔的认证服务对所述认证机密信息进行认证；根据认证结果执行与所述客户端匹配的通信操作。本发明实施例的技术方案能够完善通信过程中的加密认证机制，从而减轻系统认证的负担。
-
公开(公告)号：CN109558232A
公开(公告)日：2019-04-02
申请号：CN201811436295.1
申请日：2018-11-28
Applicant: 星环信息科技(上海)有限公司
Abstract: 本发明实施例公开了一种并行度的确定方法、装置、设备及介质。该方法包括：获取分布式计算任务的执行计划树；根据预设的代价模型以及所述分布式计算任务的数据统计信息分别确定与执行计划树中各节点对应的操作的并行度影响因子；根据预设的代价模型以及分布式计算任务的数据统计信息，确定执行计划树中扫表操作的初始并行度；根据扫表操作的初始并行度，按照后序遍历顺序，根据与执行计划树中各节点对应的操作的并行度影响因子，分别计算与执行计划树中各节点对应的操作的并行度。上述方法避免了现有技术中并行度控制方案的弊端，提高了分布式计算引擎的性能、稳定性和可用性，实现了并行度控制的自适应。
-
公开(公告)号：CN106022483A
公开(公告)日：2016-10-12
申请号：CN201610308127.9
申请日：2016-05-11
Applicant: 星环信息科技(上海)有限公司
IPC: G06N99/00
Abstract: 本申请的目的是提供一种单机机器学习模型与分布式机器学习模型之间进行转换的方法与设备。与现有技术相比，本申请获取模型训练参数信息，并对其进行数据类型转换或描述文件解析，然后根据所述模型训练参数信息训练出分布式机器学习模型，再将所述分布式机器学习模型转换为单机机器学习模型；本申请还获取单机机器学习模型，提取出所述单机机器学习模型参数信息，对所述单机机器学习模型参数信息进行数据类型转换或描述文件解析，然后根据所述单机机器学习模型构造分布式机器学习模型；本申请可实现单机机器学习模型与分布式机器学习模型之间的相互转换，大大增加了两者之间的兼容性。
-
公开(公告)号：CN105955804A
公开(公告)日：2016-09-21
申请号：CN201610254762.3
申请日：2016-04-22
Applicant: 星环信息科技(上海)有限公司
IPC: G06F9/46
CPC classification number: G06F17/30362 , G06F11/1438 , G06F11/203 , G06F17/30377 , G06F17/30483 , G06F2201/80 , G06F2201/805 , G06F2201/82 , G06F2201/825 , G06F9/466 , G06F9/465
Abstract: 本申请的目的是提供一种处理分布式事务的方法与设备。与现有技术相比，在分布式系统中，本申请的第一设备是由多个节点组成的一个组，所述第一设备获取SQL编译器发送的关于待处理的事务的目标表的加写锁请求，并基于所述加写锁请求，对所述目标表进行加写锁处理，从而避免多个事务并发时的冲突问题，确保事务的隔离性，若所述加写锁处理成功，向所述SQL编译器发送所述目标表的待处理版本信息，以确保后续SQL编译器对目标表的正确版本进行操作。进一步地，本申请通过重启未响应所述加写锁请求的所述子节点，或将所述子节点的服务迁移到其他物理机器上，而后更新所述子节点的加锁状态信息，从而进行有效的出错恢复并保证组内一致性。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.03 seconds)
