[go: up one dir, main page]

服务热线 400-098-8505
售前咨询 购买问题咨询
售后服务
在线售后支持

长按或截图扫码

获取1V1专业服务

JoyScale AI算力平台

面向大模型训练、推理的算力需求,提供行业领先的GPU算力切分和智算池化技术,实现单集群万卡调度、全局超10万卡调度,以及跨智算中心横向扩展,在异构算力上实现了更灵活的调度管理。

立即咨询

面向大模型训练、推理的算力需求,提供行业领先的GPU算力切分和智算池化技术,实现单集群万卡调度、全局超10万卡调度,以及跨智算中心横向扩展,在异构算力上实现了更灵活的调度管理。

立即咨询
应对“应用+AI”时代典型挑战

大模型时代算力需求爆发,通过JoyScale实现持续降本增效;布局AI信创芯片适配,国产化真替真用

  • 高性能 强隔离

    内核态算力切分,接近零损耗

  • 高密度 离在线

    容器化资源部署密度提升3倍

  • 云原生 无侵入

    插件化支持 Kubernetes

  • 国产化 覆盖广

    屏蔽异构厂商 GPU/NPU

为什么要对 GPU 做池化?

提高利用率

· 模型训练中,GPU 卡被独占,利用率尚可。但在更普遍的推理场景中,GPU 卡得不到100%的利用

· 通过虚拟化,同一张 GPU 卡可在多个虚拟机/容器/用户之间共享,性能与物理卡几乎无差别

管理更灵活

· 池化技术提高了 GPU 资源部署和管理的灵活性,允许动态分配和调整 GPU 资源,不需要进行物理配置的更改

· 备份、迁移和恢复,变得更加快捷

安全性和隔离

· 在多任务或多租户环境中,算力切分确保不同任务或用户对 GPU 的访问在安全、隔离的环境中进行,防止数据相互干扰或泄露

远程工作和云计算

· 用户对于能够远程访问高性能计算资源的需求不断增加,GPU 池化使得在云环境中提供高性能 GPU 算力成为可能,并支持复杂的计算任务

产品架构

产品能力

异构资源管理

针对包含众多国产化加速芯片在内的异构算力资源进行统一管理,有效降低异构算力资源运维复杂度

    大模型训推任务,统一管理

    大模型使用所需的训练、微调、推理任务,一体化统一管理,确保大模型使用各个环节的高效和有序进行

      资源使用看板

      针对不同 AI 任务所使用的算力资源提供统一的 资源使用看板,助力平台管理员高效运营

        客户收益

        使用场景

        共享混部
        离在线混部
        异构统一运维,配额精细管理
        更多
        共享混部
        离在线混部
        异构统一运维,配额精细管理
        共享混部
        共享混部

        【提升Notebook开发机利用率】

        ·通过虚拟化可支持多个用户进行小规模模型调试、验证、算子开发等工作

        ·使用BestEffort模式,利用算力需求时间分散特点,最大保障算力需求

        【提升推理服务利用率】

        ·采用平铺GPU分配策略避免单点故障影响服务稳定性

        ·采取最低保障隔离策略,避免互相影响

        ·帮助资源利用率提升40%,同时保证稳定性和时延

        场景介绍
        【提升Notebook开发机利用率】
        ·通过虚拟化可支持多个用户进行小规模模型调试、验证、算子开发等工作
        ·使用BestEffort模式,利用算力需求时间分散特点,最大保障算力需求
        【提升推理服务利用率】
        ·采用平铺GPU分配策略避免单点故障影响服务稳定性
        ·采取最低保障隔离策略,避免互相影响
        ·帮助资源利用率提升40%,同时保证稳定性和时延
        离在线混部
        离在线混部

        将训练和推理合并成统一资源池

        高优任务平铺策略保障负载均衡

        低优任务紧凑策略保障资源利用率

        场景介绍
        将训练和推理合并成统一资源池
        高优任务平铺策略保障负载均衡
        低优任务紧凑策略保障资源利用率
        异构统一运维,配额精细管理
        异构统一运维,配额精细管理

        【异构GPU资源统一管理】

        ·异构算力纳入统一集群,通过平台实现亲和性调度,终结AI算力的烟囱式管理方式

        【资源迁移/下线/上报】

        ·客户根据需下线/迁移的机器快速筛选训练推理任务及业务使用方

        【精细化算力资源配额管理】

        ·按算力、显存、卡类型进行配额管理,授权用户或部门或项目组使用

        场景介绍
        【异构GPU资源统一管理】
        ·异构算力纳入统一集群,通过平台实现亲和性调度,终结AI算力的烟囱式管理方式
        【资源迁移/下线/上报】
        ·客户根据需下线/迁移的机器快速筛选训练推理任务及业务使用方
        【精细化算力资源配额管理】
        ·按算力、显存、卡类型进行配额管理,授权用户或部门或项目组使用

        客户案例

        开始与售前顾问沟通

        可直接拨打电话 400-098-8505转1

        我们的产品专家为您找到最合适的产品/解决⽅案

        在线咨询 5*8⼩时

        1v1线上咨询获取售前专业咨询

        点击咨询
        企微服务助手

        专业产品顾问,随时随地沟通

        0
        在线咨询
        您好,欢迎使用京东云在线服务
        在线中

        服务热线:400–098-8505

        可直接拨打售前电话:400-098-8505转1

        添加企业微信
        1V1服务,还有优惠惊喜

        加微咨询活动细节,更有千元优惠券好礼

        回到顶部