盘古大模型用的什么服务器?

华为的盘古大模型是基于华为自研的昇腾(Ascend)AI芯片和全栈AI基础设施构建的,主要运行在华为的AI服务器上,尤其是搭载了昇腾系列AI处理器的服务器,例如:

  1. Atlas 系列 AI 服务器

    • Atlas 800 训练服务器(型号 9000):专为AI训练设计,支持多颗昇腾Ascend 910芯片,提供强大的算力支持,用于大规模模型训练,如盘古大模型的训练阶段。
    • Atlas 800 推理服务器(型号 3000/3010):用于模型推理部署,支持Ascend 310等芯片,适用于大模型的推理应用场景。
  2. 华为云 ModelArts 平台
    盘古大模型也部署在华为云上,利用华为云提供的AI算力资源(基于昇腾AI集群)进行训练和推理服务。华为云构建了基于昇腾的AI算力底座,支持千亿参数级大模型的高效训练。

  3. 昇腾AI基础软硬件平台

    • 芯片:Ascend 910(训练)、Ascend 310(推理)
    • 框架:MindSpore(华为自研AI框架)
    • 软件栈:CANN(Compute Architecture for Neural Networks)异构计算架构

总结:
盘古大模型主要运行在搭载华为昇腾Ascend 910芯片的Atlas 800训练服务器上,并依托华为全栈自研的AI软硬件体系(包括MindSpore、CANN、ModelArts等)进行高效训练和部署。这套系统实现了从芯片、框架、训练平台到大模型应用的全栈自主可控。

未经允许不得转载:ECLOUD博客 » 盘古大模型用的什么服务器?