首页 > AI资讯 > 最新资讯 > 摩尔线程MTTS4000组成千卡集群“夸娥”:可训练千亿参数大模型

摩尔线程MTTS4000组成千卡集群“夸娥”:可训练千亿参数大模型

新火种    2024-04-02

4月1日消息,近日,无问芯穹发布了“无穹Infini-AI”大模型开发与服务平台,并宣布与摩尔线程达成深度战略合作。

无穹Infini-AI基于无问芯穹的智算云平台,可服务生成式大模型的多种场应用落地,为应用开发者提供高性能、易上手、安全可靠的大模型服务,覆盖从大模型开发到大模型服务化部署的全流程。

目前,无穹Infini-AI已经支持百川Baichuan2、ChatGLM2、ChatGLM3、ChatGLM3闭源模型、Llama2、Qwen、Qwen1.5等系列模型共20多个模型。

摩尔线程MTT S4000组成千卡集群“夸娥”:可训练千亿参数大模型

摩尔线程是第一家接入无问芯穹并成功完成千卡级别大模型训练的国产GPU公司,“夸娥”(KUAE)集群已经与无穹Infini-AI顺利完成了系统级融合适配,并完成了LLama2 700亿参数大模型的训练测试。

“夸娥”集群基于双路八卡GPU服务器MCCX D800,每个节点有八块MTT S4000 GPU加速卡、两颗Intel第四代至强处理器、16 x 64GB内存、4×3.84TB NVMe SSD,以及双路400Gb IB、四路25Gb以太网网络,一体化交付解决大规模GPU算力的建设和运营管理问题。

夸娥氏是我国神话传说中的大力神,出自《愚公移山》:“帝感其诚,命夸娥氏二子负二山,一厝朔东,一厝雍南。自此,冀之南,汉之阴,无陇断焉。”

摩尔线程MTT S4000组成千卡集群“夸娥”:可训练千亿参数大模型

摩尔线程MTT S4000组成千卡集群“夸娥”:可训练千亿参数大模型

摩尔线程联合创始人兼执行总裁王东表示,基于先进的MUSA架构,摩尔线程已建立了从芯片、板卡、集群到软件的全栈AI产品线。

摩尔线程夸娥智算集群是以全功能GPU为底座、软硬一体化的全栈解决方案,拥有高兼容性、高稳定性、高扩展性等综合优势,可作为大模型训练坚实可靠的先进基础设施。

摩尔线程MTT S4000组成千卡集群“夸娥”:可训练千亿参数大模型

摩尔线程MTT S4000组成千卡集群“夸娥”:可训练千亿参数大模型

摩尔线程MTT S4000组成千卡集群“夸娥”:可训练千亿参数大模型

Tags:
相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。