首页 > 分布式

分布式

  • 大模型训练算力利用率达60%，蚂蚁开源分布式训练扩展库ATorch

    近日，蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源，实现深度学习自动资源动态优化和分布式训练稳定性提升，帮助提升深度学习的智能性。据了解，在大模型训练中，ATorch千亿模型千卡级别训练的算力利用率可达60%，相当于为跑车装上了强劲的引擎。图：ATor

  • 标题：《基于强化学习的分布式AI系统设计与实现》

    强化学习定义一个分布式AI系统S，它由n个AI单元A1, A2, ..., An组成，每个AI单元都具有独特的功能和计算能力。系统S的目标是协同处理m个任务T1, T2, ..., Tm，每个任务都有不同的性质和要求。任务描述（Task Description）：每个任务Tj（j=1,2,...,m

  • PyTorch1.7发布：支持CUDA11、Windows分布式训练

    木易 发自 凹非寺自从7月份CUDA 11发布以来，就陆陆续续听到了网友类似的吐槽：这正说着，10月27日，PyTorch团队发布了PyTorch 1.7，终于能支持CUDA 11了，可喜可贺（狗头）。除此之外，这次1.7的版本，也带来了许多功能的更新和稳定。在更新上，有了许多新的应用编程接口，如支

  • 金色观察｜PaddleDTX：分布式机器学习解决方案

    PaddleDTX 是一个基于分布式存储的分布式机器学习技术解决方案。可以解决海量私有数据需要的安全存储和交换难题，可恶意帮助各方突破数据孤岛，实现数据价值最大化。PaddleDTX的计算层是一个由三种节点组成的网络：Requester、Executor和DataOwner。训练样本和预测数据集存储

  • 分布式边缘媒体AI推理解决方案白皮书发布边缘计算助力智能数据价值

    来源：陆家嘴金融网边缘计算近年来展现出巨大市场潜力，不仅为数字化转型提供强大动力，还将推动智能升级和技术创新。科舸物联科技有限公司与科舸全筑（苏州）物联科技有限公司近日携手英特尔、戴尔科技集团共同发布分布式边缘媒体AI推理解决方案白皮书，推出面向中心训练及边缘推理的基础设施解决方案。专家表示，AI

  • Menger:大规模分布式强化学习架构

    翻译：雷锋字幕组（季一帆）在过去的十年中，强化学习（RL）成为机器学习中最受瞩目的研究领域之一，应用RL能够很好地解决芯片放置和资源管理等复杂的问题，以及Go/Dota 2/hide-and-seek等有挑战性的游戏。简单来说，RL基础架构就是数据采集和训练的循环，Actor根据环境收集样本数据，然

  • 人工智能模型的分布式训练技术

    . 算力荒：大模型绕不开的大难题自从ChatGPT引爆大模型发展热潮，众多科技企业前赴后继，纷纷投入大模型研发中。然而，这波创业浪潮中鲜有小微初创企业的身影，甚至一些堪称“准独角兽”规模的企业，也只集中在大模型的下游应用创新或微调中，不具备独立的大模型创新能力。

热门文章