作者：Clay Pascal

编译：wenli， Lavida， yunhao

推荐人：Cage， Huaiwei

来源：海外独角兽

图片来源：由无界 AI生成

大模型的突破是以硬件算力和云计算能力的提升作为土壤的，被视为 GPU “核弹”的 NVIDIA H100 正面临有史以来最严重的缺货。Sam Altman 就直接表示，GPU 的短缺限制了 OpenAI 在微调、专用容量、32K 上下文窗口、多模态等方面的技术升级速度。

本文编译自  GPU Utils，作者主要从供需两个视角的分析探讨了 GPU（尤其是 NVIDIA H100）会持续多久。

需求视角下，NVIDIA H100 毋庸置疑是训练大模型的刚需，根据估算，目前市场上对 H100 的需求在 43.2 万张左右，若按每张约 3.5 万美元计算，这是相当于总价值约为 150 亿美元的 GPU，这 43.2 万的数字尚未包括像字节跳动（TikTok）、百度和腾讯这样需要大量 H800 的企业。

站在供给侧，H100 的短缺直接受限于台积电产能，且短期内， NVIDIA 并没有其他可选择的芯片工厂。因为出货量有限， NVIDIA  对于如何分配这些 GPU 也有自己的策略，对于 NVIDIA 来说，如何保证这些有限的 GPU 流向 AI 黑马而非 Google、微软、AWS 这些潜在竞争者相当重要。

这场围绕着 H100 的 AI 军火竞赛要持续多久？答案尚不明朗。虽然 NVIDIA 表示下半年会增加供给，但目前看来 GPU 的短缺可能会持续到 2024 年。

围绕着 H100 的短缺，接下来市场上或许会进入一种“恶性循环”：稀缺性导致 GPU 容量被视为 AI 公司的护城河，从而导致了更多的 GPU 囤积，而这又进一步加剧了 GPU 的稀缺。

以下为本文目录，建议结合要点进行针对性阅读。