DeepMind大模型再登上Nature——

气象预测大模型GenCast，8分钟内完成15天的预测，而且不管常规还是极端天气都能分析。

在97.2%的场景中，GenCast的表现都超过了全球顶尖的中期天气预报系统ENS。

不同于DeepMind之前推出的GraphCast的确定性预测，GenCast关注的是各种天气情况的概率。

和GraphCast一样，GenCast也已经开源。

它基于扩散模型实现，分辨率为0.25度经度/纬度（在赤道处约为28×28公里），相当于将地球表面分割成了超过100万个网格。

每个网格都涵盖80多个地表和大气变量，相当于每次预测都有数千万甚至上亿条数据生成。

测试结果表明，在1320种实验条件中，GenCast在97.2%的任务中，都比ENS更准确。

对于GenCast的表现，论文作者、DeepMind研究人员Ilan Price表示：

我们确实取得了巨大的进步，通过机器学习赶上了并超越了基于物理的模型。

准确率超最强传统方法

传统天气预报基于数值天气预报（NWP）算法实现，核心是对模拟大气动力学的方程求近似解。

不过，相比于单一确定性的预测，气象机构越来越依赖集合预报，生成多个基于NWP的结果，对各种可能的情景进行建模。

GenCast做的也是集合式预报，当然基于的原理不是NWP而是AI。

开头提到的ENS，就是目前最先进的集合预报系统，来自欧洲欧洲中期天气预报中心（ECMWF），未来将被纳入其确定性预报系统HRES。

但即便是这种最强的传统方式，也无法战胜AI系统。

在常规预报当中，DeepMind团队利用训练数据中未涵盖的真实历史（2019年）数据，设置了1320种实验条件，涉及不同的物理变量、预报时长和垂直高度。

结果在97.2%的场景当中，GenCast的CRPS都显著优于ENS，如果只看对36小时之后的预测，GenCast在99.6%的条件下都能胜出。

（CRPS衡量了预报与观测值之间累积概率分布的差异，数值越小说明预报越准确）

对于高温、大风等极端天气事件（实验中按发生概率分为1%/0.1%/0.01%三档），除了在个别场景下，GenCast的预报的相对经济价值（REV）显著优于ENS。

（2t代表距离海平面2米高处温度，10wind_speed代表10米处风速，msl代表平均海平面气压，蓝线代表GenCast）

除了基础的预测，在下游应用上GenCast也表现出了更强的预测能力。

DeepMind团队测试了一款区域风电应用，使用全球发电厂数据库中的5344个风电场位置和装机容量信息，通过插值获得各风电场位置的10米风速预报，并通过功率曲线转换为风电功率。

在120公里、240公里、480公里三个空间聚合尺度上，GenCast的风电功率预报CRPS和REV在7天内都显著优于ENS。

不仅精准性强，GenCast的预测速度也很快，完成一次15天的预测仅需约8分钟，而ENS需要几个小时。

用扩散模型预测天气

不同于DeepMind去年在Science上发表的GraphCast（基于图神经网络GNN），GenCast基于扩散模型实现。

它以最近的X(t)和前一步天气状态X(t-1)的残差Z(t)为采样条件，经过去噪后得到预测结果，然后利用预测结果计算新的残差作为新的输入依据，将预测向更长时间延伸。

而具体的去噪过程，DeepMind又选择了交给Transformer来完成。

Transformer编码器首先将物理状态场从经纬度网格表征映射到一个六次细化的二十面体网格上。

然后，在Transformer的自注意力机制中，网格上的每个节点都会关注其周围32跳邻域内的所有节点，从而有效捕捉局部和中等尺度的天气特征。

最后，解码器将结果映射回原始分辨率，得到去噪后的结果。

GenCast从公开的ERA5再分析数据集中，选取了1979至2018这40年的数据（间隔12小时，分辨率0.25°）对GenCast进行了训练。

为了提高预训练效率，数据首先被降采样到1°分辨率，使用5次细化的二十面体网格进行学习。

这个阶段需要200万步，在32个TPUv5实例上运行约3.5天。

完成预训练后，再用原始的0.25度分辨率数据和6次细化的二十面体网格，对模型进行高精度微调，共计64000步，需要约1.5天完成。

目前，像去年发布的确定性预测模型GraphCast一样，GenCast也已经开源，代码和模型权重均已发布。

DeepMind还表示，将会很快发布GenCast（和以前的模型）生成的实时和历史预报结果，为其他研究者提供更多的研究资源。