比传统数值预报提速1万倍以上,华为AI模型登上《自然》杂志

浏览: 时间:2023-07-20

众所周知,一到夏季,每个广东人都在期待一场听话的台风,比如会停工停课的那种。

微信图片_20230720142620


台风当然会按时抵达,在每个广东人踏进公司的那一刻。


这一点,登上了《自然》杂志,发表了研究成果《三维神经网络用于精准中期全球天气预报》的华为云盘古气象大模型能预料到吗?


592e22af176eb926f670385ef6da073a_sz-13487


北京时间7月6日,《自然》杂志发表了华为云盘古大模型研发团队研究成果——《三维神经网络用于精准中期全球天气预报》。


论文显示,盘古气象大模型是首个精度超过传统数值预报方法的AI模型,速度相比传统数值预报提速1万倍以上。


意思是,传统的数值预报方法需要几个小时甚至几天才能完成的天气预报,盘古大模型只需要几秒钟就能搞定!


1000_20230720_16898344150383180


这是近年来中国科技公司首篇作为唯一署名单位发表的《自然》正刊论文。《自然》评价认为:“盘古气象大模型让人们重新审视气象预报模型的未来,模型的开放将推动该领域的发展。”


20世纪20年代以来,特别是近30年随着算力的迅速发展,数值天气预报在每日天气预报、极端灾害预警、气候变化预测等领域取得了巨大成功。


但是随着算力增长的趋缓和物理模型的逐渐复杂化,传统数值预报的瓶颈日益突出,研究者们开始挖掘新的气象预报范式如使用深度学习方法预测未来天气。在数值方法应用最广泛的领域如中长期预报中,现有的AI预报方法精度仍然显著低于数值预报方法,并受到可解释性欠缺,极端天气预测不准等问题的制约。


盘古大模型研发团队发现,AI气象预报模型的精度不足主要有两个原因:


第一,原有的AI气象预报模型都是基于2D神经网络,无法很好地处理不均匀的3D气象数据;

第二,AI方法缺少数学物理机理约束,因此在迭代的过程中会不断积累迭代误差。


为此,团队创造性地提出了【适应地球坐标系统的三维神经网络】来处理复杂的不均匀3D气象数据,并且使用【层次化时域聚合策略】来减少预报迭代次数,从而减少迭代误差。


该研究训练了 4 个模型,分别为 1 小时间隔、3 小时间隔、6 小时间隔、24 小时间隔模型。为了深度训练每个模型,研究人员使用了43年 (1979-2021 年)的气象数据,以小时为单位采样,训练了 100 个 epoch。盘古气象大模型在单个 GPU 上的推理成本为 1.4 秒,比 operational IFS 快 10000 倍以上,与 FourCastNet 相当。


“我们使用了全球40年的天气数据,用200张GPU卡进行预训练,大概训练了2个月左右的时间,训练出了参数量达到亿级的盘古气象大模型。”华为云人工智能首席科学家田奇说。


operational IFS:欧洲气象中心的传统数值预报方法。

FourCastNet:是一种人工智能模型,它使用数十TB的地球系统数据,可比当前的预测方法更快、更准确地预测未来两周的天气。FourCastNet可以通过模拟风暴中地球自转产生的科氏力,来准确预测飓风哈维路径。


盘古气象大模型的水平空间分辨率达到 0.25°×0.25° (约28公里x28公里),时间分辨率为 1 小时,覆盖 13 层垂直高度,可以精准地预测细粒度气象特征。作为基础模型,盘古气象大模型还能够直接应用于多个下游场景。


基于这两点为突破口,相较于其他的预测方式,盘古气象大模型在高空气象预测、地表气象预测数据方面,误差进一步降低。


比如说,在同一高空变量Z500时,传统数值方法,以欧洲气象中心的operational IFS为代表,预测均方根误差(单位:m2/s2)为152.8和333.7,盘古气象大模型把误差减少到134.5和296.7。

据介绍,同一预测精度下,盘古气象大模型可以预测时间范围可以延长到36小时以上。换句话说,在高空气象预测领域,盘古气象大模型的预测结果比传统数值预报和AI预报的预测误差分别降低了10%、30%。


下图可视化了盘古气象大模型 3 天里的预报结果。他们研究了两个高空变量,Z500 和 T850(850 hPa 温度),以及两个地表变量,2 米温度和 10 米风速,并将结果与 operational IFS 和 ERA5 真实数据进行了比较。


结果显示,盘古气象大模型和 operational IFS 的结果与真实数据非常接近,但它们之间仍然存在可见的差异。盘古气象大模型产生了更平滑的等值线,这意味着模型倾向于为相邻区域预测类似的值。相比之下,operational IFS 的预测结果不太平滑,因为它通过解决带有初始条件的 PDE 系统来计算每个网格单元的单个估计值,而天气的混沌性质和不可避免的初始条件以及子网格扩展过程中的不准确性都可能导致每个预报中的统计不准确。


1000 (1)


而同一预测精度下,盘古气象大模型能够比传统数值预报时间和AI预报的预测时间更长,当其他方法能够预测三天气象时,盘古大模型可以预测四天后甚至是五天后的气象变化。同时,盘古气象大模型可以更好地预测更细小的气象特征变化,从而帮助气象学家获得更准确的气象结果,以及从事相关气象研究。


今年5月,台风“玛娃”走向受到广泛关注。来自国家气象中心的消息称,盘古大模型在“玛娃”的路径预报中表现优异,提前5天预报出其将在台湾岛东部海域转向路径。

b90e7bec54e736d17c6fcb7cd6ee20ced4626994

在第19届世界气象大会上,欧洲中期天气预报中心也指出,盘古气象大模型在精度上有不可否认的能力,纯数据驱动的AI天气预报模型,展现出了可与数值模式媲美的预报实力。

6a63f6246b600c33611c428151f23e03d8f9a159


截至目前,盘古气象大模型能够提供全球气象秒级预报,其气象预测结果包括位势、湿度、风速、温度、海平面气压等,可以直接应用于多个气象研究细分场景。


研究团队将联合全球气象机构,继续探索并发挥AI在气象领域的应用潜力,为农林牧渔、航空航海等各行业提供支持。


图文来源 | 中国青年报、界面新闻、机器之心、天方夜谭_丝路、商业小财迷