各位知道关于每一次气象灾害都能用超级计算机和大型模型来预测吗和天气预报靠的是什么这样的话题吗,很多人想知道每一次气象灾害都能用超级计算机和大型模型来预测吗的题,接下来小编带大家解说。
难以捉摸的蝴蝶
天气预报的全方法称为数值计算。收集到足够、丰富的气象数据后,转换成复杂的方程,结果就是所谓的预报。通过重复这个过程,可以不断地做出预测。
这些方程的背后是许多固体理论,如流体运动方程、热力学方程以及各种界面、气体、水、陆冰物质能量交换方程等,它们所代表的物理、化学定律都经过了严格的计算和验证。
但天气预报仍然不是绝对准确的。这类数值预报旨在通过已经发生的气象要素的变化来预测未来的趋势,其准确性严重受到观测资料准确性的影响。
此外,随着时间和空间尺度的变化,气象系统的复杂性急剧增加。一方面,在分析天气成因时会遗漏很多事情。另一方面,数据也会存在很多误差,影响预测。的结果。
而如果规模足够大的话,就会回归到混沌状态。这不是一个比喻。气象系统是一个典型的混沌系统。混沌理论最早由气象学家于1963年提出。
混沌系统意味着对系统的非常小的干扰可能会产生截然不同的后果。它的另一个名字是蝴蝶效应,即加利福尼亚州的一只蝴蝶扇动翅膀,而德克萨斯州和墨西哥湾却爆发了风暴。
这就要求最初的计算值必须非常准确,但我们都知道绝对的准确度是不存在的,更何况如此复杂的气象运动需要收集太多种类和数量的数据。
人类的天气预报就像试图了解蝴蝶的翅膀和风暴眼的路径之间的关系。它是美丽的,有时是绝望的,甚至是深刻的。
一方面,在准确性方面构建日益复杂的函数方程并在更短的时间间隔内收集尽可能多的数据,另一方面,依赖于近乎“直觉”的经验。
直到今天,所有的天气预报结果仍然由两部分决定数值计算的结果,加上预报员的判断。天气预报仍然在很大程度上依赖于人类的经验。
在某种程度上,人们用自己的情感来对抗自然的混乱。
超级计算机
因此,天气预报有一个奇怪的特点只要依靠人类的经验和感觉,就总会有失败的时候,尤其是在一些极端气候的情况下,因为极端气候的数据太稀疏,所以没有连贯的经验。它是。
不过,随着近几十年来数值预报精度的提高,目前的天气预报在很多情况下已经可以达到相当准确的水平。中期预报有用的是十天左右,而短期预报,比如冷空气什么时候来,气温会下降多少,都可以非常准确地估计。这是因为,虽然全气候和环境变化整体上是混乱的,但许多微观层面,如气团的形成、气压的变化、云的运动轨迹等,都被越来越多的函数和公式生动而准确地描述出来。出来。
比如,近期京津冀地区出现大暴雨。
7月29日至8月1日,台风“杜苏里”携丰富水汽北上,在华北地区被高压拦截。京津冀地区出现罕见暴雨天气。
极端表现在几个方面。首先是数量大。河北省邢台临城县降雨量超过1000毫米,即1米,相当于这里前两年的总降雨量。其次,从7月29日开始,历时近四天,北京连续降雨83小时。河北、陕西、河南等地也连续两天出现大雨。最后,影响范围很广,整个华北地区都被降雨覆盖。
预报员几乎完全准确地预测了极端降雨。这背后隐藏着近几十年来天气预报的巨大进步数值计算已经从简单的方程组发展成为世界上最复杂的算法之一。我们捕捉不可预测天气的数据和算法越多越好。为了处理如此大量的数据和复杂的算法,引入了超级计算机。
很多人可能不知道气象数据的海量,但有一个数字中国的气象数据每天增长到40TB。我国已建立完整的立体气象观测网络,气象观测站7万多个,覆盖全国996个城镇。发送这些数据所需的时间已从过去的一个小时缩短到近年来的一分钟。
处理如此庞大的数据量已经相当困难,将其与数值计算方程结合起来几乎是不可能的任务。——复杂的偏微分方程和浮点运算需要大量计算。电力,尤其是天气预报,也要求极高的时效性。在各种下,只有超级计算机才能满足需求。
幸运的是,中国在这方面走在世界前列。
超级计算一直是中国的名片。例如,全最快的500台超级计算机中,中国占据了162台。例如,我曾三次获得超级计算机应用最高项戈登贝尔,其中两次获得。《大气动力学框架》和《地震模拟》两项获内容均涉及气象领域。
目前中国使用的超级计算机名为“Pi-Dawn”。最大计算速度为每秒81895万亿次运算,存储容量为23088TB。这台完全国产的超级计算机2018年投入使用后,我国气象高性能计算机系统整体上升至世界第三位。那不是全部。随着数据量快速增长和硬件磨损,超级计算机的使用寿命通常为六到八年。因此,继“Pi-Dawn”之后,新的超级计算机也相继推出。今年第一个。新的国家高性能计算子系统1已安装并建成。性能相比“Pi-Suguang”进一步提升,实现了13PFlops,存储容量也提升至76PB。
越来越多的超级计算机即将到来。
高性能国产计算机系统“Pi-Dawn”概念图,由国家气象信息中心提供。
“停滞”与新道路
一般来说,由成百上千个CPU组成的超级计算机为天气预报提供了坚实的基础,但仍然有一些事情是不可能或很难做到的。
就像台风一样。我们对台风杜苏里的预报与强降雨预报相去甚远。主流的台风预报方法都是根据流体力学、热力学等大气物理定律,利用动力模型模拟大气运动来预测台风的变化。
动态模型存在许多不准确之处,这就是为什么杜苏里路径的最初预测有所不同。业内认为权威准确的欧洲中期天气预报中心一度认为杜苏里将直奔珠三角。
事实上,台风的预报一直是一个全性难题,因为台风可以在短时间内发生强烈的强度变化,而且由于台风的时空规模非常大,受多种因素影响,其轨迹很难预测。预测。因素。因素。
它是一个典型的混沌系统。
以数值预测为主的天气预报已经成为一个矛盾体,改进的空间虽然巨大,但非常有限。除了获得经验之外,人类实现准确性的唯一方法就是尽可能多地学习。收集数据并构建日益复杂的功能,但它们的边际效益也越来越明显。更多的数据并不能显着提高全面宏观和微观天气预报的准确性,总体计算成本继续上升。
至此,局势似乎陷入了僵局。庞大的数据、复杂的算法以及对计算能力的高要求,在一定程度上让数值计算成为了瓶颈,但这三个条件听起来是不是很耳熟?
看起来有点像大模型的三要素?
事实上,在品万看到的一次气象技术内部研讨会上,有专家直接表示,人工智能和气象工作在方法论上是相似的。
既然数值计算公式实际上并不能穷尽整个混沌系统中的所有因果关系,那么为什么不使用神经网络的方法将海量数据导入其中,让计算机自己寻找和学习规则呢?
这似乎是一个难以形容,却又极其神秘又合理的解释。ENIAC是人类第一台电子计算机,EDSAC是第一台采用冯诺依曼结构构建的计算机。它实际上用于执行与气象相关的科学计算。气象学的发展始终与计算机科学的发展保持同步。这些进步是紧密相连的高性能计算推动了气象科学中复杂题的解决,而从通用计算机思维中出现的神经网络和大规模模型似乎是气象学和天气预报的一个非常有趣和合理的方向。
事实上,中央气象台在预测台风“杜苏里”路径时参考了大型人工智能模型的结果。
寻找另一种方式
随着生成式人工智能的普及,主要的天气模型并没有在去年年底出现。已经有许多大型模型利用强大的计算能力、海量数据和各种深度学习架构来预测天气。国外比较知名的模型有Nvidia的FourCastNet、DeepMind、Google的GraphCast和微软的ClimaX。最新的国产模型是华为的盘古模型和上海凤舞模型,后者来自上海人工智能实验室。
盘古和凤舞均使用了欧洲气象中心的气象再分析数据集ERA5,该数据集提供了过去60年来覆盖地表面37个等压面的各类气象数据总计2000TB。
这些数据为大规模模型提供了发挥的空间。人工智能不再需要精确的数值计算,而是可以更灵活地挖掘数据之间的各种复杂关系。
盘古构建了一个3D变压器结构,整合了海洋、大气和陆地复杂的交互物理过程。过去,主要的气候模型,例如Nvidia的FourCastNet,都使用2D结构每个等压表面都是一个层。显然,二维平面根本无法更好地反映气象变化的过程。
根据品玩看到的材料,华为在这个3D结构中使用了绝对位置编码,显着加快了模型的收敛速度。此外,华为还训练了四种基本模型,分别对应1小时、3小时、6小时和24小时。每小时预测是一种时域融合方法,可显着减少先前模型中因小步长和多次迭代而导致的误差。
对于台风老南的预报,盘古以平均海平面气压为预报基准,结果优于欧洲气象局的预报。
GaleDance模型的思想是使用6个独立的编码器对不同的气象参数进行编码和解码,并使用独立的变压器网络在不同的变量之间进行学习。
与华为利用时域融合来减少误差的方法不同,凤舞设计了一个缓存空间来存储和回放训练过程的结果,以便神经网络能够适应其误差,达到更好的预测结果。虽然这些新的气象大尺度模式预报结果仍处于初步阶段,且已发表的结果在一些具体指标上优于传统数值预报方法,仍需要大量测试和优化,但毫无疑它们将为一些与传统天气预报完全不同的新范式。
目前,华为大型盘古模型已在欧洲中期天气预报中心实现初步运行,凤舞号称是最准确的高分辨率全AI天气预报模型。387公里,比欧洲中期天气预报中心的5411公里还要准确。
前面的路还很长
改变即将来临。大型天气模型有可能在很多方面扰乱天气预报,例如速度。凤舞利用GPU在1分钟内生成全各地区未来14天37级高精度、高分辨率的天气预报结果,而盘古的7天天气预报只需98秒即可生成。
为数值计算而建立的实时天气数据传输系统和通用计算能力基础设施将因此而改变。气象局内部人士品万表示,虽然大尺度气象模型的潜力只是作为短期预报的参考,但中长期来看无疑是巨大的。
这些大型天气模型可能面临两个主要题。首先是调音。在大型模型中正确标记诸如极端气候等数据是一个题。AI模型拟合能力强,长期预测可能有误差。这是伟大天气模型的幻觉。
而且,目前的大型模型不具备更深层次的工业知识储备,模型的构建是由计算机科学家而不是气象专家完成的,这意味着这些垂直的大型模型仍然没有“人类反馈”。协调。
另一个题是日常计算能力。虽然我国在超级计算机发展方面位居世界前列,但大型模型并没有使用传统超级计算机的通用计算能力。深度网络的运行需要大规模并行计算。即使拥有强大的GPU,我们仍然停留在这方面。
幸运的是,直接参与大型天气模型的算力成本并不高。据品万了解,数十张Nvidia显卡可以在几周内完成,最长可达2个月。模型训练。这也成为相对于传统数值预测模型的优势。
在主要天气模型的帮助下,“不可预测”这句话可能很快就会成为神话,有一天我们也许真的能够预测飞舞的蝴蝶和猛烈的飓风同时来自哪里。去哪儿。
看完本文,相信大家应该对每一次气象灾害都能用超级计算机和大型模型来预测吗和天气预报靠的是什么的具体内容有所了解了吧,欢迎各位持续关注本站。
No Comment