微软在本周一发布了首个用于天气预测的大型大气基础模型 Aurora（极光），可实现天气和大气变化的高精度预报。
Aurora是一个13亿参数的基础模型，用于天气和大气过程的高分辨率预报。Aurora是一款灵活的3D Swin Transformer，带有基于3D感知器的编码器和解码器。在预训练时，Aurora进行了优化，以最大限度地减少具有不同分辨率、变量和压力水平的多个异构数据集的损失。然后分两个阶段对模型进行微调 🙁 1) 预训练权重的短前置时间微调 (2) 长前置时间 (rollout) 使用低秩自适应 (LoRA) 进行微调。然后部署经过微调的模型，以解决不同分辨率的各种运营预测场景。
据微软官方宣称，Aurora 是一个有着 13 亿参数的基础模型，同时还带有基于 3D 感知器的编码器和解码器。
Aurora 经过超过一百万小时的不同天气和气候数据训练。Aurora 利用基础建模方法的优势，为各种大气预测问题（包括训练数据有限、异构变量和极端事件）提供业务预测。
团队在预训练时分两个阶段对 Aurora 模型进行了优化，以最大限度地减少具有不同分辨率、变量和压力水平的多个异构数据集的损失，得以适应不同分辨率的各种运营预测场景。除此之外 Aurora 模型还有以下特性，官方介绍如下：
-
Aurora 能够在不到一分钟的时间内生成 5 天的全球空气污染预测和 10 天的高分辨率天气预报。
-
Aurora 在空气质量预测方面表现出色，能够以较小的计算成本提供与 CAMS（哥白尼大气监测服务）相当的预测。
-
Aurora 在 0.1° 精度下进行天气预测，能够准确预测极端天气事件，如风暴 Ciarán。
-
Aurora 在预测极端值方面优于现有的 AI 模型和数值天气预报模型。
-
Aurora 能够在多样数据集的预训练中表现出色，优于专门的深度学习模型和最先进的数值天气预测模型。