使用ECMWF开放数据运行AI模型
03/22
本文最后更新于
2025年03月22日,已超过
13天没有更新。如果文章内容或图片资源失效,请留言反馈,我会及时处理,谢谢!
ECMWF宣布用户可以使用ECMWF开放数据运行AI模型。从ECWMF官方文章介绍来看,在本地运行气象大模型步骤已经非常简单了。
目前支持的大模型包括:
- Pangu-Weather
- FourCastNet(versions 1 and 2)
- GraphCast
- FuXi
- Aurora
暂未提供ECMWF自研的AIFS大模型。
使用方法
- 系统必须安装python、pip (推荐mambaforge或miniconda)
$ pip install ai-models
$ pip install ai-models-panguweather # Or another model
$ ai-models panguweather --input ecmwf-open-data
执行第三条命令报错,提示没有训练好的模型文件。
按照提示执行命令
ai-models --download-assets panguweather --input ecmwf-open-data
会下载数据到pangu_weather_24.onnx和pangu_weather_6.onnx文件。
然后再次执行命令ai-models panguweather --input ecmwf-open-data
提示由于未安装cudnn库,只能在CPU端运行,10天预报花费了1.5个小时左右,运行结束后生成panguweather.grib文件。
安装cudnn库
尝试安装cudnn库,然后使用GPU卡推理。
# 下载对应版本的cudnn库
$ wget https://developer.download.nvidia.com/compute/cudnn/redist/cudnn/linux-x86_64/cudnn-linux-x86_64-9.4.0.58_cuda12-archive.tar.xz
$ tar -xf cudnn-linux-x86_64-9.4.0.58_cuda12-archive.tar.xz
$ cd cudnn-linux-x86_64-9.4.0.58_cuda12-archive
$ sudo cp include/cudnn.h /usr/local/cuda-12.6/include
$ sudo cp lib/libcudnn* /usr/local/cuda-12.6/lib64
再次尝试ai-models panguweather --input ecmwf-open-data
通过监控程序发现GPU核心和内存基本用满了。
GPU卡运行时间为0.5个小时。
参考资料
https://www.ecmwf.int/en/about/media-centre/aifs-blog/2024/run-ai-models-yourself-ecmwf-open-data

