MetMan's Blog

标签搜索

气象超算跟踪系列（四）美国NOAA's HPC

气象超算跟踪系列（四）美国NOAA's HPC

NOAA(National Oceanic and Atmospheric Administration)于2022年6月28日启动新一代超算业务运行。新超算系统是两台HPE Cray机器（两台完全相同配置机器，业务+备份）。两台超算分别叫Dogwood和Cactus，以弗吉尼亚州马纳萨斯和亚利桑那州凤凰城的原产植物命名，部署在两地。Dogwood和Cactus各自由2560个节点构成，其中每个节点CPU采用AMD Epyc "Rome" 7742 CPU ，高速网络采用Cray Slingshot-10。每套系统有26 PB存储，包括614TB的闪存。每台机器峰值计算性能达到12.1 petaflops，总的计算性能（24.2 petaflops）比上一代业务系统（8 petaflops）快三倍，存储和互联速度是上一代的2倍。NOAA上一代业务超算是基于Cray XC40的Luna和Surge，Dell的Mars和Venus ，这些系统总计算能力在8 Petaflops。在新增这两台超算后，加上NOAA其它研发的超算系统（计算性能18 petaflops），NOAA目前总计算能...

2023年10月21日

205 阅读

0 评论

气象超算跟踪系列（三）ECMWF超算采购策略

气象超算跟踪系列（三）ECMWF超算采购策略

ECMWF超算采购策略从2021年起，新的Atos超算HPC2020将支持ECMWF未来四年的运营和研究活动。在之前的ECMWF HPC采购中，计算需求是由合同期早期高分辨率预测（HRES）的分辨率升级驱动的，随后是该期间后期的其他预测改进。这导致了一个两阶段的实施方法：首先是具备足够的计算性能的初期安装，以实现HRES分辨率升级，然后是中期升级。但ECMWF发布的《2016-2025年战略》要求采用不同的方法，因为它将重点放在显著提高集合预报（ENS）的分辨率上。这需要从一开始就在能力和容量方面对计算性能进行重大升级，而不是两步走策略。集合预报水平分辨率计划从目前的18公里升级到9公里（或在任何情况下升级到10公里左右，确切分辨率取决于将要进行的测试）预计将在新的超算设施投入使用后不久实施。因此，HPC2020合同是一份为期四年的服务合同，没有合同中期升级。但是，HPC2020合同包括ECMWF在合同期限内增强其HPC资源的选项。ECMWF可能会根据未来签订的协议获得额外的资金来运行新服务，包括为额外的HPC需求提供资金。这可能需要增强HPC设施和大幅增加容量。此外，为了使系统...

2023年10月21日

221 阅读

0 评论

气象超算跟踪系列（二）ECMWF's HPC

气象超算跟踪系列（二）ECMWF's HPC

ECMWF新一代超算HPC2020采购自欧洲（法国）高性能计算机公司Atos，基于该公司BullSequana XH2000超算技术。新超算部署在意大利博洛尼亚(Bologna)，于2022年10月18日开始业务运行。Atos Sequana XH2000配置新超算系统由四个独立集群组成，每个集群都能连接所有高性能存储。集群构成集群节点包括：计算节点运行并行作业GPIL节点运行通用交互任务（General Purpose and Interactive workLoads）其它节点有特定功能，包括管理系统、作业调度和存储连接集群硬件架构：90 rack（机架）（80个液冷机架、10个风冷机架）32 blades（刀片）/rack3个双socket nodes/blade液冷，高密度rack集群具体配置及与ECMWF前一代超算Cray XC40对比见下表。配置Cray XC40Atos Sequana XH2000集群24CPUIntel BroadwellAMD Epyc RomeCores18 cores/socket, 36 cores/node64 cores/socke...

2023年10月21日

174 阅读

0 评论

气象超算跟踪系列（一）US Air Force's HPC

气象超算跟踪系列（一）US Air Force's HPC

美国空军（U.S. Air Force）和能源部橡树岭国家实验室(Department of Energy's Oak Ridge National Laboratory, ORNL)2021年开始共同运营的新一代超级计算机系统，用于美国空军全球/区域数值天气预报运行。新一代系统由两台相同的HPE Cray EX超算构成，由ORNL管理。两台超算分别命名为“Fawbush”和“Miller”，用于纪念两位空军气象学家。使用双超算系统策略考虑除了冗余备份外，另一个优势是动态负载平衡。新一代超算将促使全球模式分辨率从17公里提高到10公里。HPE Cray EX 超级计算机架构是一种全新的设计，多用途功能，包括建模、模拟、AI 和分析。每个系统由四个机柜构成，800个二代AMD EPYC处理器节点。两个超算总峰值性能为7.2Petaflops，总计算性能是空军之前的超算性能的6.5倍。此外，每个系统可扩展到1024个节点，允许未来安装GPU加速卡，可以将其浮点性能提高十倍。美国空军主力模式是基于英国气象局的UM模式，同时也在开发其专用模式。比如全物理云预报，它使用云微物理参数化来改进...

2023年10月21日

207 阅读

0 评论

Centos服务器查看图片方法

Centos服务器查看图片方法

在模式研发过程常会使用绘图工具生成图片，并希望能够在服务器上直接查看图片。本文总结了几种在centos服务器上直接查看图片的简单方法。需要注意的是，我测试的服务器操作系统是centos 8.4，安装时应该选择了支持图形环境。1. xdg-open如果centos服务器上存在xdg-open命令，直接输入以下命令查看$ xdg-open filenamexdg-open是一个“万能命令”，通过调用设置的默认软件可以打开很多不同类型的文件或链接，比如xdg-open参数是一个网页链接，xdg-open可能调用默认的浏览器Firefox打开该网址。$ xdg-open http://www.baidu.com如果参数是图片文件，调用对应的图片查看器打开图片等。$ xdg-open avatar.jpg那么我使用的服务器默认的图片查看器是什么呢？可以通过xdg-mime查询。$ xdg-mime query default image/jpg eog.desktop2. eog前面查询到服务器上xdg-open调用了eog工具查看图片。实际上eog是Eye of GNOME缩写，也称为I...

2023年10月21日

157 阅读

0 评论

GRIB2数据修改key信息

GRIB2数据修改key信息

问题有一个grib2数据，使用wgrib2查看元信息：$ wgrib2 in.grb其中SPFH场垂直层信息为reserved，未能显示正确的等压面层次。使用eccodes中grib_ls工具查看$ grib_ls in.grb输出如下：其中typeOfLevel和level两个key信息对于比湿q（即wgrib2中显示的SPFH）有问题。层次类型值为unknown，而不是像正常场一样为isobaricInhPa，其level单位是Pa，而其它正常显示的场单位是hPa，应该就是这个问题导致在wgrib2查看时出现异常。修改key信息通过eccodes提供的grib_set工具修改key信息使grib文件正常显示元信息。$ grib_set -s typeOfLevel=isobaricInhPa -w typeOfLevel=unknown in.grib out.grib-w 只对匹配该选项条件的GRIB messages执行set操作，其他不符合的messages原封不动拷贝到新的grib文件。-s设置 key=value修改后wgrib2查看附:eccodes简要安装说明...

2023年10月21日

133 阅读

0 评论

Python判断海陆点方法

Python判断海陆点方法

从网上找到Python判断海陆点的两种方法。Basemap is_land利用Basemap工具函数is_land()from mpl_toolkits.basemap import Basemap map = Basemap(projection='cyl', resolution='i') #lon, lat = 130., 30. #ocean lon, lat = 120., 30. #land xp,yp = map(lon,lat) print(map.is_land(xp,yp))说明：is_land(xpt,ypt)接受的参数是basemap建立的地图投影坐标中的(xpt,ypt)，所以必须先将经纬度转换成投影坐标位置再传给is_land函数。海陆点判断基于GSHHS海岸线数据（polygon），陆地区域湖上的点不算做陆地点。Basemap参数resolution可以指定边界数据库的分辨率，有如下选择：c(crude)/l(low)/i(intermediate)/h(high)/f(full)/None，默认使用c。分辨率越高，判断越准确，但运行速度也...

2023年10月21日

117 阅读

0 评论

美国空军竟然使用了英国模式？

美国空军竟然使用了英国模式？

Clifford Mass今年在BAMS上发表了一篇反思美国业务数值天气预报的文章《The Uncoordinated Giant II: Why U.S. Operational Numerical Weather Prediction Is Still Lagging and How to Fix It》，反思美国全球模式预报水平长期不如ECMWF、UKMET的种种原因。这已经是第2篇了，第一篇是发表在2006年，题目叫《The Uncoordinated Giant: Why U.S. Weather Research and Prediction Are Not Achieving Their Potential》，里面还吐槽了当时的WRF。感兴趣的同学可以找来这两篇文章看看。我对其中介绍的一件事情非常好奇：美国空军在2015年将其业务模式从原先的WRF模式切换到英国气象局开发的全球区域一体化模式UM（Unified Model）。美国数值模式研发力量那么强大，而且美国空军这么敏感的机构，竟然选择使用外国模式，有点不可思议。这一决定其背后的原因是什么？我好奇在网上查找了相...

2023年10月21日

152 阅读

0 评论

查看更多

繁

登录

X