MetMan's Blog

标签搜索

搜索到 2 篇与的结果 ———

Wgrib2提取小区域数据

Wgrib2提取小区域数据

对于GRIB2数据处理，常见的一个需求是提取全场区域内一个子区域数据。wgrib2提供了几种处理方法。GRIB2数据提取方法wgrib2主要通过两种方法限制提取范围，一是根据格点索引范围；二是通过经纬度范围进行指定。-ijbox根据格点索引范围截取数据区域。-ijbox out X..Z,A grid values in bounding box X=i1:i2[:di] Y=j1:j2[:dj] Z=file A=[bin|text|spread]该选项需要四个参数，第一个是X方向索引范围：起始i1，结束i2，可选步长间隔di；第二个是Y方向范围，用法类似；第三个是写出文件名；第四个参数指定生成文件格式，支持bin/text/spread。-lola根据经纬度范围截取数据区域。-lola out X..Z,A lon-lat grid values X=lon0:nlon:dlon Y=lat0:nlat:dlat Z=file A=[bin|text|spread|grib]该选项需要四个参数，第一个是经度范围：起始经度lon0，...

2024年07月31日

41 阅读

0 评论

ADIOS2加速WRF IO

ADIOS2加速WRF IO

华为公司研究人员在arXiv发表了预印版论文《accelerating wrf i/o performance with adios2 and network-based streaming》，介绍了他们将下一代并行I/O库ADIOS2接入WRF模式，利用ADIOS2功能提升WRF I/O性能的工作。根据给出的测试结果，使用ADIOS2相比传统MPI-I/O方案获得十倍的性能提升。具体细节可阅读他们的论文。ADIOS2功能介绍ADIOS2亮点功能有很多，包括支持多种数据格式，sub-files输出功能支持自研BP系列数据格式，不追求输出到一个文件中，而是通过I/O进程聚合器生成多个sub-files，减少传统MPI-I/O方法文件锁问题。I/O聚合器设置可调，默认一个节点设置一个，既利用节点内共享内存通信，又尽可能减少并发访问文件系统的进程数。Burst Buffer功能BP5格式支持node-local burst buffer支持，即每个进程输出其sub-files到本地文件系统（比如节点挂载的SSD盘），然后通过一个单独的后台线程将这些数据传到并行文件系统中。在线压缩功能...

2023年11月02日

186 阅读

0 评论

MetMan博主

访问 28339 ℃

85 文章数

1 评论量

互动读者

标签云

最新回复

暂无回复

繁

登录

X