MetMan's Blog

标签搜索

搜索到 1 篇与的结果 ———

ADIOS2加速WRF IO

ADIOS2加速WRF IO

华为公司研究人员在arXiv发表了预印版论文《accelerating wrf i/o performance with adios2 and network-based streaming》，介绍了他们将下一代并行I/O库ADIOS2接入WRF模式，利用ADIOS2功能提升WRF I/O性能的工作。根据给出的测试结果，使用ADIOS2相比传统MPI-I/O方案获得十倍的性能提升。具体细节可阅读他们的论文。ADIOS2功能介绍ADIOS2亮点功能有很多，包括支持多种数据格式，sub-files输出功能支持自研BP系列数据格式，不追求输出到一个文件中，而是通过I/O进程聚合器生成多个sub-files，减少传统MPI-I/O方法文件锁问题。I/O聚合器设置可调，默认一个节点设置一个，既利用节点内共享内存通信，又尽可能减少并发访问文件系统的进程数。Burst Buffer功能BP5格式支持node-local burst buffer支持，即每个进程输出其sub-files到本地文件系统（比如节点挂载的SSD盘），然后通过一个单独的后台线程将这些数据传到并行文件系统中。在线压缩功能...

2023年11月02日

186 阅读

0 评论

MetMan博主

访问 28336 ℃

85 文章数

1 评论量

互动读者

标签云

最新回复

暂无回复

繁

登录

X