MetMan's Blog

标签搜索

Intel MPI运行时错误信息诊断

Intel MPI运行时错误信息诊断

笔者开发模式主要使用“Intel Fortran Compiler + Intel MPI”组合，在开发过程中经常遇到程序运行出错情况，如果了解Intel MPI输出的运行时错误信息，这对快速定位出错原因很有帮助。下面总结几种主要遇到的错误信息，内容主要来自于Intel官网Intel MPI Troubleshooting。Bad File Descriptor错误信息运行报错信息类似于（关键词Bad file descriptor）[mpiexec@node00] HYD_sock_write (../../../../../src/pm/i_hydra/libhydra/sock/hydra_sock_intel.c:353): write error (Bad file descriptor) [mpiexec@node00] cmd_bcast_root (../../../../../src/pm/i_hydra/mpiexec/mpiexec.c:147): error sending cwd cmd to proxy [mpiexec@node00] stdin_c...

2023年11月18日

213 阅读

0 评论

SSH使用遇到的问题汇总

SSH使用遇到的问题汇总

总结SSH使用时遇到的一些问题解决方法。简化SSH端口转发输入密码步骤在前面的文章中介绍了利用SSH端口转发访问内部服务器的方法，涉及到两次输入密码的过程，分别是设置SSH隧道时B机器的账户密码，和登录C机器时C账户密码。利用前面介绍的SSH免密钥登录方法简化密码输入步骤，设置方法见文章：Windows服务器无法连接问题在使用SSH端口转发服务时，有时会发现“中介”Windows机器无法SSH访问，问题在于Windows机器设置了休眠功能，导致网络无法访问。解决方法：关闭Windows机器休眠功能。在SFTP subsystem功能关闭情况下Windows FTP软件支持FileZilla不行，FileZila内部使用Putty的PSFTP功能提供连接sftp服务器，要求服务器必须有sftp subsytem。WinSCP可以，WinSCP支持SFTP和SCP协议（scp1,scp2）。由于 SCP 协议仅实现文件传输，因此 WinSCP 必须使用其他方式来实现附加功能（如目录列表）。WinSCP使用Unix-like shell命令来做到这一点。

2023年11月14日

154 阅读

0 评论

MPI是一个库

MPI是一个库

MPI是消息通信标准，其实现是一个第三方库（library），但我们用比如Intel MPI的mpiifort命令编译链接源代码，这给人一种错觉就是MPI是一门编程语言，mpiifort是一个编译器。下面我们通过对mpiifort深入分析来说明MPI实际上是一个第三库的事实。mpiifort是shell脚本Intel MPI的编译链接命令mpiifort实际上是一个封装的shell脚本，用于封装查找mpi头文件/模块文件和链接相应库文件细节。$ file `which mpiifort` /opt/compiler/intel/2018_update1/compilers_and_libraries_2018.1.163/linux/mpi/intel64/bin/mpiifort: POSIX shell script, ASCII text executable打开这个shell脚本阅读脚本代码，脚本前面主要是环境变量、命令行参数处理部分，其最后核心部分是编译、链接处理，具体如下：if [ "$linking" = yes ] ; then cmd...

2023年11月13日

153 阅读

0 评论

2023年了，学点搜索技术

2023年了，学点搜索技术

在信息时代，掌握一定的信息搜索技术可以帮助我们从海量信息中快速获取想要的信息、提高知识技能学习的效率。推荐大家看看油管视频搜索技术，普通人变强的唯一外挂。全套详细宝藏教程~，作者非常用心的制作，视频内容值得多看几遍学习吸收，提升自己的信息获取整理能力。更新：发现作者也在B站更新，视频地址是https://www.bilibili.com/video/BV1yw411F7J1/?spm_id_from=333.999.0.0&vd_source=bc08bd80a6bd57e97aacb39dc192b77f 。如果你还停留在遇到问题使用"白°"搜索信息的话，真的建议看一看这个视频。中文内容创作已经从电脑端转向了移动端，从文字转到了视频。公众号、B站、小红书（这个真没想到）、抖音成为新的内容创作主要阵地。以下是我根据视频做的思维导图，如果想要高清原图，可以私信我。视频作者的一些观点：内事不决，微信搜一搜；外事不决，谷歌问一问。对于学习，尽可能寻找信息源头，一手信息。没有搜索就直接请教别人是极其不礼貌的。搜索技术 + AI = 超级搜索技术。视频来源https://www.yout...

2023年11月12日

162 阅读

0 评论

MPI版本混用问题诊断

MPI版本混用问题诊断

MPI作为消息通信工业标准，在高性能计算中被广泛使用。MPI标准定义了库函数语法、语义，开发商根据标准开发实现具体的MPI软件版本，比如常见的MPICH、OpenMPI、Intel MPI、MVAPICH等。为了满足不同的需求，HPC计算平台一般会安装多个MPI实现版本，如果用户开发环境设置混乱，可能会导致MPI版本混用情况，从而引发意想不到的错误，包括编译时和运行时错误。比如笔者遇到如下情况：依赖库使用一种MPI实现编译，模式使用另一种MPI实现编译链接，在运行时出现很奇怪的错误，这种错误有时候不容易联想到是MPI混用导致的。下面总结MPI混用引起的编译时和运行时错误。代码示例示例项目有两个源代码文件：sum.f90和main.f90，其中主程序main(main.f90)依赖模块mod_sum(sum.f90)。!sum.f90 module mod_sum use mpi implicit none contains subroutine sum_global() implicit none integer :: id,total,ierr ...

2023年11月11日

194 阅读

0 评论

利用SSH端口转发访问内部服务器

利用SSH端口转发访问内部服务器

上一篇介绍了“Windows 10开启OpenSSH服务”，下面我们可以试验通过Windows 10机器作为中转访问内部Linux服务器。利用的技术是SSH端口转发技术，也叫SSH隧道（tunnel）。SSH端口转发功能说明网上有很多介绍（关键词：端口转发、ssh隧道、内网穿透、跳板机等等），比如https://developer.aliyun.com/article/1035160这篇文件介绍的很详细。原理很简单，外部机器A不能直接访问内部服务器C，但有一台服务器B很特殊，它能和A、C都能建立连接，将B作为“中介”、“跳板”，从而实现A访问C的目的。SSH端口转发参数ssh -L localport:remotehost:remotehostport sshserver 说明： localport　　　　　　本机开启的端口号 remotehost　　　　　　最终连接机器的IP地址 remotehostport 最终连接机器的端口号 sshserver　　　　　　转发机器的IP地址选项： -f 后台启用 -N 不打开远程shell，处于等待状态（不加-N...

2023年11月04日

172 阅读

0 评论

ADIOS2加速WRF IO

ADIOS2加速WRF IO

华为公司研究人员在arXiv发表了预印版论文《accelerating wrf i/o performance with adios2 and network-based streaming》，介绍了他们将下一代并行I/O库ADIOS2接入WRF模式，利用ADIOS2功能提升WRF I/O性能的工作。根据给出的测试结果，使用ADIOS2相比传统MPI-I/O方案获得十倍的性能提升。具体细节可阅读他们的论文。ADIOS2功能介绍ADIOS2亮点功能有很多，包括支持多种数据格式，sub-files输出功能支持自研BP系列数据格式，不追求输出到一个文件中，而是通过I/O进程聚合器生成多个sub-files，减少传统MPI-I/O方法文件锁问题。I/O聚合器设置可调，默认一个节点设置一个，既利用节点内共享内存通信，又尽可能减少并发访问文件系统的进程数。Burst Buffer功能BP5格式支持node-local burst buffer支持，即每个进程输出其sub-files到本地文件系统（比如节点挂载的SSD盘），然后通过一个单独的后台线程将这些数据传到并行文件系统中。在线压缩功能...

2023年11月02日

215 阅读

0 评论

Windows 10开启OpenSSH服务

Windows 10开启OpenSSH服务

没想到Windows也支持OpenSSH服务了。只要安装OpenSSH服务，就可以通过ssh命令远程登录Windows系统，可以探索很多用法。我的Win10默认是安装了OpenSSH客户端。下面介绍在Win10开启OpenSSH服务方法。Windows 设置->应用->可选功能，搜索“OpenSSH服务器”，点击安装开启SSHD服务以管理员身份运行Windows Powershell，开启sshd服务 PS C:\Windows\system32> net start sshd如果不以管理员身份运行以上命令，会报错：NativeCommandExitException: Program "net.exe" ended with non-zero exit code: 2.设置SSHD服务开机启动Win+R，输入services.msc，打开Win10服务设置，启动类型改为自动更改SSHD服务默认端口号（可选，但建议）将C:\ProgramData\ssh目录（这是一个隐藏目录，直接在资源管理器输入路径）中sshd_config配置文件修改内容Port 1234...

2023年10月29日

230 阅读

0 评论

查看更多

繁

登录

X