hdfs,yarn,spark一层一层启动的时候出了大问题,spark一启动,yarn启动的resourcemanager就消失了,而且还会及其卡顿,有时候jps命令勉强跑出来结果,里面还有-- process information unavailable这种。过一会卡顿消失了之后这个unavailable就没有了。开始各种改,而且中间还把关的顺序不小心弄错了,后面出现关闭的一些异常我怀疑是这个原因,后面发现应该是内存不够,有些进程自己停了之后导致的不能正常关闭。 一开始在看日志里面的这个报错信息在改rEnd of File Exception between local host is: “localhost/127.0.0.1”; destination host is: “node1.sparklab.cn”:9000; : java.io.EOFException;后面由于两个命令连着很快的输入,终于露出了罪魁祸首OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000f5aa0000, 5636096, 0) failed; error=‘Cannot allocate memory’ (errno=12)。原来是内存不够了,去华为云把内存升级了一下就好了。一开始还想着是不是端口占用,或者是安全组把某些端口封住了。
文章评论