大数据 scala Spark提交任务到yarn 报错提示虚拟内存不足解决办法

sparkcontext 初始化失败 ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalStateException: Spark context stopped while waiting for backend

首先去yarn查看日志提示虚拟内存不足 网上查阅资料说导致虚拟内存不足的原因是给节点分配的内存较少，导致yarn杀掉了spark application 所以需要去yarn-site.xml增加配置 1 先关闭Hadoop和spark服务 2 修改yarn-site.xml

<-- 取消物理内存检查 -->

yarn.nodemanager.pmem-check-enabled

false

<-- 取消虚拟内存检查 -->

yarn.nodemanager.vmem-check-enabled

false

yarn.nodemanager.vmem-pmem-ratio

4

```

3 然后进行分发到其他节点 4 重启Hadoop集群，spark任务看是否正常运行

相关文章

 您阅读本篇文章共花了：