文章目录

一、Executor

二、Task

三、Container

四、联系

五、总结

在Spark中,一个节点可以有一个或多个Executor,Executor、Task和Container之间的关系如下:

一、Executor

Executor是Spark应用程序中的一个进程,它在工作节点(Worker Node)上运行。每个Spark应用程序有自己的一组Executor进程。

一个节点可以有一个或多个Executor进程。每个Executor进程都有自己的JVM实例,因此,每个Executor进程都运行在它自己独立的Java进程中。

Executor进程负责运行该应用程序的Task(即分布式计算的基本单位)。

Executor进程可以保持状态,并在应用程序的生命周期内重用。这使得数据可以在Task之间有效地共享。

二、Task

Task是Spark应用程序中

推荐阅读

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: