文章目录
一、Executor
二、Task
三、Container
四、联系
五、总结
在Spark中,一个节点可以有一个或多个Executor,Executor、Task和Container之间的关系如下:
一、Executor
Executor是Spark应用程序中的一个进程,它在工作节点(Worker Node)上运行。每个Spark应用程序有自己的一组Executor进程。
一个节点可以有一个或多个Executor进程。每个Executor进程都有自己的JVM实例,因此,每个Executor进程都运行在它自己独立的Java进程中。
Executor进程负责运行该应用程序的Task(即分布式计算的基本单位)。
Executor进程可以保持状态,并在应用程序的生命周期内重用。这使得数据可以在Task之间有效地共享。
二、Task
Task是Spark应用程序中
推荐阅读
评论可见,请评论后查看内容,谢谢!!!
发表评论