1.以本地模式执行Spark程序
在IDEA工具在本地开发WordCount单词计数程序的相关步骤
1.创建Maven项目，新建资源文件夹
创建一个Maven工程项目，命名为spark_chapter02
创建好项目后，在main和test目录下分别创建一个名为scala的文件夹。
创建好后的文件夹如上图所示为灰色。
选中main目录下的Scala文件夹 ，右击选中【将目标标记为】——>【源代码根目录】
点击之后可以看见其从灰色变成了蓝色
同理，右击选中test目录下的scala文件夹，右击选中【将目标标记为】——>【测试源代码根目录】
同理可以看见其从灰色变为绿色
2.添加spark的相关依赖和打包插件
打开pom.xml文件，在该文件下添加如下依赖。
添加完成后，更新一下啊maven文件，相关jar包会被自动加载到项目中。
3.编写代码，查看结果
在main目录下的scala文件夹中（等maven文件更新下载完成后此文件夹就可以创建Scala文件了），创建WordCount.scala文件用于词频统计，代码如下：
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
val sparkconf = new SparkConf().setAppName("WordCount").setMaster("local[2]")
val sparkContext = new SparkContext(sparkconf)
val data : RDD[String] = sparkContext.textFile("D:\\IDEA\\DEMO\\test\\words.txt")
val words :RDD[String] = data.flatMap(_.split(" "))
val wordAndOne :RDD[(String, Int)] = words.map(x =>(x,1))
val result: RDD[(String, Int)] = wordAndOne.reduceByKey(_+_)
val finalResult: Array[(String, Int)] = result.collect()
println(finalResult.toBuffer)
sparkContext.stop()
}
}
注：注意修改文件words.txt的位置，需要先创建应该words.txt文件，然后复制该文件位置替换上述代码中文件的位置。
结果如下图所示：
2.集群模式执行spark程序
1.添加打包插件
在pom.xml文件中添加所需插件，具体配置如下：
2.修改代码，打包程序
打包项目之前，还需要对词频统计的代码进行修改，创建WordCount_Online.scala文件
和上述操作一样，创建Scala文件
文件代码如下：
package cn.itcast
/*
date:2022.03.16
author:dong hui
*/
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object WordCount_Online {
def main(args: Array[String]): Unit = {
val sparkconf = new SparkConf().setAppName("WordCount_Online")
val sc = new SparkContext(sparkconf)
val data : RDD[String] = sc.textFile(args(0))
val words :RDD[String] = data.flatMap(_.split(" "))
val wordAndOne :RDD[(String, Int)] = words.map(x =>(x,1))
val result: RDD[(String, Int)] = wordAndOne.reduceByKey(_+_)
result.saveAsTextFile(args(1))
sc.stop()
}
}
使用Maven Projects工具，双击Package，自动将项目打包为jar包
最终生成的jar文件会被创建在项目的target目录中
3.执行提交命令
先需要使用rz命令将spark_chapter02-1.0-SNAPSHOT.jar包上传到 /export/data目录下
在虚拟机里启动hadoop和spark
在hadoop01节点的spark目录下，执行spark-submit命令提交，命令如下：
bin/spark-submit --master spark://hadoop01:7077 --class cn.itcast.WordCount_Online --executor-memory 1g --total-executor-cores 1 /export/data/spark_chapter02-1.0-SNAPSHOT.jar /spark/test/words.txt /spark/test/out
--master参数指定了Master节点地址
--class参数指定运行主类的全路径名称
通过--executor-memory和--total-executor-cores参数指定执行器的资源分配，最后指定jar包所在的绝对路径。
/spark/test/words.txt是先前所上传的数据源所在路径，可以看本文：https://blog.csdn.net/qq_53325156/article/details/130253850?spm=1001.2014.3001.5501
/spark/test/out是文件执行后，输出结果文件的存储路径。
执行成功后，进入HDFS Web页面查看/spark/test/out文件夹
其中_SUCCESS为标识文件，表示任务执行成功，part-*文件为真正的输出结果。
输出结果文件可以下载至本地或者使用Hadoop的命令-cat查看
hadoop fs -cat /spark/test/out/part*
推荐文章
您阅读本篇文章共花了：
发表评论