intellij-idea 如何利用IDEA通过创建Maven项目来实现hadoop相关项目

目录

前言

一、创建一个Maven项目

二、导入hadoop相关依赖，即修改pom.xml文件

添加hadoop-common依赖

添加hadoop-hdfs依赖

添加hadoop-mapreduce-client-core依赖

添加hadoop-client依赖

 三、编写代码

四、打包，上传到集群上面运行

1、打包

2、点击package

 3、 将打包好的jar包上传到虚拟机中，建议直接放到hadoop的目录下面

 4、运行jar包

五、附带一个pom.xml文件

前言

已经安装好IDEA，并且配置好JDK和maven

一、创建一个Maven项目

点击玩Finish之后，等待加载完项目（第一次加载需要等一段时间）

如图示，maven项目加载完毕，并将下图所示内容删除

二、导入hadoop相关依赖，即修改pom.xml文件

在前的节点下面增加如下内容：

org.apache.maven.plugins

maven-jar-plugin

2.6

join.joinMain

注意：以下添加的依赖中版本号版本号，需要和虚拟机中hadoop的版本一致

添加hadoop-common依赖

org.apache.hadoop

hadoop-common

3.3.1

添加hadoop-hdfs依赖

org.apache.hadoop

hadoop-hdfs

3.3.1

test

添加hadoop-mapreduce-client-core依赖

org.apache.hadoop

hadoop-mapreduce-client-core

3.3.1

添加hadoop-client依赖

org.apache.hadoop

hadoop-client

3.3.1

再导入完以上四个依赖之后，点击该图标进行刷新

点击右侧maven，我们可以看到如下内容：

 三、编写代码

在src.main.java下面创建属于你自己的项目

四、打包，上传到集群上面运行

        由于我们本地Windows上面是没有hadoop环境的，所以我们编写完代码之后需要上传到集群上面。

1、打包

在pom.xml中添加如下依赖

jar

意思是，我们将此项目打包时，将其打成jar包。

2、点击package

等待一会出现如下，即表示打包成功

 3、 将打包好的jar包上传到虚拟机中，建议直接放到hadoop的目录下面

 4、运行jar包

hadoop jar sort-1.0-SNAPSHOT.jar  sort.sortMain

命令详解：

sort-1.0-SNAPSHOT.jar：我们打jar包的名字

sortMain：我们所写项目的主类的路径

五、附带一个pom.xml文件

注意修改主类的路径，项目的名称

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

org.example

sort

1.0-SNAPSHOT

jar

sort

http://www.example.com

UTF-8

1.7

1.7

junit

junit

4.11

test

org.apache.hadoop

hadoop-common

3.3.1

org.apache.hadoop

hadoop-hdfs

3.3.1

test

org.apache.hadoop

hadoop-mapreduce-client-core

3.3.1

org.apache.hadoop

hadoop-client

3.3.1

log4j

log4j

1.2.17

org.apache.maven.plugins

maven-jar-plugin

2.6

join.joinMain

maven-clean-plugin

3.1.0

maven-resources-plugin

3.0.2

maven-compiler-plugin

3.8.0

maven-surefire-plugin

2.22.1

maven-jar-plugin

3.0.2

maven-install-plugin

2.5.2

maven-deploy-plugin

2.8.2

maven-site-plugin

3.7.1

maven-project-info-reports-plugin

3.0.0

相关链接

 您阅读本篇文章共花了：