1.历史服务器地址：http://192.168.56.102:19888/jobhistory 注意：JobHistoryServer安装在：hadoop102：192.168.56.102； 2.Web端查看HDFS的NameNode：浏览器中输入：http://192.168.56.102:9870 ；查看HDFS上存储的数据信息 注意：hdfs的NameNode安装在hadoop102上 3.Web端查看YARN的ResourceManager；浏览器中输入：http://192.168.56.103:8088 ；查看YARN上运行的Job信息 注意：yarn安装hadoop103上； ========================= 以下开启集群方式，前提已经配置开启集群启动文件； 4.配置集群启动后，hdfs的NameNode安装在hadoop102上，则在hadoop102开启hdfs，开启集群：/opt/module/hadoop-3.1.3/sbin/start-dfs.sh 注意：在安装路径直接开启：start-dfs.sh 启动器； 关闭则反之：/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh 5.配置集群后，yarn安装hadoop103上，则在hadoop103开启yarn，开启：/opt/module/hadoop-3.1.3/sbin/start-yarn.sh 注意：在安装路径直接开启：start-yarn.sh 启动器； 关闭则反之：/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh ======================================== 为了方便写了具体shell脚本 myhadoop.sh，前提此脚本必须已经配置了shh无密登录 6.脚本在/home/atigui/bin下 开启集群：/home/atigui/bin/myhadoop.sh start 关闭集群：/home/atigui/bin/myhadoop.sh stop 7.查看集群运行情况，jpsall 就是脚本：/home/atigui/bin/jpsall ============ 上传 8.-moveFromLocal：从本地剪切粘贴到HDFS，命令：hadoop fs -moveFromLocal linux系统本地文件 hdfs文件系统路径 例子：hadoop fs  -moveFromLocal  ./shuguo.txt  /sanguo 9.-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去，命令：hadoop fs -copyFromLocal linux系统本地文件 hdfs文件系统路径 例子：hadoop fs  -copyFromLocal  ./wuguo.txt  /sanguo 10.-put：从本地文件系统中拷贝文件到HDFS路径去，命令：hadoop fs -put  linux系统本地文件 hdfs文件系统路径 例子：hadoop fs -put ./wuguo.txt /sanguo 11.-appendToFile：追加一个文件到已经存在的文件末尾，命令：hadoop fs -appendToFile  linux系统本地文件 hdfs文件系统文件 例子：hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt ===================== 下载 12.-copyToLocal：从hdfs拷贝到本地，命令：hadoop fs -copyToLocal hdfs文件系统路径文件  linux系统本地路径 例子：hadoop fs -copyToLocal  /sanguo/shuguo.txt  ./ 13.-get：从hdfs拷贝到本地，命令：hadoop fs -get hdfs文件系统路径文件  linux系统本地路径 例子：hadoop fs -get  /sanguo/shuguo.txt   ./ ======================= 常规操作命令，基本与linux系统一样； 14.-ls：显示目录信息， 命令：hadoop fs -ls hdfs文件系统目录 例子：hadoop fs -ls  /sanguo 15.-cat：显示文件内容，命令：hadoop fs -cat hdfs文件系统文件 例子：hadoop fs -cat /sanguo/shuguo.txt 16.-chmod：修改文件所属权限，命令：hadoop fs -chmod 777 hdfs文件系统文件 例子：hadoop fs -chmod 777 /sanguo/shuguo.txt 18.-mkdir：创建路径，命令：hadoop fs -mkdir hdfs文件新路径 例子：hadoop fs -mkdir /jinguo 19.-cp：从HDFS的一个路径拷贝到HDFS的另一个路径，命令：hadoop fs -cp hdfs文件系统文件 hdfs文件系统路径 例子：hadoop fs -cp /sanguo/shuguo.txt  /jinguo 20.-mv：在HDFS目录中移动剪切文件，命令：hadoop fs -cp hdfs文件系统文件 hdfs文件系统路径 例子：hadoop fs -mv /sanguo/wuguo.txt /jinguo 21.-tail：显示一个文件的末尾1kb的数据，命令：hadoop fs -tail hdfs文件系统文件 例子：hadoop fs -tail /jinguo/shuguo.txt 22.-rm -r：递归删除目录及目录里面内容，命令：hadoop fs -rm -r hdfs文件系统文件夹 例子：hadoop fs -rm -r /sanguo 23.-du：统计文件夹的大小信息，命令：hadoop fs -du  -h  hdfs文件系统文件夹 例子：hadoop fs -du -s -h /jinguo、hadoop fs -du  -h /jinguo 24.-setrep：设置HDFS中文件的副本数量，命令：hadoop fs -setrep 10 hdfs文件系统文件 例子：hadoop fs -setrep 10 /jinguo/shuguo.txt

25.参数优先级：参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的自定义配置（xxx-site.xml） >（4）服务器的默认配置（xxx-default.xml）

 

好文阅读

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：