文章目录 前言:一、云计算1.1 云计算的基本思想1.2 云计算概述——什么是云计算?1.3 云计算的基本特征1.4 云计算的部署模式1.5 云服务1.6 云计算的关键技术——虚拟化技术1.6.1 虚拟化的好处1.6.2...
-
Nive 云计算与大数据之间的羁绊(期末不挂科版):云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark
-
大数据 hadoop-hdfs简介及常用命令详解(超详细)
文章目录 前言一、HDFS概述1. HDFS简介2. HDFS架构3. HDFS文件操作 二、HDFS命令介绍1. hdfs命令简介2. HDFS命令的基本语法3. 常用的HDFS命令选项 三、HDFS常用命令1....
-
hdfs 大数据 Hadoop 安装与配置
创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户,并使用/bin/bash 作为shell 虚拟机打开成功后,打开终端Terminal,开始创建hadoop用户 为hadoop设置一个密码 为...
-
hadoop hdfs 【大数据原理与技术】期末习题总结大全,建议收藏
【大数据原理与技术】期末习题总结大全,建议收藏 题目来源于B站,慕课网,百度 ,适用于期末复习,内容仅供参考,祝大家考试顺利! 以下思维导图我是根据我们老师敲黑板编写的,内容仅供参考,望周知: 第一章 大数据概述题...
-
大数据 Hadoop理论及实践-HDFS读写数据流程(参考Hadoop官网)
NameNode与DataNode回顾 主节点和副本节点通常指的是Hadoop分布式文件系统(HDFS)中的NameNode和DataNode。 NameNode(主节点):NameNode是Hadoop集群中的一个核心组...
-
大数据 Hadoop的安装和使用,Windows使用shell命令简单操作HDFS
目录 1,Hadoop简介 2,分布式文件系统HDFS 1. HDFS简介 2.HDFS体系结构 3,Hadoop的安装 1.使用WEB管理页面操作HDFS 2.使用命令操作HDFS 4,HDFS的基本使用...
-
大数据 Hadoop——HDFS的Java API操作(文件上传、下载、删除等)
1、创建Maven项目 2、修改pom.xml文件 3、添加四个配置文件 为避免运行的一些错误,我们将Hadoop的四个重要配置文件添加到resources中 4、创建测试文件JavaAPI...
-
hadoop JAVA操作HDFS集群
文章目录 创建Maven项目获取hdfs连接对象实现各种方法创建目录删除移动与重命名查询当前目录查询查询所有目录 上传文件文件下载 HDFS安全模式 注意:只有安全模式关闭时,上传下载文件才会生效 如果Safe...
-
hdfs 大数据 【Hadoop】创建Hadoop集群(3个节点)—— 安装部署一个3个节点构成的hbase集群
前言 此实验搭建3个虚拟节点,一个mater,一个slave1,一个slave2 集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但在物理上常在一起。 HDFS集群负责海量数据的存...
-
hadoop HDFS学习笔记
1 什么是HDFS? HDFS的全称是:Hadoop DistributeFiles System,分布式文件系统。 在整个Hadoop技术体系中,HDFS提供了数据分布式存储的底层技术支持。 HDFS 由三个组件构成:Na...
-
hdfs linux 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建 一、搭建准备1.安装VMware虚拟机2.Xshell 7 远程客户端及Xftp 7安装3.搭建模板虚拟机hadoop100配置虚拟机网络为虚拟机普通用户配置root权限 4.克隆三台...
-
hadoop 大数据 【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在 1)文档编写目的2)测试原理3)Shell脚本测试3.1.测试路径是否存在3.2.测试目录是否存在3.3.测试文件是否存在3.4.测试路径大小是否大...
-
hadoop 大数据 HDFS读写流程详细过程
HDFS读写流程详细过程 HDFS的定义一、组成架构二、优缺点三、读流程四、NameNode和SeconderyNameNode五、写流程 HDFS的定义 HDFS(Hadoop Distributed File Syst...
-
大数据 分布式 hdfs mapreduce yarn hive 【Hadoop】图解 Hadoop 生态系统及其组件
图解 Hadoop 生态系统及其组件 在了解 Hadoop 生态系统及其组件之前,我们首先了解一下 Hadoop 的三大组件,即 HDFS、MapReduce、YARN,它们共同构成了 Hadoop 分布式计算框架的 核心。...
-
hadoop hdfs 大数据技术原理与应用-林子雨版-第二章课后习题
1. 试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。 Hadoop 是一个开源的分布式计算框架,其主要目的是为了处理大规模数据集。它包含了分布式文件系统 HDFS 和分布式计算框架 MapReduce,...
-
hadoop hive mapreduce hdfs 大数据项目实战-招聘网站职位分析
目录 第一章:项目概述 1.1项目需求和目标 1.2预备知识 1.3项目架构设计及技术选取 1.4开发环境和开发工具 1.5项目开发流程 第二章:搭建大数据集群环境 2.1安装准备 2.2Hadoop集群搭...
-
hadoop 大数据 HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)
文章目录 前言一、HDFS的相关命令1、在HDFS创建目录2、查看当前目录3、查看目录与子目录4、查看文件的内容5、创建文件6、上传和拷贝文件7、追加数据到HDFS文件中8、下载文件到Linux本地系统9、合并HDFS上多...
-
hdfs 大数据 5. Hadoop集群操作
5. Hadoop集群操作 5.1 启动Hadoop集群 5.1.1 格式化文件系统 如果集群是第一次启动,需要在hadoop102节点格式化NameNode。 注意:格式化NameNode,会产生新的集群id,导致Name...
-
大数据 hdfs 分布式 三、Hadoop系统应用之Hadoop集群测试及初体验(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hadoop集群搭建前安装准备参考: 一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7) 一、Hadoop系统应用之安装准...
-
hdfs 大数据 Hadoop 3.x 启动失败
启动Hadoop失败 报错信息 大致意思就是 root 用户不被推荐操作 hadoop 解决办法 找到hadoop安装路径下的 sbin目录中的 start-dfs.sh stop-dfs.sh文件 我这里是 /root/s...
-
hadoop 大数据02-HDFS的使用和基本命令
目录 Hadoop分布式文件系统HDFS简介HDFS的体系结构HDFS的使用和基本命令 学习参考 Hadoop分布式文件系统 HDFS简介 HDFS(Hadoop Distribute File System 是大...
-
hadoop 大数据 HDFS中的Federation联邦机制
HDFS中的Federation联邦机制 当前HDFS体系架构--简介局限性 联邦Federation架构简介好处配置示例 当前HDFS体系架构–简介 当前的HDFS结构有两个主要的层: 命名空间(namespace)...
-
hadoop 关于hdfs突然无法上传下载文件的解决方法(Couldn‘t upload the file)
关于hdfs突然上传和下载不了文件的解决方法 1、问题描述2、解决方案 1、问题描述 在浏览器上可以正常访问HDFS集群http://node1:9870的Web UI页面,成功进入以下界面 同时可以查看hdfs的目录和...
-
hadoop 大数据|HDFS分布式文件系统
前文回顾:Hadoop系统 目录 HDFS概述 HDFS在设计时的假设和目标 HDFS的基本特征 HDFS的体系结构 目录节点 数据节点 HDFS的副本机制 HDFS的数据存取策略 数据存放 数据读取 ...
-
【大数据之Hadoop】二十五、生产调优-HDFS核心参数
1 NameNode内存生产配置 Hadoop3.x系列的NameNode内存是动态分配的,可以用jmap -heap 进程号 查看分配的内存。 在hadoop102中NameNode和DataNode的内存都是自动分配的,...
-
大数据 Hadoop系列——企业存储系统概述,HDFS概述day2-2
Hadoop系列——企业存储系统概述,HDFS概述day2-2 企业存储系统数字经济产业互联网推动发展磁盘硬盘分类磁盘阵列(RAID) 存储架构DAS存储架构NAS存储架构SAN存储架构 文件系统文件名元数据文...
-
hadoop 大数据 练习HDFS的访问,创建目录,删除目录--超详细
1、如果连接被拒绝,则输入: 2、进入到sbin目录下输入:start-dfs.sh,重启一下。 之后再输入hdfs dfs -ls /,没有出现拒绝连接即可。 3、若需要创建目录,则输入: hdfs dfs -mkdir...