目录1.下载安装2.配置2.1.启动hadoop2.2.单机模式2.3.伪分布式集群1.下载安装HBase和Hadoop之间有版本对应关系,之前用的hadoop是3.1.3,选择的HBase的版本是2.2.X。下载地址:配置...
-
【大数据】分布式数据库HBase下载安装教程
-
数据库 Oracle导入dmp文件
文章目录 写在前面一、详细知识点1、dmp文件2、导出dmp文件2.1、exp和expdp区别2.2、exp导出操作2.3、expdp导出操作2.4、PL/SQL使用客户端导出2.4.1 特殊说明2.4.2 操作指引...
-
大数据 spark 为什么说新一代流处理器Flink是第三代流处理器(论点:发展历史、区别、适用场景)
Flink 被认为是第三代流处理器,这是因为 Flink 在设计时参考了前两代流处理器的经验教训并引入了一些新的技术和思想,从而使得 Flink 具有更高的性能和更广泛的应用场景。下面我带大家了解一下流处理器从...
-
大数据编程实验一:HDFS常用操作和Spark读取文件系统数据
大数据编程实验一:HDFS常用操作和Spark读取文件系统数据文章目录大数据编程实验一:HDFS常用操作和Spark读取文件系统数据一、前言二、实验目的与要求三、实验内容四、实验步骤1、HDFS常用操作2、Spark读取文件...
-
jenkins 大数据 Elasticsearch 通过索引阻塞实现数据保护深入解析
❤️作者主页:小虚竹❤️作者简介:大家好,我是小虚竹。2022年度博客之星评选TOP 10,Java领域优质创作者,CSDN博客专家,华为云享专家,掘金年度人气作者,阿里云专家博主,51CTO专家博主❤️技术活...
-
数据库 【oracle】oracle客户端及oracle连接工具
一、关于oracle客户端1.1 Oracle Client 完整客户端包含完整的客户端连接工具。 包很大,需要安装1.2 instantclient 即时客户端是 Oracle(R 发布的轻量级数据库客户端,减少甚至只包...
-
java spring boot mybatis mysql oracle 【PostgreSql本地备份为dump文件与恢复】单张表、整个数据库的备份dump与恢复
目录1.准备脚本1.1 脚本介绍2.开始备份3.进行恢复3.单张表的备份与恢复3.1 单张表的备份3.2 单张表的恢复4.常用命令和参数4.1 备份常用参数4.2 备份常用命令4.3 还原常用命令环境:windows数据库:...
-
hadoop 大数据 hdfs shell操作
文章目录 HDFS 的shell操作一、三种Shell命令方式二、常用HDFS的shell命令三、HDFS常用命令操作实例1、创建单层目录2、创建多层目录3、查看目录4,上传本地文件到hdfs5、查看文件内容6、下载hdf...
-
linux HDFS集群启动报错/usr/bin/env: bash: 没有那个文件或目录
出现时机执行start-dfs.sh时报错致错原因因为启动hdfs集群需要,通过ssh命令登录上别的机器,那么我们直接使用ssh node02这样操作 会发现可以登录,但是由于环境变量错误,报错 /usr/libexec/g...
-
Oracle行转列、列转行的几种方法
Oracle行转列、列转行的几种方法 一、行转列1.1、使用 PIVOT 函数1.1.1、Oracle行转列1.1.1.1、转换前1.1.1.2、转换后 二、列转行2.1、使用 UNPIVOT 函数2.1.1、Orac...
-
【数据仓库基础(四)】数据仓库需求:基本需求和数据需求
文章目录一. 基本需求1. 安全性2. 可访问性3. 自动化三. 数据需求1. 准确性2.时效性3.历史可追溯性从基本需求和数据需求两方面介绍对数据仓库系统的整体要求。一. 基本需求1. 安全性数据仓库中含有机密和敏感的数据...
-
postgresql 【Navicat】Navicat实现自动备份数据库
【Navicat】Navicat实现自动备份数据库1、新建批处理作业2、添加工作3、设置任务计划4、设置备份频率5、查看备份6、分析备份文件6.1、打开备份目录6.2、创建一个副本6.3、把副本重命名为.zip类型的文件,并...
-
2024年最新版MySQL MySQL安装教程 MySQL8.4.0安装教程 MySQL8.4.0 LTS安装教程 【小白轻松上手2024年最新长期支持版本MySQL手把手保姆级Windows超详细图文安装教程】
MySQL8.4.0 LTS安装教程 【小白轻松上手2024年最新长期支持版本MySQL手把手保姆级Windows超详细图文安装教程】MySQL8.4.0前言(版本说明)官网下载MySQL1.访问MySQL官网2. 打开My...
-
大数据 Hadoop理论及实践-HDFS的Namenode及Datanode(参考Hadoop官网)
HDFS有什么特点,被设计做什么 Hadoop分布式文件系统(HDFS 被设计成适合运行在通用硬件(commodity hardware 上的分布式文件系统。有一下几个特点: HD...
-
数据库 Oracle 11g完全卸载教程(Windows)
文章目录一、停止Oracle服务二、卸载Oracle1、卸载Oracle产品2、删除注册表3、删除环境变量以及其余文件一、停止Oracle服务进入服务 找到服务中的Oracle服务并且停止 全部停止运行成功二、卸载Ora...
-
数据库 【MySQL】连接查询(JOIN 关键字)—— 图文详解:内连接(INNER JOIN)、外连接(OUTER JOIN)、左连接(LEFT JOIN)、左外连接、右连接、右外连接、全连接、全外连接
文章目录连接查询驱动表连接查询分类内连接(INNER JOIN)内连接 —— 等值连接内连接 —— 自然连接(NATURAL JOIN)内连接 —— 交叉连接 / 笛卡尔积(CROSS JOIN)外连接(OUTER JOIN...
-
vue.js 前端 Vue项目清理本地缓存并删除node
1. 在linux系统下,清缓存,删除node_modules// 清理缓存// 执行递归删除node_modules文件夹// 删除包版本锁2. 在windows系统下,清缓存,删除node_modules法一:利用 po...
-
开发语言 ide hadoop 记录Java读取hdfs上的文件全过程
文章目录前言一、项目大体流程二、详细步骤1.在idea里面创建空项目(小白也能看懂)2.导入所需的jar包2.输入代码后就可以实现了总结前言 跟着白哥学Java,今天就来分享一下Java如何上传文件到hdfs上...
-
基于RHEL9,ORACLE LINUX 9安装Oracle 19c 数据库
1.问题背景要基于RHEL9,ORACLE LINUX 9 或RHEL分支,安装ORACLE 19C 数据库,在一年前,没有人会告诉你能够成功,都会告诉你说19C只支持 RHEL7/8,在RHEL9上不支持,如果你非要安装,...
-
人工智能 数据库 数据挖掘(7.1)--数据仓库
目录 引言 一、数据库 1.简介 2.数据库管理系统(DBMS 二、数据仓库 数据仓库特征 数据仓库作用 数据仓库和DBMS对比 分离数据仓库和数据库 引言 数据仓库的历史可以追溯到20世纪60年代,当时计算机领域的主要...
-
hdfs Hadoop完全分布式集群搭建(超详细)
目录1.1.1 完全分布式介绍1.1.2 平台软件说明1.1.3 守护进程布局1.2.1 集群搭建准备1.2.2 总纲1.2.3防火墙关闭1.2.4 主机映射1.2.5 免密登陆1.2.6 jdk安装和hadoop安装及环境...
-
数据库 Oracle里的统计信息
目录一、什么是统计信息二、oracle收集和查看统计信息的方法1、使用analyze命令收集统计信息2、使用dbms_stats包收集统计信息3、analyze和dbms_stats的区别4、查看统计信息一、什么是统计信息o...
-
数据库 数据库开发 sqlserver 大数据 MS SQL Server STUFF 函数实战 统计记录行转为列显示
目录范例运行环境视图样本设计数据统计要求 STUFF函数实现小结范例运行环境操作系统: Windows Server 2019 DataCenter数据库:Microsoft SQL Server 2016视图样本设计假设某...
-
spring boot vue.js 毕业设计 源码 基于springboot+vue+Mysql的体质测试数据分析及可视化设计
开发语言:Java框架:springbootJDK版本:JDK1.8服务器:tomcat7数据库:mysql 5.7(一定要5.7版本)数据库工具:Navicat11开发软件:eclipse/myeclipse/ideaMa...
-
数据库 redis Navicat连接SQL server出现:[IM002] [Microsoft][ODBC 驱动程序管理器] 未发现数据源名称并且未指定默认驱动程序(0)
问题解决方法 一找到Navicat的安装路径,然后找到sqlncli_x64.msi文件并安装,安装成功后重启Navicat重新进行连接,看是否成功。解决方法 二如果方法一没有找到找到sqlncli_x64.msi 还是Na...
-
python 学习 面试 (SQL)使用Excel连接数据库(2)
最后Python崛起并且风靡,因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低,但它的晋级路线很多,通过它你能进入机器学习、数据挖掘、大数据,CS等更加高级的领域。Python可以做网络应用,可以做科学计算...
-
oracle servlet 跨编程语言的数据库与存储解决方案:最佳实践和案例分析
1.背景介绍在现代的大数据时代,数据量的增长速度远超人类的处理能力,因此,我们需要更高效、更灵活的数据库和存储解决方案来处理和管理这些数据。跨编程语言的数据库与存储解决方案就是为了满足这个需求而诞生的。跨编程语言的数据库与存...
-
jenkins 大数据 【Elasticsearch】安装配置与使用
1 前期准备1.1 环境准备麒麟ARM 64位操作系统1.2 安装包准备Elasticsearch下载地址: https://www.elastic.co/cn/downloads/elasticsearch2 部署elas...
-
hadoop 大数据存储系统HDFS和对象存储(OOS/S3)的比较
虽然Apache Hadoop以前都是使用HDFS的,但是当Hadoop的文件系统的需求产生时候也能使用S3。Netflix的 Hadoop data warehouse 利用这个特性把数据存储在S3上而不是HDFS上。...
-
hdfs 大数据 hadoop-2.7.3安装
目录hadoop安装1.安装hadoop,配置环境变量1.上传hadoop-2.7.3.tar.gz到指定位置2.解压文件3.配置hadoop-env.sh4.添加hadoop的路径5.修改让文件生效6.hadoop02,h...
-
大数据 Hadoop:HDFS读写数据的过程。
HDFS读取数据的过程:1、客户端通过分布式文件系统向NameNode请求下载文件,请求包括要读取的路径和偏移量。2、NameNode通过查询元数据,找到文件所在的DataNode地址,响应文件是否存在,并返回目标文件的元数...
-
数据库 Oracle单个字段多记录拼接
1、sql提供以下两种查询方式,来拼接同一个字段多个记录结果1.replace+wm_concat 2.listagg within group 两种方式可实现一样的效果。 快速脚本:替换表名与字段名执行即可验证。实测:2...
-
数据库 ORACLE-11G-RAC至ORACLE-19C-RAC升级实战
一.前言:本次升级为 Linux 异机同平台跨版本,由Oracle 11G 两节点RAC集群迁移并升级至Oracle 19C 两节点RAC集群。二.系统环境:源端操作系统:Red Hat Enterprise Linux S...
-
商业智能系统的主要功能包括数据仓库、数据ETL、数据统计输出、分析功能
ETL服务内容包含:数据迁移数据合并数据同步数据交换数据联邦数据仓库...
-
hadoop 大数据 hdfs 三表相连 mapjoin
三表相连 mapjoin要求输出的样式三张表score.csvstudent.csvsubject.csv创建三个类StudentScgetset方法实现类MapJoinDriver用mapjoin不需要reduceMapJ...
-
数据仓库 数据资产管理 数据中台 大数据 什么是数据治理?
我们这些搞数据治理的人,几乎每天都会说到“数据治理”这个词。但有很多人依然不清楚数据治理的确切含义,也搞不懂数据治理和数据管理的关系。这一节,我们就来认真辨析“数据治理”这个词。首先,我们来看一看国际数据管理协会DAMA对数...
-
【oracle】【解决方案】ORA-12514:TNS: 监听程序当前无法识别连接描述符中请求的服务
【解决方案】ORA-12514:TNS: 监听程序当前无法识别连接描述符中请求的服务 修改listener.ora原listener.ora文件添加 记录修改后listener.ora文件tnsnames.ora原tnsn...
-
数据库 PGSQL CASE WHEN的应用
前言 有些业务直接使用sql进行查询,不仅查询效率更高,而且开发效率也比通过在代码中进行查询高。 不墨迹,直接上业务截图,这里需要一个查询工单统计的接口(数据都在一张表中,且同一个用户在表中有条数据...
-
java 数据仓库 ETL工具 - Kettle 介绍及基本使用
一、Kettle 介绍在介绍 Kettle 前先了解下什么是 ETL,ETL是 Extract-Transform-Load 的缩写,即数据 抽取、转换、装载 的过程,对于企业或行业应用来说,经常会遇到各种异构数据的处理、转...
-
数据库 python安装MySQLdb / mysql-python模块遇到的错误问题及解决
一、错误 ImportError: No module named MySQLdb python下安装mysql模块mysql-python时碰到 报错:ImportError: No module named My...
-
大数据 面试 学习 一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)(1)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线...
-
hadoop hdfs 大数据期末复习资料2023 Beta版
合集(不是我做的):https://ks.wjx.top/vm/rXgKD38.aspx#大数据单元1在线测试:https://ks.wjx.top/vm/tv3XfFg.aspx# 大数据单元2在线测试:https://k...
-
sqlite3教程:命令行方式打开sqlite3数据库
如果你想在命令行中连接SQLite数据库,可以按照以下步骤进行操作: 第一种方式 打开终端或命令提示符。 进入SQLite命令行界面: 在终端中输入以下命令: sqlite3这将打开SQLite命令行界面,并显示一个提示...
-
面试 学习 助力工业物联网,工业大数据之数仓维度层DWS层构建【十二】
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线...
-
数据平台的数据仓库与数据湖的融合与扩展
1.背景介绍在当今的数据驱动经济中,数据平台已经成为企业竞争力的重要组成部分。数据仓库和数据湖是数据平台的两个核心组成部分,它们各自具有不同的优势和局限性。为了更好地满足企业的数据需求,数据仓库和数据湖之间需要进行融合和扩展...
-
分页查询 随机抽样 分析函数优化 merge调优 数据仓库 【SQL开发实战技巧】系列(二十二):数仓报表场景☞ 从分析函数效率一定快吗聊一聊结果集分页和隔行抽样实现方式
系列文章目录 【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事 【SQL开发实战技巧】系列(二):简单单表查询 【SQL开发实战技巧】系列(三):SQL排序的那些事 【SQL开发实战技巧】系列(四):从执行计划讨...
-
2024年大数据最新数据仓库之数据质量建设(深度好文)(2)
造成这一情况的一个重要因素就是忽视了对数据质量的客观评估,没有制定合理的衡量标准,导致没有发现数据已出现问题。所以,进行科学、客观的数据质量衡量标准是非常必要且十分重要的。2. 数据质量衡量标准如何评估数据质量的好坏,业界有...
-
柚子快报激活码778899分享:mysql 数据库(头歌)
目录一. MySQL数据库 - 初始MySQL第1关:创建数据库第2关:创建表第3关:使用主键约束 第4关:外键约束 第5关:添加常用约束二. MySQL开发技巧 - 索引 普通索引:唯一索引:主键索引:组合索...
-
数据仓库 Kettle(12):设置转换参数
1 需求让Kettle帮助我们删除指定省份的用户,具体删除哪个省份不确定,由执行Kettle时指定。首先我们可以使用执行SQL脚本组件来删除某个省份的用户,类似下图:但如果把北京市写在执行SQL脚本组件中,那么每次删除的都是...
-
hadoop hdfs 数据分析 java 什么是大数据? 大数据有哪些应用场景?
大数据技术的发展已经改变了我们对数据的认知和处理方式,大数据是一种新型的数据处理技术,它涵盖了多个领域,包括计算机科学、网络通信、算法理论、应用统计学等。简要来说,大数据可以定义为处理规模庞大复杂度高数据时所需的技术和方法。...