作者简介,愚公搬代码 《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云专家博主,阿里云签约作者,腾讯云优秀博主,腾讯云内容共创官,掘金优秀博主,5...
-
【愚公系列】2024年02月 大数据教学课程 022-Hadoop的HDFS
-
大数据 人工智能 数据挖掘 CAPM (资本资产定价模型) APT(套利定价理论)
CAPM & APT & FF三因子模型因子投资基础CAPM (资本资产定价模型 APT套利定价理论截面数据 & 时间序列数据 & 面板数据定价误差αalpha 出现的原因线性多因子模型Fama-French三因子模型三因子...
-
数据库 Sqlite3 查询 今日、昨日、本周、上周、本月、上月、本季度、上季度、本年
一、使用Between AND select * from 表名 where 字段名 Between ‘2019-1-01 00:00:00’ AND ‘2019-7-12 23:59:59’ 二、使用˃, ‘2019-1-...
-
sql 高级DBA带你解决达梦8数据库解决列名涉及达梦关键字无法执行问题全网唯一
一、达梦8数据库解决列名涉及达梦关键字无法执行问题我们再开发过程中遇到一些列名称是达梦的关键字,导致语句无法执行。 举例:LESSselect keyword,reserved from v$reserved_words w...
-
用于数据仓库现代化的云原生数据流的案例
数据仓库现代化,从使用 Stitch 的批处理 ETL 到使用 Kafka 的流式 ETL 大多数组织的用例简单且标准:提取、转换和加载 (ETL Salesforce 数据到 Google BigQuery 数据仓库,以...
-
容器 Docker安装配置Oracle详细教程(以作持久化处理)
Docker安装Oracle 1,拉取Oracle镜像,拉取成功后查看 2,创建容器,实现数据持久化 #启动临时容器获取初始化数据#把文件赋权给容器内Oracle用户#启动容器3,进入镜像进行配置 #以root用户进入容器d...
-
数据库 下载安装MySQL过程详解
目录 一、MySQL下载 1.登入官网下载mysql的安装包 2.下载格式 3.下载完成后为压缩包 4.将 zip 包解压缩 5.在上面图示的文件内,新建 "my.ini" 空文件 6.打开 “my.ini” 文件 二、配置...
-
(五)python实战——使用sqlalchemy完成Sqlite3数据库表的增、删、查、改操作案例
前言本节内容我们使用sqlalchemy框架完成Sqlite3数据库表的增删查改等常规操作,相较于原生Sqlite的数据库操作,sqlalchemy通过ORM映射完成实体对象的映射,通过映射关系完成对象和数据的转换,完成数据...
-
linq c# SpringBoot项目连接,有Kerberos认证的Kafka
在连接Kerberos认证kafka之前,需要了解Kerberos协议 二、什么是Kerberos协议Kerberos是一种计算机网络认证协议 ,其设计目标是通过密钥系统为网络中通信的客户机(Client /服务器(Serv...
-
adb Ubuntu(WSL2) 源码安装 mysql8.0/mysql5.7
要在 Ubuntu 上使用调试功能安装 MySQL 8.0 的源码,可以按照以下详细步骤进行操作:1. 更新系统首先,确保你的 Ubuntu 系统是最新的。运行以下命令更新系统软件包:2. 下载 MySQL 源码访问 MyS...
-
嵌入式实时数据库 nosql数据库 一个轻量级Java嵌入式数据库——QuickIO
QuickIO 是什么?QuickIO 是一个 Java 嵌入式数据库。底层基于 LevelDB 引擎和 Java NIO 设计,使用 Protostuff 序列化/反序列化数据。支持存储文档、key-value、文件类型的...
-
数据库 服务器 Oracle ORA12514 监听程序当前无法识别连接描述符中请求的服务
最简单的有可能是你的服务还没有开启,需要启动服务!!!!在连接数据库的时候,有时会遇到一个“ORA12514:监听程序当前无法识别连接描述符中请求的服务”的错误,这个错误其实就是数据库动态注册(关于动态注册会在稍后讲解)不生...
-
大数据 hadoop 如何使用 SeaTunnel 同步 MySQL 数据到 Hive
第一步:环境准备Java 8 或 11 并配置JAVA_HOME Git Maven第二步:下载SeaTunnel并安装连接器下载地址:https://seatunnel.apache.org/download/ 下...
-
数据库 大数据 分布式 HBase高级特性:HBase与Oozie集成
1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、ZooKeeper等组件集成。HB...
-
数据库 docker安装 PostgreSQL 报错: postgreSQL: password authentication failed for user “postgres“
一、安装命令1、拉镜像2、运行容器注意:挂载目录要自己写好自己的目录,不要跟我写。 说明:其实默认不设置用户名密码的话就是postgres,为了演示我就是直接指明了用户名、密码3、安装 pgAdmin并连接 pgSQL此时就...
-
数据库 Mysql 多表关联查询
文章目录 1. Mysql中表之间的关系1.1 多表关系1.2 外键约束 2. 多表联合查询2.1 交叉连接查询:笛卡尔积2.2 内连接查询:inner join2.3 外连接查询2.3.1 左连接:2.3.2 右连接...
-
数据结构课设--图书管理系统(含泪版)
1.要求: 设计一个计算机管理系统完成图书管理基本业务。 【基本要求】 (1)每种书的登记内容包括书号、书名、著作者、现存量和库存量; (2)对书号建立索引表(线性表)以提高查找效率; (3)采编入库:新购一种书,确定书号后...
-
oracle 数据库 数据分析 database 【三 (1)数据处理工具之 SQL (定义、分类、执行顺序等)】
目录文章导航一、什么是SQL二、SQL语言的分类2.1 数据查询语言(DQL, Data Query Language):2.2 数据操纵语言(DML, Data Manipulation Language):2.3 数据定...
-
数据库 [MySQL]事务原理之redo log,undo log
键盘敲烂,年薪30万 目录 一、log日志文件 事务执行流程 二、总结 再来一遍ACID 1. 原子性:原子性确保事务作为一个整体执行,要么全部执行成功,要么全部不执行。 2. 一致性:一致性确保事务将数据库从...
-
数据库 Hadoop数据仓库的主要特征有哪些?
数据仓库(英语:Data Warehouse,简称数仓、DW ,是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境,分析结果为企业提供决策支持(Decision Support 。数据仓库本身...
-
《Spring Boot 实战派》--13.集成NoSQL数据库,实现Elasticsearch和Solr搜索引擎
第13章 集成NoSQL数据库,实现Elasticsearch和Solr搜索引擎 关于搜索引擎 我们很难实现 Elasticseach 和 Solr两大搜索框架的效果;所以本章针对两大搜索框架,非常详细地讲...
-
数据库 连接 后端 缓存 【Redis】Could not connect to Redis at 127.0.0.1:6379: Connection refused not connected报错解决方案
【Redis】Could not connect to Redis at 127.0.0.1:6379: Connection refused not connected报错解决方案大家好 我是寸铁 总结了一篇【redis...
-
数据库 hive数据仓库课后答案
第一章 数据仓库的简介 一、填空题 1.数据仓库的目的是构建面向 分析 的集成化数据环境。 2.Hive是基于 Hadoop 的一个数据仓库工具。 3.数据仓库分为3层,即 源...
-
MongoDB 索引操作引起的 Crash
摘要:本文详细阐述了根据引起 Crash 操作进行从配置到源码的分析过程,层层递进,定位复现并给出解决故障方案。 作者:徐耀荣 爱可生南区交付服务部 DBA 团队成员,主要负责 MySQL 故障处理以及相关技术支持。爱好...
-
kingbase DBA 人大金仓数据库开发管理工具功能使用介绍
关键字: 建库、建模式、建表 一、导航树介绍 通过工具栏“连接”功能成功连接到数据库后可出现如图1-1导航栏所示界面: 图1-1 数据库连接成功界面展示图 数据库导航栏内容如图1-1 红色方框内所示,其内容以树状图的方式进...
-
etl 数据仓库 【工作笔记】Kettle打开后没有出现资源库的连接按钮解决方法
Kettle作为ETL数据处理工具,且又是免费开源软件,在市面比较流行。它可以创建转换和作业两种任务,转换以.ktr结尾,作为以.kjb结尾。Kettle将保存和管理这些转换和作业的方式称为资源库,资源库分为...
-
java 范式 ER图 【MySQL】数据库基本知识小结
哈喽大家好,我是阿Q,今天我们来总结一下【MySQL】 入门的必备知识点吧~文章目录数据库的基本概念什么是元组, 码, 候选码, 主码, 外码, 主属性, 非主属性?主键和外键有什么区别?为什么不推荐使用外键与级联?外键的缺...
-
dba sql 数据库 删除重复数据
删除重复数据 准备测试表 删除测试表 drop table test; 进行删除操作 方法一 delete from test where rowid not in (select max(rowid from test...
-
容器 Windows下Docker搭建Flink集群
编写docker-compose.yml参照:https://github.com/docker-flink/examples/blob/master/docker-compose.ymlscale: 2 #指定TaskMa...
-
数据库 java 【c语言进阶】文件操作(上)
write in front 所属专栏:˃ c语言学习 ️博客主页:睿睿的博客主页 ️代码仓库:VS2022_C语言仓库 您的点赞、关注、收藏、评论,是对我最大的激励和支持!!! 关注我,关注我,关注我,你们将...
-
数据库 数据挖掘 数仓 | 企业建数据仓库的必要性
作为数据整合及处理的核心──数据仓库,既承担着与保险核心系统及其他各个业务系统的数据ETL功能,又承担着整合数据、分析挖掘数据等重要的数据处理功能,在当下时效性要求越来越高、数据需求变化越来越快、数据容量越来越庞大的多变形式...
-
大数据 数据仓库 Hive---拉链表
拉链表 文章目录 拉链表定义用途案例全量流程增量流程合并过程第一步第二步第三步 案例二(含分区)创建外部表orders增量分区表历史记录表 定义 拉链表是一种数据模型,主要是针对数据仓库设计中表存储数据的方式而定义的...
-
大数据 数据挖掘 数据清洗是什么?如何进行数据清洗?
数据清洗是数据治理过程中非常重要的一环,它指的是对数据进行清理、筛选、去重、格式化等操作,以确保数据质量和数据准确性。。在本文中,我们将围绕数据清洗展开讨论,并介绍一些数据清洗相关技术。 一、数据清洗的概念 数据清洗是指对数...
-
c语言 数据结构之双链表的相关知识点及应用
找往期文章包括但不限于本期文章中不懂的知识点:个人主页:我要学编程(ಥ_ಥ -CSDN博客所属专栏:数据结构目录双链表的实现 初始化双链表 在双链表中尾插数据 在双链表中尾删数据在双链表中头插数据 在双链表中头删数据 在双...
-
postgresql入门 PostgreSQL快速入门 & 与MySQL语法比较
开篇本文可帮助具有MySQL基础的小伙伴对PostgreSQL做一个快速的入门,通过语法之间的差异对比,降低学习成本,同样都是数据库,正所谓触类旁通。模式的概念模式(Schema)表示数据库中的逻辑容器,用于组织和管理数据库...
-
大数据 hadoop HBase 复习 ---- chapter06
HBase 复习 ---- chapter06需求:读取 HBase 中的 t_log 表中 f:userid 的值。然后将 f:userid 的值。出现的次数统计出来。输出到 HDFS 上。 数据从 HBase 表中读取,...
-
FLINK任务重启 Streaming File Sink落地hdfs的中间状态In-progress格式文件处理方案
1. 诊断现象 flink任务重启后hdfs存储存在很多之前中间状态文件无法转为最终状态文件,导致中间状态文件的数据下游不可见。2. 诊断原因分析 因为在flink任务取消的时候存在checkpoint未最终完成,这些文件就...
-
hdfs 大数据框架-Hadoop
大数据框架-Hadoop 1.什么是大数据 大数据是指由传统数据处理工具难以处理的规模极大、结构复杂或速度极快的数据集合。这些数据集合通常需要使用先进的计算和分析技术才能够处理和分析,因此大数据技术包括了大数据存储、大数据处...
-
缓存 数据库 redis-cli常用命令
文章目录前言一、redis-cli连接redis服务1.1 无密码本地登录1.2 指定ip、端口、密码1.3 指定ip、端口、密码并清理redis缓存1.4 指定ip、端口、密码、数据库1.5 shell连接redis二 r...
-
数据库 PostgreSQL 连接数过多报错(too many clients already)
解决 PostgreSQL 连接数过多报错的情景 一、问题描述 在使用 Navicat 连接 PostgreSQL 数据库时,突然遭遇到了一个报错:“FATAL: sorry, too many clients alread...
-
数据仓库 数据挖掘 数据库 维度建模概述
1、维度建模 维度建模以分析决策的需求出发构建模型,构建的数据模型为数据分析服务。它重点解决如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性能。 因此,说白了,所谓的维度建模就是一种组织数据仓库的形式、模型,用这...
-
大数据 hdfs Hadoop总结
目录1、什么是hadoop2、hadoop的组成3、大数据平台组件:主从架构 4.1、hdfs操作命令 4.2、hdfs负责文件存储 4.3、block块: 4.4、角色 1、N...
-
数据库 缓存 13、Redis高频面试题
1、项目中为什么用Redis我们项目中之所以选择Redis,主要是因为Redis有下面这些优点:操作速度快:Redis的数据都保存在内存中,相比于其它硬盘类的存储,速度要快很多数据类型丰富:Redis支持 string,li...
-
信息系统管理 软考-高级-信息系统项目管理第四版(完整24章全笔记)
《信息系统项目管理师教程》(第4版)是由全国计算机专业技术资格考试办公室组织编写的考试用书,根据2022年审定通过的《信息系统项目管理师考试大纲》编写,对信息系统项目管理师岗位所要求的主要知识及应用技术进行了阐述。 《信息...
-
mysql双层not exists查询执行流程
一、单个EXISTS、NOT EXISTS用法 ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='人员表'; ENGINE=InnoDB DEFAULT CHARSET=utf8 C...
-
ETL 成功解决DataX从Hive导出Oracle的数据乱码问题!
前言大数据与 RDBMS 之间的数据导入和导出都是企业日常数据处理中常见的一环,该环节一般称为 e-t-l 即 extract-transform-load。市面上可用的 etl 工具和框架很多,如来自于传统数仓和 BI 圈...
-
大数据 分布式 深入理解 Spark(四)Spark 内存管理模型
Spark 中的内存管理和资源管理模型Executor 进程作为一个 JVM 进程,其内存管理建立在 JVM 的内存管理之上,整个大致包含两种方式:堆内内存和堆外内存。 一个 Executor 当中的所有 Task 是共享...
-
算法 大数据毕设 基于大数据的抖音短视频数据分析与可视化 - python 大数据 可视化
文章目录 0 前言1 课题背景2 数据清洗3 数据可视化地区-用户观看时间分界线每周观看观看路径发布地点视频时长整体点赞、完播 4 进阶分析相关性分析留存率 5 深度分析客户价值判断 0 前言 这两年开始毕业设...
-
自然语言处理 人工智能 语言模型 编程实践 开发语言 架构设计 数据中台系统是一个重要的数字化转型方式之一,它基于现代的大数据处理技术,通过构建统一的数据仓库,将不同来源、格式的数据进行整合、清洗、融合,并提供给业务人员进行分析挖掘的数据集合
作者:禅与计算机程序设计艺术 1.简介 数据中台系统是一个重要的数字化转型方式之一,它基于现代的大数据处理技术,通过构建统一的数据仓库,将不同来源、格式的数据进行整合、清洗、融合,并提供给业务人员进行分析挖掘的数据集合。其目...
-
开发语言 redis PHP常见中高面试题汇总(附答案)
一、 PHP部分 PHP如何实现静态化 PHP的静态化分为:纯静态和伪静态。其中纯静态又分为:局部纯静态和全部纯静态。 PHP伪静态:利用Apache mod_rewrite实现URL重写的方法; PHP纯静态,就是...