第一章概念:数据库、DBMS、DBS、DBA数据库有什么特点: 数据结构化、数据共享性高、冗余度低、数据独立性高、方便统一管理两种数据模型 概念模型: 概念模型是按用户观点来对数据和信息建模,主要用于数据库设计。使用ER图是...
-
mysql 数据库汇总
-
数据库 Mongodb指定字段去重后返回所有数据(原生语句实现)
需求:根据指定字段去重返回所有数据首当其冲想到的是Distinct关键字语法distinct方法包含三个参数,field表示要检索唯一值的字段,query表示检索时使用的查询语句,options包括projection和so...
-
数据库 dba MySQL Workbench 安装及使用
MySQL Workbench 安装及使用 文章目录 MySQL Workbench 安装及使用1. MySQL Workbench 简介2. MySQL Workbench 的下载与安装3. MySQL Workben...
-
如何理解数据仓库的四大特性?
我们知道数据仓库的四大特性: 面向主题的(Subject Oriented) 集成的(Integrate) 相对稳定的(Non-Volatile) 反映历史变化(Time Variant)那么,如何理...
-
数据库 mysql 【腾讯云TDSQL-C Serverless 产品测评】一文带你了解TDSQL-C Serverless版
文章目录 前言腾讯云TDSQL-C for MySQL Serverless版介绍准备工作1、 购买TDSQL-C for MySQL Serverless版实例2、开启数据库外网访问3、安装测试工具4、准备测试数据...
-
数据库 NOSQL简单实战
目录 实战一: 1、 string类型数据的命令操作: (1) 设置键值: (2) 读取键值: (3) 数值类型自增1: (4) 数值类型自减1: (5) 查看值的长度: 2、 list类型数据的命令操作:...
-
数据库 nosql MongoDB离线安装
下载:Install MongoDB Community Kubernetes Operator | MongoDB 解压:tar -zxvf mongodb-linux-x86_64-rhel70-6.0.3.tgz ...
-
数据库设计图书管理系统
目录 一、 摘要 二、 前言 三、主体 3.1需求分析 3.1.1 功能需求分析 3.1.2 数据需求分析 3.2 概念设计 3.2.1 数据字典 3.2.2 ERD(实体关系图) 3....
-
数据库 06、MongoDB -- MongoDB 基本用法(删除文档、查询文档、查询运算符)
目录MongoDB 基本用法演示前提:登录单机模式的 mongodb 服务器命令登录【admin】数据库的 mongodb 客户端命令登录【test】数据库的 mongodb 客户端命令删除文档语法格式两个变体版本:1、re...
-
高级数据结构 <二叉搜索树>
本文已收录至《数据结构(C/C++语言 》专栏! 作者:ARMCSKGT 目录 前言正文二叉搜索树的概念二叉搜索树的基本功能实现二叉搜索树的基本框架插入节点删除节点查找函数中序遍历函数析构函数和销毁函数(后序遍历销毁 拷...
-
大数据 离线数仓-数据仓库系统
1数据仓库概述数据仓库核心架构ODS层(Operational Data Store):运营数据存储层,用于存储来自操作型系统的原始数据,是数据仓库中的第一层。 DWD层(Data Warehouse Detail):数据...
-
使用PLSQL远程连接Oracle数据库【内网穿透】
文章目录 1.前言2.Oracle数据库的安装2.1 Oracle下载安装2.2 Oracle连接测试2.3 Cpolar下载安装 3.Cpolar端口设置3.1 Cpolar云端设置3.2.Cpolar本地设置...
-
大数据 解决Hadoop审计日志hdfs-audit.log过大的问题
【背景】新搭建的Hadoop环境没怎么用,就一个环境天天空跑,结果今天运维告诉我说有一台服务器磁盘超过80%了,真是太奇怪了,平台上就跑了几个spark测试程序,哪来的数据呢?【问题调查】既然是磁盘写满了,那首先就要找到具体...
-
kafka 大数据 [Flink项目优化] 资源配置调优
文章目录 1.资源配置调优2.内存设置3.并行度设置4.RocksDB 大状态调优5.Checkpoint 设置6.Flink ParameterTool 读取配置7.压测方式 1.资源配置调优 Flink 性能调优的第一...
-
数据库 dba windows安装mysql(精简)
第一步,下载mysql 方法1:官网下载 方法2:国内镜像 版本选择: 5.7或者8.0 第二步,安装mysql 下载下来的mysql分两种: 第一种,安装版(.exe或者.msi...
-
java ElasticSearch中实现模糊查询效果(类似数据库中like功能)
ElasticSearch中实现模糊查询效果(类似数据库中like功能)文章目录ElasticSearch中实现模糊查询效果(类似数据库中like功能)场景:实现方式:pom依赖:代码:测试:造数据:调用接口:场景:业务要求...
-
1024程序员节 大数据 etl Flink一致性的保障
1、一致性 一致性实际上是“正确性级别”的另一种说法,即在成功处理故障并恢复之后得到的结果,与没有发生任何故障时得到的结果相比,前者有多正确? 在流处理中,一致性分为3个级别:at-most-once:这其实是没有正确性保障...
-
排序算法 算法 深入理解数据结构第六弹——排序(3)——归并排序
排序1:深入了解数据结构第四弹——排序(1)——插入排序和希尔排序-CSDN博客排序2:深入理解数据结构第五弹——排序(2)——快速排序-CSDN博客前言:在前面,我们已经学习了插入排序、堆排序、快速排序等一系列排序,今天我...
-
MySQL赋予用户的各种数据库操作权限
MySQL清空数据库的操作:truncate table tablename;MySQL 赋予用户权限命令的简单格式可概括为:grant 权限 on 数据库对象 to 用户一、grant 普通数据用户,查询、插入、更新、删除...
-
flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉
在使用flink cdc,配置任务运行,过了几天后,任务无故取消,超时,导致taskmanager挂掉,相关异常如下: 异常1: did not react to cancelling signal interrupting...
-
MPP架构 Hadoop HDFS 【大数据】Doris 构建实时数仓落地方案详解(一):实时数据仓库概述
本系列包含: Doris 构建实时数仓落地方案详解(一):实时数据仓库概述Doris 构建实时数仓落地方案详解(二):Doris 核心功能解读Doris 构建实时数仓落地方案详解(三):Doris 实时数仓设计 Do...
-
数学建模 数据库 hbase相关操作
1.设置hbase的 region的大小HBase中的Region大小是可以配置的,通过设置HBase表的最小和最大Region大小来控制。一般情况下,Region大小的设置应该根据应用需求和硬件资源进行调整。以下是设置HB...
-
大数据 Flink CDC 3.0 详解
一、Flink CDC 概述Flink CDC 是基于数据库日志 CDC(Change Data Capture)技术的实时数据集成框架,支持全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合F...
-
数据库 小米DBA工程师一面
我面试遇到的问题DBA工程师是做什么的? DBA工程师负责数据库管理和维护,涵盖MySQL、Redis等数据库,从运维角度保障数据库系统的稳定性、性能优化及备份恢复等工作。 redis常用的数据结构,他们的作用分别是什么?...
-
大数据 HiveSQl 常见的优化手段07
目录1.分桶表基本介绍2. 数据采样3.Join优化操作使用情况:4 HIVE的索引4.1 HIVE原始索引(废弃 4.2 Row Group Index索引4.3 Bloom Fliter Index索引5 如何解决数据倾...
-
java 贪心算法 动态规划 线性回归 链表 【数据结构和算法】最近的请求次数
其他系列文章导航Java基础合集数据结构与算法合集设计模式合集多线程合集分布式合集ES合集文章目录其他系列文章导航文章目录前言一、题目描述二、题解2.1 队列问题一般解法2.2 方法一:队列三、代码3.1 方法一:队列四、复...
-
数据库 大数据 熟悉MySQL和HDFS操作
1.使用Python操作MySQL数据库在Windows系统中安装好MySQL8.0.23和Python3.8.7,然后再完成下面题目中的各项操作。现有以下三个表格:表1 学生表:Student(主码为Sno)学号(Sno)...
-
Python嵌入式数据库 / 轻量级数据库 / 小型数据库介绍(SQLite、Pandas DataFrame、TinyDB)(python数据库)
文章目录Python嵌入式数据库/轻量级数据库介绍什么是嵌入式数据库/轻量级数据库?SQLitePandasTinyDB总结Python嵌入式数据库/轻量级数据库介绍在构建应用程序时,数据存储是必不可少的一部分。传统的方式是...
-
database 数据仓库 数据库技术的由来和发展
文章目录 前言一、人工阶段(50年代中期)内容人工管理阶段的数据管理特点: 二、文件系统阶段(50年后-60年中)1.内容2.文件系统管理数据的特点: 三 、数据库技术阶段1. 数据库技术产生的背景2. 数据库技术...
-
hadoop 大数据Hive篇:explode 和 posexplode
一. explode单独使用。 1.1. 用于array类型的数据 table_name 表名array_col 为数组类型的字段new_col array_col被explode之后对应的列 1.2. 用于map类型的数据...
-
大数据 Hadoop运行环境搭建
模板虚拟机环境准备1)准备一台模板虚拟机hadoop100,虚拟机配置要求如下:模板虚拟机:内存4G,硬盘50G,安装必要环境,为安装hadoop做准备这个命令安装了一系列有用的工具和库使用yum安装需要虚拟机可以正常上网,...
-
hive 大数据 【Spark精讲】一文讲透SparkSQL聚合过程以及UDAF开发
SparkSQL聚合过程这里的 Partial 方式表示聚合函数的模式,能够支持预先局部聚合,这方面的内容会在下一节详细介绍。 对应实例中的聚合语句,因为 count 函数支持 Partial 方式,因此调用的是 planA...
-
sqlite 数据库 mysql bmob Android项目-单词库
目录 1.项目简介 2.软件结构 2.1需求规定 2.2运行环境 2.3 软件结构设计 2.3.1数据库设计 3. 软件功能描述 3.1界面设计 4. 实验总结 1.项目简介 针对便捷记单词而作的一款Andr...
-
mysql 数据库 SQL中LIKE条件常用的四种模糊查询
1、%:表示任意数量字符。示例:select * from [userInfo] where user_name LIKE '%三%'将会找出user_name为"张三",“李三”,“三脚猫”,“王三娃”等等有“三”的记录。...
-
Java技术栈 —— Hive与HBase
Java技术栈 —— Hive与HBase一、 什么是Hive与HBase二、如何使用Hive与HBase?2.1 Hive2.1.1 安装2.1.2 使用2.1.2.1 使用前准备2.1.2.2 开始使用hive2.2 H...
-
数据库 缓存 数据仓库 etl 2、kettle知识点系列之kettle向redis同步数据
kettle向redis同步数据 网上kettle向redis同步数据的完整案例不是很多,本文将以案例形式对整个过程进行详细讲解。 一、案例描述 本文以最简单的案例描述,大家在应用过程中可根据实际情况进行调整。现有学生表和成...
-
hadoop hive 推荐算法 计算机毕业设计Python+Spark知识图谱高考志愿推荐系统 高考数据分析 高考可视化 高考大数据 大数据毕业设计 机器学习 深度学习 人工智能 大数据毕业设计
宜宾学院本科毕业论文(设计)开题报告(学生填写)基于spark的高考志愿推荐系统设计综述王 磊(人工智能与大数据学院)摘要:随着我国高考制度的不断完善以及大数据技术的迅速发展,高考志愿推荐系统的需求日益增长。本文着重探讨了如...
-
hadoop 电影票房之数据分析(Hive)--第5关
电影票房之数据分析(Hive)第5关:统计2020年元旦节与国庆节放假后7天的观影人数本关任务基于EduCoder平台提供的初始数据集,统计 2020 年元旦节与国庆节放假后 7 天的观影人数。编程要求本实验环境已开启Had...
-
数据库 mac上部署hbase mac上部署单体hbase
1. 简介HBase 是一个开源的、分布式的、版本化的典型非关系型数据库。它是 Google BigTable 的开源实现,并且是 Apache 基金会的 Hadoop 项目的一部分1。HBase 在 Hadoop Dist...
-
hadoop 什么是hive?什么是hbase?它们有什么区别与联系。
Hive和HBase是两个在大数据领域中常用的开源项目,它们有不同的功能和用途: Hive是一个基于Hadoop的数据仓库基础架构,它提供了一种类似于SQL的查询语言(HiveQL)来处理和分析大规模的结构化数据。Hiv...
-
Hadoop中HDFS的架构
一、Switch语句语法规则: ①语句中的变量类型可以是byte、short、int或者char;从javaSE5开始支持枚举类型; javaSE7开始,switch支持String。 ②没有break时,后续case的语句...
-
AlignmentGuides ViewDimensions VZStack VStack SwiftUI之深入解析Alignment Guides的超实用实战教程
一、Alignment Guide 简介Alignment guides 是一个强大的布局工具,但通常未被充分利用。在很多情况下,它们可以帮助我们避免更复杂的选项,比如锚点偏好。如下所示,对对齐的更改也可以自动(并且容易地)...
-
数据仓库 大数据 数据开发面试问题记录
因作者近期正在投递数据开发岗位,所以会在此记录一些面试过程中的问题,持续更新,直到入职新公司为止 1. 数仓建模的三范式理论 所谓的范式,就是我们在关系建模的时候所遵从的一些规范,而三范式,指的就是三条规范 1.1 优点与...
-
数据仓库 数据挖掘 数据库 软考 简练 项目管理 商业智能BI
商业智能又名商务智能,英文为Business Intelligence,简写为BI。 商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交...
-
基于C语言的SQlite3数据库操作指令
基本介绍 SQLite3是一个轻量级的嵌入式数据库引擎,它是一个自包含的、零配置的、服务器无关的、事务性的SQL数据库引擎。它是使用C语言编写的,可以直接在应用程序中嵌入,不需要单独的服务器进程。 数据库的建立流程中的s...
-
数据库 缓存 【Redis】—— Redis的AOF持久化机制
的 持久化机制 \color{#FF1493}{【Redis】 —— Redis的AOF持久化机制} 【Redis】——Redis的AOF持久化机制 ...
-
数据挖掘 大数据分析基于Hadoop的校园二手交易系统的设计与实现
收藏关注不迷路,源码文章末文章目录一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、文章目录一、项目介绍 在新冠疫情下,校园二手交易系统主要是用JAVA开发的。系统根据B/S架构设计,选用springboot框...
-
intellij-idea elasticsearch 教你IDEA解决GIT冲突
前言GIT基本上贯穿我们的开发生涯,之所以要使用git也是有很多优点的 1.通俗易懂点,保存代码不丢失:防止因内存,操作等因素导致代码丢失2.易于版本控制:Git可以帮助你跟踪代码的变化,记录每个版本的变化和...
-
windows 数据库 linux centos android 【MySQL】表的基本查询
表的基本查询 表的增删查改1. Create(1)单行数据 + 全列插入(2)多行数据 + 指定列插入(3)插入否则更新(4)替换 2. Retrieve(1)select 列a. 全列查询b. 指定列查询c. 查询...
-
hadoop 数据仓库 sql Hive 计算用户留存率(次日,3日,N日)
文章目录什么是用户留存率?创建数据源计算留存率计算 N 日的留存率什么是用户留存率?用户留存率是指在特定时间段内,用户在使用某个产品或应用程序后,再次使用该产品或应用程序的比例。它可以帮助公司了解用户是否喜欢他们的产品,并提...