hdfs
hbase
NoSQL数据库 支持海量数据的增删改查 基于Rowkey查询效率特别高
kudu
介于hdfs和hbase之间
hbase依赖hadoop+zookeeper，同时整合框架phoenix(擅长读写),hive（分析数据）
k，v 储存结构
稀疏的（为空的不存储）、分布式的、持久地、多维排序map-》映射：行键、列键、时间戳，未解释的（序列化的，存储效率高）
数据存储整体有序 列 、 列族 、 rowkey按字典序排序，然后将一个“表格”切分出一个Region，对应有rowkey的范围，每个Region的rowkey范围都不重叠。竖行切分store，按列族为单位进行。
使用timestamp实现数据修改，version确认版本，操作类型type
namespace=database
cell唯一确定的单元
架构
master通过zookeeper管理region server，region server向zookeeper注册自己的信息
操作表格的命令是有master进行的，修改和删除
loadBalancer均衡负载器
预写日志处理器：容错机制
master backup server 高可用信息
hbase shell 常用命令： list_namespace
DDL:
create_namespace 'bigdata'
create 't1', {NAME=>'F1'，VERSION=>5}
表名 列族 名 指定维护的时间戳版本数，例子中的版本数为5
describe 't1'
alter 't1' ,'delete'=>'info1' 删除列族
删除表： disable 't1' drop 't1'
DML:
插入数据： put 'bigdata:t1' ,'r1' ,'c1' ,'value' ts1
'库名 ：表名' rowkey 列族：列名 列值 时间戳
读取数据：
get 一行数据 和scan 多行数据
scan 'bigdata:t1' {startrow=>'',stoprow=>''}
前开后闭
删除数据：
delete 删除一行数据，一个cell。 默认是删除给定时间戳之前的第一个遇到的时间戳的数据。实际是在插入一条delete记录。
delete all 删除所有版本的数据，即多个cell。
API
涉及java建造者 Builder模式： 命名空间建造者=》设计师
集成phoenix 针对hbase上面还没有数据，需要写入数据 不适合复杂SQL查询
开源hbase的sql皮肤 标准jdbc API 自带sql优化器 如谓词下推
phoenix的primarykey对应hbase的rowkey 官网查询语法，与sql类似
！table
已经存在于hbase的表，phoenix需要进行视图映射或表映射才能使用。
create view drop view 只能看，无法操作数据
表映射可以修改删除数据
phoenix二级索引-将 全表扫描优化为范围扫描
默认 全局索引：专门创建一张索引表，给非rowkey列去做rowkey排序（如字典序）。写的时候需要写两张表，故适合多读少写的场景。
explain 查看执行计划
全局索引的局限，不能包含非索引字段
全局索引的补充：包含索引
本地索引
hbase参数优化：
zookeeper timeout优化
rpc监听数量 ：put、get
多个写缓存加起来大小大于40%
JVM调优
并发垃圾回收：一边读写一边垃圾回收
集成hive 针对hbase上面已经存好数据，需要分析数据
hbase的数据其实也是存储在hdfs上面的
HQL创建hbase表
load data 只是将数据上传到文件系统指定目录中，而insert into 才能把格式对应上，因为它要跑商计算程序（如mr）；
rowkey设计原则
TSDB 将时间戳加入rowkey中，增量抽取数据变化的部分
目的是让数据均匀地分布在region中，3中方法：
相关阅读
您阅读本篇文章共花了：
发表评论