一、介绍
ZooKeeper 是一个开源的分布式协调框架,主要是用来解决分布式集群应用系统中一致性的问题。Zookeeper的设计目标是将那些复杂且容易出错的分布式一致性分装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。
ZooKeeper本质上是一个分布式的小文件存储系统(Zookeeper=文件系统+监听机制)。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理,从而用来维护和监控存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能。
Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper 就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。
二、常用语法
help
显示所有的操作命令
ls
ls [-s] [-w] [-R] path
使用 ls 命令来查看当前 znode 的子节点
-w: 监听子节点变化
-s: 节点状态信息(时间戳、版本号、数据大小等)
-R: 表示递归的获取
stat
stat [-w] path
查看节点状态信息
create
create [-s] [-e] [-c] [-t ttl] path [data] [acl]
创建节点
-s : 创建有序节点。
-e : 创建临时节点。
-c : 创建一个容器节点。
t ttl] : 创建一个TTL节点, -t 时间(单位毫秒)。
data:节点的数据,可选,如果不使用时,节点数据就为null。
acl:访问控制
get
get [-s] [-w] path
获取节点数据信息
-s: 节点状态信息(时间戳、版本号、数据大小等)
-w: 监听节点变化
getAcl [-s] path
获取节点的访问控制信息
-s: 节点状态信息(时间戳、版本号、数据大小等)
getAllChildrenNumber、getEphemerals
set
set [-s] [-v] path data
设置节点数据
-s:表示节点为顺序节点
-v: 指定版本号
setAcl [-s] [-v] [-R] path acl
设置节点的访问控制列表
-s:节点状态信息(时间戳、版本号、数据大小等)
-v:指定版本号
-R:递归的设置
setquota -n|-b val path
对节点增加限制
n:表示子节点的最大个数
b:数据值的最大长度,-1表示无限制
delete
delete [-v] path
删除某一节点,只能删除无子节点的节点。
-v: 表示节点版本号
deleteall path
递归的删除某一节点及其子节点
三、数据机构
ZooKeeper的数据模型是层次模型,层次模型常见于文件系统。层次模型和key-value模型是两种主流的数据模型。ZooKeeper使用文件系统模型主要基于以下两点考虑:
文件系统的树形结构便于表达数据之间的层次关系文件系统的树形结构便于为不同的应用分配独立的命名空间( namespace )
ZooKeeper的层次模型称作Data Tree,Data Tree的每个节点叫作Znode。不同于文件系统,每个节点都可以保存数据,每一个 ZNode 默认能够存储 1MB 的数据,每个 ZNode 都可以通过其路径唯一标识,每个节点都有一个版本(version),版本从0开始计数。
1)节点分类
持久节点
create /locks
一直存在,一直存储在ZooKeeper 服务器上,即使创建该节点的客户端与服务端的会话关闭了,该节点依然不会被删除
临时节点
create -e /locks/lock
当创建该临时节点的客户端会话因超时或发生异常而关闭时,该节点也相应在 ZooKeeper 服务器上被删除。
有序节点
create -e -s /nodes/node1(临时有序节点)
并不算是一种单独种类的节点,而是在之前提到的持久节点和临时节点特性的基础上,增加了一个节点有序的性质。在我们创建有序节点的时候会自动使用一个单调递增的数字作为后缀
容器节点
create -c /work
当一个容器节点的最后一个子节点被删除后,容器节点也会被删除
TTL节点
create -t 3000 /ttl_node
当一个TTL节点在 TTL 内没有被修改并且没有子节点,会被删除。注意:默认此功能不开启,需要修改配置文件extendedTypesEnabled=true
2)节点监听
Zookeeper中的watch机制,必须客户端先去服务端注册监听,这样事件发送才会触发监听,通知给客户端。
一次性Watch
#监听节点数据的变化
get -w path
stat -w path
#监听子节点增减的变化
ls -w path
watch是一次性的,一旦被触发就会移除,再次使用时需要重新注册
永久性Watch
addWatch [-m mode] path
addWatch的作用是针对指定节点添加事件监听,支持两种模式
1、PERSISTENT,持久化订阅,针对当前节点的修改和删除事件,以及当前节点的子节点的删除和新增事件。
2、PERSISTENT_RECURSIVE,持久化递归订阅(默认),在PERSISTENT的基础上,增加了子节点修改的事件触发,以及子节点的子节点的数据变化都会触发相关事件(满足递归订阅特性)
3)节点特性
1. 同一级节点 key 名称是唯一的
已存在/lock节点,再次创建会提示已经存在
2.创建节点时,必须要带上全路径
3.session 关闭,临时节点清除
4.自动创建顺序节点
create /queue 创建永久顺序节点
5.watch 机制,监听节点变化
监听事件被单次触发后,事件就失效了。
新版本通过 addWatch [-m mode] path 新增永久监控
6.delete 命令只能一层一层删除
新版本可以通过 deleteall 命令递归删除
4)节点应用
ZooKeeper适用于存储和协同相关的关键数据,不适合用于大数据量存储。
zookeeper不同的经典应用场景如下:
注册中心数据发布/订阅(常用于实现配置中心)负载均衡命名服务分布式协调/通知集群管理Master选举分布式锁分布式队列
5)ACL权限控制
zookeeper 的 ACL(Access Control List,访问控制表)权限在生产环境是特别重要的,ACL 权限可以针对节点设置相关读写等权限,保障数据安全性。
ACL 构成
zookeeper 的 acl 通过 [scheme:id:permissions] 来构成权限列表。
1、scheme:授权的模式,代表采用的某种权限机制,包括 world、auth、digest、ip、super 几种。
2、id:授权对象,代表允许访问的用户。如果我们选择采用 IP 方式,使用的授权对象可以是一个 IP 地址或 IP 地址段;而如果使用 Digest 或 Super 方式,则对应于一个用户名。如果是 World 模式,是授权系统中所有的用户。
3、permissions:授权的权限,权限组合字符串,由 cdrwa 组成,其中每个字母代表支持不同权限, 创建权限 create(c)、删除权限 delete(d)、读权限 read(r)、写权限 write(w)、管理权限admin(a)。
参考链接
发表评论