一、Kafka分布式集群的搭建
1、下载,解压Kafka文件
tar -zxvf kafka_2.12-3.1.0.tgz
2、配置kafka环境变量
vim /etc/profile.d/my_env.sh
使配置文件生效
source /etc/prifile
3、修改配置文件
vim /opt/kafka/conf/server.properties
:set nu #行号方便查看
配置kafa服务器的编号,一个集群中该值为唯一的,不能重复,并且是一个数字
broker.id=X
Kafka运行日志文件存放路径,也是kafka存放数据的路径
配置kafka链接的zookeeper集群地址,多台服务器之间使用“,”分开,后面加上一个路径,则便于对数据管理
slavel1等服务器是/etc/hosts文件中配置的域名和 IP 的映射关系
/k_data打错了删除掉
4、分发文件
发送环境变量配置文件
scp -r /etc/profile.d/my_env.sh hadoop02:/etc/profile.d/
scp -r /etc/profile.d/my_env.sh hadoop03:/etc/profile.d/
在slave2,slave3中分别
source /etc/profile #使环境变量配置文件生效
5、修改broker.id
Hadoop02
vim /opt/kafka/conf/server.properties
Hadoop03
vim /opt/kafka/conf/server.properties
6、启动kafka集群
先启动zookeeper,在集群每台机器都执行一遍
cd /opt/zookeeper/bin
zkServer.sh start
启动kafka
jps查看三台机器进程
7、停止kafka集群
cd /opt/kafka/bin
停止kafka
./kafka-server-stop.sh
jps确认,记得关闭zookeeper
二、Kafka命令行操作
topic(主题)的常用参数:
参数 说明 --bootstrap-server
1、创建一个topic
./kafka-topics.sh --bootstrap-server slave1:9092 --create --topic kaf --partitions 3 --replication-factor 3
查看topic
./kafka-topics.sh --bootstrap-server slave1:9092 --list
2、生产者往刚创建的topic中推送数据
常用参数
参数 说明 --bootstrap-server
[{"a":"1","b":"2","c":"3"}]
3、消费者从topic中拉取数据
常用参数
参数 说明 --bootstrap-server
推荐阅读
发表评论