kafka环境搭建

Posted by BY KiloMeter on March 13, 2019

首先要安装zookeeper,可以看这篇

Zookeeper环境的搭建以及简单测试

zookeeper启动无异常后,先下载kafka,解压后修改配置文件

kafka安装目录/config/server.properties

首先该修改broker.id,集群中每台服务器代表一台broker,集群中的broker.id是唯一的,最好和zookeeper的myid保持一致吧,这样的话比较好认。

advertised.host.name 这个属性的值修改成本机的IP

log.dirs的属性值指的是kafka的消息存放路径,默认是/tmp目录下,修改下,比如我这边就修改成了

log.dirs=/usr/local/software/kafka_2.11-0.10.2.1/kafka_logs

zookeeper.connect这个要修改成自己的zookeeper集群,我这边是

zookeeper.connect=192.168.1.105:2181,192.168.1.106:2181,192.168.1.107:2181

修改完毕后可以启动了,所有的机器都要启动kafka和zookeeper

bin/kafka-server-start.sh -daemon config/server.properties

创建topic

bin/kafka-topics.sh --zookeeper 192.168.43.50:2181,192.168.43.51:2181,192.168.43.52:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create

选择一台broker启动生产者

bin/kafka-console-producer.sh --broker-list 192.168.43.50:9092,192.168.43.51:9092,192.168.43.52:9092 --topic TestTopic

选择其他broker启动消费者

bin/kafka-console-consumer.sh --zookeeper 192.168.43.50:2181,192.168.43.51:2181,192.168.43.52:2181 --topic TestTopic --from-beginning

生产者输入消息,消费者能够收到消息,kafka搭建成功