Ubuntu 安装 kafka

软件安装

一、下载 kafka 二进制安装包

下载地址： http://kafka.apache.org/downloads

二、上传 kafka 压缩包到虚拟机中

可以安装 VMware tools ，然后手动拖到虚拟机中，安装方法参考下面博客：

Ubuntu安装VMware Tools的方法

也可以用 WinSCP 工具，或者直接在 Ubuntu 系统页面下载。

三、解压到 /usr/local/services 目录

tar -xzf kafka_2.11-1.1.0.tgz -C /usr/local/services/

四、启动 kafka 服务

kafka需要使用Zookeeper，首先需要启动Zookeeper服务，如果没有的话，可以使用kafka自带的脚本启动一个简单的单一节点Zookeeper实例：

bin/zookeeper-server-start.sh config/zookeeper.properties

如果已经启动了 zookeeper，则直接运行下面的命令：

bin/kafka-server-start.sh config/server.properties

停止 kafka 服务则运行下面命令：

bin/kafka-server-stop.sh config/server.properties

五、kafka 简单使用

5.1、创建一个主题

首先创建一个名为test的topic，只使用单个分区和一个复本

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

5.2、查看主题

现在可以运行list topic命令看到主题：

bin/kafka-topics.sh --list --zookeeper localhost:2181

5.3、发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

5.4、接收消息

启动一个消费者,消费者会接收到消息：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning 2>/dev/null

六、使用 java kafka-client 遇到的问题

写kafka生产者生成数据的程序并运行时：

kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries