kafka入门

Kafka

组件

• broker
  kafka cluster内的真实的物理机器，用于存放ordered logs.
• producer
  log的生产者
• consumer
  log的消费者

基本概念

• topic
  可简单理解为log的分类或键名，一个topic由一个或多个partition组成，同一个topic内的partition可以存放在不同的broker上
• partition
  log的分区，一个topic可以拆分为多个partition，每个partition内的log是顺序排列
• consumer group
  log消费者组，一个consumer group由一个或多个consumer组成，若consumer未指定组名，则使用默认的组名

However, if you require a total order over records this can be achieved with a topic that has only one partition, though this will mean only one consumer process per consumer group.

？是否可以这样理解：一个kafka集群内的topic下存在多个partition,每个partition内的log是有序的。若一个topic存在多个partition,则同一个consumer group内的多个consumer不会同时消费相同的partition.