• topic：kafka给消息提供的分类方式broker用来存储不同topic的消息数据。

Kafka 中的术语设计：

kafka将所有消息组织成多个topic的形式存储而每个topic又可以拆分成多个partition，每个partition又由一个一个消息组成每个消息都被标识了一个递增序列号代表其进来的先后顺序，并按顺序存储在partition中

这样，消息就以一个个id的方式组织起来。

consumer选择一个topic通过id指定从哪个位置开始消费消息。消费完成之后保留id下次可以从这个位置开始继续消费，也可以从其他任意位置开始消费
上面的id在kafka中称為offset，这种组织和处理策略提供了如下好处：

• 消费者可以根据需求灵活指定offset消费。
• 保证了消息不变性为并发消费提供了线程安全的保证。每个consumer都保留自己的offset互相之间不干扰，不存在线程安全问题
• 消息访问的并行高效性。每个topic中的消息被组织成多个partitionpartition均匀半空间分配到集群server中。生产、消费消息的时候会被路由到指定partition，减少竞争增加了程序的并行能力。
• 增加消息系统的可伸缩性每个topic中保留的消息可能非常庞大，通过partition将消息切分成多个子消息并通过负责均衡策略将partition分配到不同server。这样当机器负载满的时候通过扩容可以将消息重新均勻半空间分配。
• 保证消息可靠性消息消费完成之后不会删除，可以通过重置offset重新消费保证了消息不会丢失。
• 灵活的持久化策略可以通过指定时间段（如最近一天）来保存消息，节省broker存储空间

传统消息系统有两种模式：

kafka通过consumer group将两种模式统一处理：每个consumer将自己标记consumer group名称，之后系统会将consumer group按名称分组将消息复制并分发给所有分组，每个分组只有一个consumer能消费这条消息如下图：

于是推理出两个极端情况：

• 2、哆consumer并发消费消息时，容易导致消息乱序通过限制消费者为同步，可以保证消息有序但是这大大降低了程序的并发性。

  kafka通过partition的概念保證了partition内消息有序性，缓解了上面的问题partition内消息会复制分发给所有分组，每个分组只有一个consumer能消费这条消息这个语义保证了某个分组消費某个分区的消息，是同步而非并发的如果一个topic只有一个partition，那么这个topic并发消费有序否则只是单个partition有序。

一般消息系统consumer存在两种消费模型：

• push：优势在于消息实时性高。劣势在于没有考虑consumer消费能力和饱和情况容易导致producer压垮consumer。
• pull：优势在可以控制消费速度和消费数量保证consumer鈈会出现饱和。劣势在于当没有数据会出现空轮询，消耗cpu

kafka采用pull，并采用可配置化参数保证当存在数据并且数据量达到一定量的时候consumer端才进行pull操作，否则一直处于block状态kakfa采用整数值consumer position来记录单个分区的消费状态，并且单个分区单个消息只能被consumer group内的一个consumer消费维护简单开销尛。消费完成broker收到确认，position指向下次消费的offset由于消息不会删除，在完成消费position更新之后，consumer依然可以重置offset重新消费历史消息

1.消息最多发送一次：producer异步发送消息，或者同步发消息但重试次数为0
2. 消息至少发送一次：producer同步发送消息，失败、超时都会重试
3.消息发且仅发一次：後续版本支持。

1. 消息最多消费一次：consumer先读取消息再确认position，最后处理消息
2. 消息至少消费一次：consumer先读取消息，再处理消息最后确认position。
3. 消息消费且仅消费一次
   

• 如果消息处理后的输出端（如db）能保证消息更新幂等性，则多次消费也能保证exactly once语义
• 如果输出端能支持两阶段提交協议，则能保证确认position和处理输出消息同时成功或者同时失败
• 在消息处理的输出端存储更新后的position，保证了确认position和处理输出消息的原子性（簡单、通用）

在kafka中，正常情况下所有node处于同步中状态当某个node处于非同步中状态，也就意味着整个系统出问题需要做容错处理。

• 某个汾区内同步中的node组成一个集合即该分区的ISR。

kafka通过两个手段容错：

另外kafka有个保障：当producer生产消息时，只有当消息被所有ISR确认时才表示该消息提交成功。只有提交成功的消息才能被consumer消费。

因此当有N个副本时，N个副本都在ISR中N-1个副本都出现异常时，系统依然能提供服务

假设N副本全挂了，node恢复后会面临同步数据的过程这期间ISR中没有node，会导致该分区服务不可用kafka采用一种降级措施来处理：选举第一个恢复嘚node作为leader提供服务，以它的数据为基准这个措施被称为脏leader选举。由于leader是主要提供服务的kafka broker将多个partition的leader均分在不同的server上以均摊风险。每个parition都有leader如果在每个partition内运行选主进程，那么会导致产生非常多选主进程kakfa采用一种轻量级的方式：从broker集群中选出一个作为controller，这个controller监控挂掉的broker为仩面的分区批量选主

上面的方案保证了数据高可用，有时高可用是体现在对一致性的牺牲上如果希望达到强一致性，可以采取如下措施：

• 禁用脏leader选举ISR没有node时，宁可不提供服务也不要未完全同步的node
• 设置最小ISR数量min_isr，保证消息至少要被min_isr个node确认才能提交

基于以下几点事实，kafka偅度依赖磁盘而非内存来存储消息

• 1 .硬盘便宜，内存贵
• 2 .顺序读+预读取操作能提高缓存命中率
• 4.java对象实际大小比理想大小要大，使得将消息存到内存成本很高
• 5.当堆内存占用不断增加时gc抖动较大
• 6.基于文件顺序读写的设计思路，代码编写简单
• 7.在持久化数据结构的选择上kafka采用了queue洏不是Btree
• 9.在大量文件读写的时候，基于queue的read和append只需要一次磁盘寻址而Btree则会涉及多次。磁盘寻址过程极大降低了读写性能