掘金小册图解 Kafka 之核心原理-58学课

在线网盘点击查看详情购买后内容一样

作者介绍

朱小厮（笔名），目前就职于某大型互联网公司基础架构部，专注于分布式中间件领域，著有《深入理解Kafka：核心设计与实践原理》和《RabbitMQ实战指南》两本畅销书籍，维护微信公众号：朱小厮的博客。

小册介绍

“图解Kafka”系列共分为两个小册，上册为《图解Kafka之实战指南》，主要讲解Kafka相关的基础知识和实战操作，适合小白入门以及老司机巩固练习；下册为《图解Kafka之核心原理》，主要讲解了Kafka的核心实现原理，适合对Kafka有一定认知的同学。

“图解Kafka”系列的内容源自《深入理解Kafka：核心设计与实践原理》一书，相当于此书的电子版，内容基本没有做改变，只是在内容编排上做了一定的修改。目前市面上其余购买此书电子版的通道已全部关闭，也就是说，这里为电子版唯一官方购买入口。

“图解Kafka”系列分为两个小册是因为原书篇幅较长，共计547.2千字，且单体定价颇高，有些读者难以接受。分成两个小册不仅可以将单价拆离，而且可以更好的服务于特定的读者，《图解Kafka之实战指南》适合于入门和实践巩固，不过笔者有信心对于熟悉Kafka核心原理的资深老司机也能够有所收获。而就《图解Kafka之核心原理》而言，需要读者对Kafka有一定的了解，否则会难以消化。

读者可以先行购买《图解Kafka之实战指南》来对Kafka做一定程度上的了解及深入，后续需要进阶的话可以继续购买《图解Kafka之核心原理》。如果有需要纸质版的读者，与两小册对应的《深入理解Kafka：核心设计与实践原理》在京东、亚马逊、当当等都有售，可以自行购买。

前言

初识Kafka时，笔者接触的还是0.8.1版本，Kafka发展到目前的2.0.0版本，笔者也见证了Kafka的蜕变，比如旧版客户端的淘汰、新版客户端的设计、Kafka控制器的迭代优化、私有协议的变更、事务功能的引入等。Kafka从昔日的新星逐渐走向成熟，再到今日的王者地位不可撼动，这期间有太多的故事可讲。

刚接触Kafka时，市面上很少有关于Kafka的书籍。在学习Kafka的过程中也经历过很多挫败，比如Scala这门编程语言就让笔者在Kafka的源码大门外却步良久。那时候就在想，如果有一本书能够全方位地解析Kafka该有多好啊。

随着对Kafka的逐步了解，也渐渐地萌生了自己写一本关于Kafka的书的想法，产生这一想法至今已超过两年。在这期间，笔者阴差阳错地先写了一本关于RabbitMQ的书，也就是《RabbitMQ实战指南》，此时已是2017年年末，市面上已经陆续出现了好几本有关Kafka的书，而且此时Kafka的版本也已经升级到1.0.0。

笔者认真看过几乎所有现存的Kafka的书籍，回想这一路学习和使用Kafka的经历，深感这些都不是自己理想中的书籍，那么不如自己再“操刀”写一本。笔者秉承能用文字表述的就不贴源码、能用图形辅助的就不乏味陈述；既要让新手能够快速入门，也要让老手有所收获，从基础概念入手，再到原理深入，让读者能够由浅入深地理解Kafka。

《图解Kafka之实战指南》和《图解Kafka之核心原理》依据Kafka 2.0.0版本编写，里面所有内容都具备理论基础并全部实践过，里面的内容也是笔者在工作中的认知积累，希望我的著作能够让读者有所收获。

你会学到什么？

很多认识笔者的朋友经常会问我要一些Kafka的面试题，其中有些是面试官，他们需要去面试别人；有些是被面试者，他们需要去寻找一份新的工作。以前总是已没时间为借口而么有细心整理，最近笔者花了点时间，做了一个下面的问题列表，足以可以应对绝大多数Kafka相关的面试：

Kafka的用途有哪些？使用场景如何？
Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
Kafka中的HW、LEO、LSO、LW等分别代表什么？
Kafka中是怎么体现消息顺序性的？
Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？
Kafka生产者客户端的整体结构是什么样子的？
Kafka生产者客户端中使用了几个线程来处理？分别是什么？
Kafka的旧版Scala的消费者客户端的设计有什么缺陷？
“消费组中的消费者个数如果超过topic的分区，那么就会有消费者消费不到数据”这句话是否正确？如果正确，那么有没有什么hack的手段？
消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1?
有哪些情形会造成重复消费？
那些情景下会造成消息漏消费？
KafkaConsumer是非线程安全的，那么怎么样实现多线程消费？
简述消费者与消费组之间的关系
当你使用kafka-topics.sh创建（删除）了一个topic之后，Kafka背后会执行什么逻辑？
topic的分区数可不可以增加？如果可以怎么增加？如果不可以，那又是为什么？
topic的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？
创建topic时如何选择合适的分区数？
Kafka目前有哪些内部topic，它们都有什么特征？各自的作用又是什么？
优先副本是什么？它有什么特殊的作用？
Kafka有哪几处地方有分区分配的概念？简述大致的过程及原理。
简述Kafka的日志目录结构
Kafka中有那些索引文件？
如果我指定了一个offset，Kafka怎么查找到对应的消息？
如果我指定了一个timestamp，Kafka怎么查找到对应的消息？
聊一聊你对Kafka的Log Retention的理解
聊一聊你对Kafka的Log Compaction的理解
聊一聊你对Kafka底层存储的理解（页缓存、内核层、块层、设备层）
聊一聊Kafka的延时操作的原理
聊一聊Kafka控制器的作用
消费再均衡的原理是什么？（提示：消费者协调器和消费组协调器）
Kafka中的幂等是怎么实现的？
Kafka中的事务是怎么实现的？
Kafka中有那些地方需要选举？这些地方的选举策略又有哪些？
失效副本是指什么？有那些应对措施？
多副本下，各个副本中的HW和LEO的演变过程
为什么Kafka不支持读写分离？
Kafka在可靠性方面做了哪些改进？（HW, LeaderEpoch）
Kafka中怎么实现死信队列和重试队列？
Kafka中的延迟队列怎么实现
Kafka中怎么做消息审计？
Kafka中怎么做消息轨迹？
Kafka中有那些配置参数比较有意思？聊一聊你的看法
Kafka中有那些命名比较有意思？聊一聊你的看法
Kafka有哪些指标需要着重关注？
怎么计算Lag？(注意read_uncommitted和read_committed状态下的不同)
Kafka的那些设计让它有如此高的性能？
Kafka有什么优缺点？
还用过什么同质类的其它产品，与Kafka相比有什么优缺点？
为什么选择Kafka?
在使用Kafka的过程中遇到过什么困难？怎么解决的？
怎么样才能确保Kafka极大程度上的可靠性？
聊一聊你对Kafka生态的理解

那么在这里你可以学到什么呢？如果你都能回答上这些问题，那么你的确也学习不到多少内容，否则，你真的需要好好的学习一番。而这些问题的答案就在《图解Kafka之实战指南》和《图解Kafka之核心原理》中，相信你们在学习完之后一定可以流畅的应对这些问题。当然了，这些问题的答案只是这两本小册内容中的一部分，里面还有更多有意思的内容等着读者去挖掘。