本文转载自微信公众号「爱笑的架构师」，作者雷架。大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的

现在，每个公司都在互联网系统中使用Kafka。Kafka似乎是解决分布式并提高系统吞吐量的最佳松耦合解决方案之一。我大约6年前开始使用Kafka。此时，Kafka诞生了，并提供了一个完美的解决方案。在了解Kafka之前，如果您不知道什么是Message Q

作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka?”。基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是

kafka是一款分布式消息发布和订阅的系统，相比ActiveMQ具有高性能和高吞吐率。

ln -s /usr/local/apache-storm-0.10.0 /usr/local/storm

Partition：每一个Topic被切分为多个Partitions。Producer构造Message对象时，传入key参数，当Producer发送Message，会根据key确定目标Partition，当Kafka集群中某个Partition所有存活的

-- 实际应用中单独引入下面的jar包,不使用kafka带的 -->

kafka官网上对kafka的定义叫：A distributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思，所以准确的说kafka是一个消息订阅和发布的系统。当然还有些业务数

producer：往broker中某个topic里面生产数据。kafka将所有消息组织成多个topic的形式存储，而每个topic又可以拆分成多个partition，每个partition又由一个一个消息组成。消费者可以根据需求，灵活指定offset消费。

假设你现在没有Kafka和ZooKeeper环境。Step 1: 下载代码下载0.10.0.0版本并且解压它。> cd kafka_2.11-0.10.0.0Step 2: 启动服务运行kafka需要使用Zookeeper，所以你需要先启动Zooke

在上一章，我们跟踪了Producer源码的整体流程和一些细节，本章我们将重点跟踪Consumer的源码细节。group.id: 指定consumer所属的consumer group. fetc

{"partitions":[{"topic":"topic","partition": 0},{"topic":"topic",&qu

kafka 0.8增加了重新分配partition功能，进行扩容,增加减少replica，移动partition. --broker-list <brokerlist> The list of brokers to which th

Kafka 的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka 的特性之一就是高吞吐率。即使是普通的服务器，Kafka 也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性

上篇文章我们介绍了kafka的一些知识，这篇文章我们再介绍一下kafka的实战演练，切记学习大数据一定要一步一个脚印，不要激流勇进。说是安装，如果只需要进行最简单的尝试的话我们只需要解压到任意目录即可，这里我们将kafka压缩包解压到/home目录

下面分别启动Zookeeper 和 kafka 容器，这一步骤可以忽略。直接通过 docker-compose 命令来启动容器。创建 docker-compose.yml 文件在/root/目录下，创建kafka 目录：

简介生产消费消息投递语义文件组织常用配置项简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。为了做到水平扩展，一个top

整个IO过程，从上到下分成文件系统层、 Page Cache 层、通用数据块层、 IO调度层、块设备驱动层。这里借着Apache Kafka的由头，将Page Cache层与IO调度层重温一遍，记一篇针对Linux kernel 2.6的科普文。Page

目前我们使用版本为kafka_2.9.2-0.8.1. 1）拷贝线上配置到本地kafka目录。2）需要注意的是server.properties里broker和ip的指定，必须要唯一。3）server.properties中log.dirs必须要手动指定。