前言Kafka起初是由LinkedIn公司采用Scala语言开发的-一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据

# The id of the broker. This must be set to a unique integer for each broker.# Hostname the broker will bind to. If not set, the

如果这个preferred replica不是leader且在isr中，则controller发出request到这个preferred replica的broker，通知其作为topic partition的leader. The controller

Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流和运营数据处理管道的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件，然后周期性地对这些文

kafka的背景知识已经讲了很多了，让我们现在开始实践吧，假设你现在没有任何Kafka或ZooKeeper环境。下载0.10.0.0版本并且解压它。运行kafka需要使用Zookeeper，所有你需要先启动一个Zookeeper服务器，如果你没有Zooke

Kubernetes设计的初衷是运行无状态工作负载。这些通常采用微服务架构的工作负载，是轻量级，可水平扩展，遵循十二要素应用程序，可以处理环形断路和随机Monkey测试。另一方面，Kafka本质上是一个分布式数据库。这意味着你必须处理状态，它比微服务更重量

越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力。任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量），offset为一个long型数字，它是唯一标记一

众所周知kafka的吞吐量比一般的消息队列要高，号称the fastest，那他是如何做到的，让我们从以下几个方面分析一下原因。生产者是负责向Kafka提交数据的，我们先分析这一部分。Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入

Schema Registry 主要用于管理Avro的Schema. Schema不断的演变，Schema Registry可以把它的版本变化管理起来。同时它提供了一个Restful API接口，你可以通过这个Restful API接口来获取你需要版本的A

以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决Split Brain和Herd等问题。High Level Consumer很多时候，客户程序只是希望从Kafka读取数据，不太关心消息of

两者的区别，这个帖子里的图文说的一目了然：

但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中的数据订

借助Apache Kafka和Kafka Streams框架可以更好地搭建以流为中心的架构和开发分布式流处理应用程序。Confluent的CEO Jay Kreps在上周举行的2016响应式峰会上为我们带来了有关流处理和微服务的演讲。Jay说，人们已经在数

今天的文章分为两大部分，第一部分介绍一下我总结的跟性能有关的一些参数、含义以及调优策略。第二部分会给出一些我自己实践过的测试结果对照组，具体的数值和结果可能因场景、机器、环境而异，但是总体的思路和方法应该是一致的。6台物理机，其中三台部署Broker，三台

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机

IP： 192.168.0.251 webTest251 Kafka一、安装Kafka. 6 zookeeper.connect=dbTest249:2181,Other250:2181,webTest251:2181三、启动Ka

在Ubuntu12.04 server上安装单结点kafka，我的机器上之前已经安装过zookeeper-3.4.5. > tar xzf kafka-<VERSION>.tgz> cd kafka-<VERSION>&