我们举个例子说明下运维中面对的复杂性，我们都知道 kafka 有个 ISR集合，我先说明下这个概念：

当消费组中的消费者数量大于分区数量时，会存在浪费。因为有消费者分配不到partition进行消费。在消费者不饱和的情况下，一个消费者是可以去消费多个分区的数据的 。生产者生产投递9条消息，可以9条消息被投递到3不同分区，然后三个分区对应三个不同的消费者进行

springboot集成kafka是比较简单的是事情，但是kafka发送消息的失败回调在日常工作中，如果不容忍消息丢失的话，发送失败需要再次发送或者放到数据库中用任务重推。在kafka运行过程中kill进程达到异常发送的条件。

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

Kafka是一款很棒的消息系统，今天我们就来深入了解一下它的实现细节，首先关注Producer这一方。要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks、compression

所谓的副本机制，也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。允许将数据放入与用户地理位置相近的地方，从而降低系统延时。对于 Apache

def updateFunc(a: Seq[Int], b: Option[Int]): Option[Int] = {. "key.deserializer" -> classOf[StringDeserializer],&qu

通过命令查 ./bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --describe --group consumer2. 保存到 kafka配置的~/data文件夹(现有集群为3/分析得出就

bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic zipkin

kafka 分布式，基于zookeeper协调的分布式消息系统，支持分区多副本。同一个组内的consumer只能消费不同的partition，不能共同消费一个partition,但是不同组内可以，一个消息在group内只能消费一次。kafka-topics

kafka依赖ZooKeeper服务，需要本地安装并启动ZooKeeper。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。、支持通过Kafka服务器和消费机集群来分区消息;Kafka对消息保存

1.老版本的kafka的offset是维护在zk上的，新版本的kafka把consumer的offset维护保存在kafka的内部topic上

　　本文记录一下kafka多机多Broker（集群）的基本配置，在上篇的基础上进行，上篇配置在192.168.7.151上，本篇在152上。　　2、删除掉logs中的旧文件broker0、broker1，并且新建broker2、broker3. 　　3、修

2：删除kafka日志文件

1（默认）：这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。-1：producer需要等待ISR中的所有follower都确认接收到数据后才算一次发送完成，可靠性最高。但是这样也不能保证数据不丢失，比如

在zoo1,zoo2,zoo3中分别创建myid文件，并写入分别写入id数字，如zoo1中的myid中写入1. # sending a request and getting an acknowledgement. # the directory wher

Kafka是一个比RabbitMQ更加强大的消息中间件，处理消息的能力为80-100M/s，下面安装记录一下，Linux版本为Centos6。指定broker编号，需独一无二的整数，broker就是经纪人，一个broker代表一个kafka节点。重开一个远

有一句我觉得特别重要：For Kafka, a single broker is just a cluster of size one.bin/kafka-topics.sh --create --zookeeper localhost:2181 --re

Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有

kafka是一个高吞吐量,低延迟分布式的消息队列系统.kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒。kafka将所有消息组织成多个topic的形式存储,而每个topic又可以拆分成多个partition,每个partition又由一个一个消息