本文转载自微信公众号「Java极客技术」，作者鸭血粉丝。Hello，大家好，我是阿粉，作为一个后端工程师不经历几次生产事故怎么能成长!阿粉工作几年来，大大小小，重要不重要的事故也经历了不少，有损失几十万的，有对业务毫无影响但是不应该发生的，每一次事故都是一

消费者负责订阅 Kafka 中的主题，并且从订阅的主题上拉取消息。与其他一些消息中间件不同的是：在 Kafka 中还有一层消费组的概念，每个消费者都有一个对应的消费组。Kafka 也支持两种消息投递模式：。如果所有的消费者都在同一个消费组，消息会被均衡地投

最终大家会掌握 Kafka 中最重要的概念，分别是 Broker、Producer、Consumer、Consumer Group、Topic、Partition、Replica、Leader、Follower，这是学会和理解 Kafka 的基础和必备内

有很多文件，这里可以发现有Zookeeper文件，我们可以根据Kafka内带的zk集群来启动，但是建议使用独立的zk集群。log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时

Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流和运营数据处理管道的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。支持 Kafka Server 间的消息分区，及分布式消费，同时保证每个

Kafka作为时下开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了读写性能。Partition：是Kafka中横向扩展和一切并行化的基础，

删除kafka相关文件rm-rf/kafka-logs/ --kafka topic存储路径rm-rf/etc/kafkarm-rf/var/log/kafkarm-rf/var/run/kafka/. 你可以通过命令：./bin/kafka-topic

Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.副本使K

社区从开始讨论事务性，前后持续近半年时间，相关的设计文档有六十几页。事务性这部分的实现也是非常复杂的，之前 Producer 端的代码实现其实是非常简单的，增加事务性的逻辑之后，这部分代码复杂度提高了很多，本篇及后面几篇关于事务性的文章会以 2.0.0 版

看懂本文的前提是首先要熟悉kafka，然后了解spark Streaming的运行原理及与kafka结合的两种形式，然后了解flink实时流的原理及与kafka结合的方式。kafka作为一个消息队列，在企业中主要用于缓存数据，当然，也有人用kafka做存储

最近，由于RabbitMQ在发生网络分区时出现了可疑行为，我们已经切换到了Kafka。当前状况Trello使用15个RabbitMQ实例的集群进行所有websocket更新，我们的服务器将消息发布到集群，然后我们的websocket实例从队列中提取消息，但

简介Kafka-manager 是雅虎开源的apache-kafka管理工具，是用Scala写，所以在web页面进行操作即可。l 检查集群状态；反正可以代替很多命令行操作。命令执行完成后，在 target/universal 目录中会生产一个zip压缩包k

本文将介绍如何通过Flink读取Kafka中Topic的数据。和Spark一样，Flink内置提供了读/写Kafka Topic的Kafka连接器。Flink Kafka Consumer和Flink的Checkpint机制进行了整合，以此提供了exact

允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。消息队列

Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。对 Socket 缓存仅仅就是拷贝数据的描述符过去，然后数据就直接从 OS Cache 中发