事件源，最终一致性，微服务，CQRS等等，这些越多越多的概念被现代开发者所熟悉。从细粒度的服务组装到复杂的以业务为中心的应用架构，这其中最重要的一块就是以中间件为基础的业务脱藕。本文我们介绍中间件基础构建块——事务流。其主导者是Apache Kafka，

上一章中，我们介绍了在Mac上安装、启动最新版Apache Kafka v2.3.1。本文将继续演示在Mac 中Kafka Server的使用。在开始下面的步骤之前，首先需要启动Apache Kafka server。# 创建topicrickie@192

生产者发送多个消息到同一个分区的时候，为了减少网络带来的系能开销，kafka会对消息进行批量发送。比如说batch.size设置16kb，linger.ms设置50ms，那么当消息积压达到16kb就会发送，如果没有到达16kb，那么在第一个消息到来之后的5

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来

C1 -> P0、P3C2 -> P1、P2所有消费者一起消费所有的分区，例如 C1 和 C2 共同完成了对 P0、P1、P2、P3 的消费。在不同消费组中，每个消费组都会消费所有的分区，例如，消费组A、消费组B 都消费了 P0、P1、P2、P

Kafka producer overviewpython clients:confluent-kafka-python : created by Confluent which is based on C client librdkafkakafka-p

在高并发业务场景下，典型的阿里双11秒杀等业务，消息队列中间件在流量削峰、解耦上有不可替代的作用。Mike前面分享了MQ消息队列的设计、核心原理、以及与RPC远程调用的区别等内容。今天我们一起来探讨：。Kafka、RocketMQ、RabbitMQ的优劣势

Apache kafka is a distributed streaming platform，即官方定义 kafka 是一个分布式流式计算平台 。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即 它是一个分布式消息队列，很少会使用 k

每个partition一个索引，顺序写一个文件。3) Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,同时也用来发现broker列表,并和partition leader建立so

它监视所有消费者的承诺偏移量，并根据需要计算消费者的状态，提供HTTP endpoint接口来获取消费者状态，能够监控Consumer消费消息的延迟,从而监控应用的健康状况，并且可以同时监控多个Kafka集群。通知器可以通过配置电子邮件或HTTP通告进行告

目标了解kafka streams的架构。架构分析总体Kafka流通过构建Kafka生产者和消费者库，并利用Kafka的本地功能来提供数据并行性、分布式协调、容错和操作简单性，从而简化了应用程序开发。流分区和任务Kafka的消息传递层对数据进行分区，以存储

我们知道kafka是基于TCP连接的。其并没有像很多中间件使用netty作为TCP服务器。而是自己基于Java NIO写了一套。关于kafka为什么没有选用netty的原因可以看这里。对Java NIO不太了解的同学可以先看下这两篇文章，本文需要读者对NI

我们在《360度测试：KAFKA会丢数据么？其高可用是否满足需求？》这篇文章中，详细说明了KAFKA是否适合用在业务系统中。但有些朋友，还不知道KAFKA为何物，以及它为何存在。这在工作和面试中是比较吃亏的，因为不知道什么时候起，KAFKA似乎成了一种工程

在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：。现在的消息系统可不只有kafka。Consumer：消息消费者，向Kafkabroker取消息的客户端。Zookeeper：管理Producer，Broker，Consumer的

本文已同步至个人博客liaosi'blog-kafka（一）—基本概念Kafka简介Kafka是用scala语言编写，最初由Linkedin公司开发，后贡献给了Apache基金会并成为顶级开源项目。Kafka是一个类JMS消息队列，结合了JMS中的两种模式

Apache Kafka 是一个分布式流处理平台，用于构建实时的数据管道和流式的应用.它可以让你发布和订阅流式的记录，可以储存流式的记录，并且有较好的容错性，可以在流式记录产生时就进行处理。Apache Kafka是分布式发布-订阅消息系统，在 kafka

用例这是Apache Kafka的一些流行用例的描述，有关这些领域的一些概况，请参阅这个博客。消息传递Kafka可以很好地替代更传统的消息代理，消息代理的使用有多种原因，与大多数消息传递系统相比，Kafka具有更好的吞吐量、内置的分区、复制和容错能力，这使

7月25日，阿里云宣布正式推出消息队列Kafka，全面融合开源生态。在兼容Apache生态的基础上，阿里云消息队列Kafka彻底解决了开源产品稳定性不足的痛点，可用性达99.9%，数据可靠性99.999999%，并且支持消息无缝迁移到云上。Kafka是一个

前言在文章游戏事件处理系统系列文章中中，我们已经做到使用filebeat收集日志事件、logstash处理日志事件、发送日志事件到kafka集群，并在消费者中消费的过程。其中，为kafka集群生产消息的，是logstash服务，而非我们自定义的生成者。在本

我们在学习一个东西的时候，往往只有真正了解它背后的含义，才能一步一步的掌握它，直到运筹帷幄。对于Kafka来说，我也是一个小白，本篇文章我就以一个小白的角度来初探一下Kafka，本篇文章基于官方文档，顺便说一句官方文档真的很重要，且读且珍惜。