作为一个爬虫工程师，Kafka 对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。关于 Kafka 更深入的底层细节与核心原理，不在我们的讨论范围中。如果你需要在面试中解释这些术语，还请阅读Kafka 的官方文档。

在进行详解之前，我想先声明一下，本次我们进行讲解说明的是 Kafka 消息存储的信息文件内容，不是所谓的 Kafka 服务器运行产生的日志文件，这一点希望大家清楚。Kafka 消息是以主题为单位进行归类，各个主题之间是彼此独立的，互不影响。每个分区各自存在

MQTT 与 Kafka 是完全不同的两个东西， MQTT 是协议，是一个技术标准，由 OASIS 技术委员会的成员制订。而 Kafka 是已经实现的开源流处理平台，最早由 LinkedIn 开发，于2011年开源后交给 Apache Incubator

流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。同时，Kafka Connect提供的REST API接口可以方便的进行Kafka Con

微信公众号「后端进阶」，专注后端技术分享：Java、Golang、WEB框架、分布式中间件、服务治理等等。当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡的概念，下面我就给大家讲解一下什么是 Kafka

Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partitio

MQ是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展。接下来介绍消息中间件Kafka。向Kafka发送消息，生产者会根据topic分发消息。队列的操作是加锁执行，所以

Kafka是由LinkIn开源的实时数据处理框架，目前已经更新到2.3版本。不同于一般的消息中间件，Kafka通过数据持久化和磁盘读写获得了极高的吞吐量，并可以不依赖Storm，SparkStreaming的流处理平台，自己进行实时的流处理。Kakfa的O

面试大厂时，一旦简历上写了 Kafka，几乎必然会被问到一个问题：说说 Acks 参数对消息持久化的影响?这个 Acks 参数在 Kafka 的使用中，是非常核心以及关键的一个参数，决定了很多东西。所以无论是为了面试还是实际项目使用，大家都值得看一下这篇文

在Apache Kafka简介中，我们研究了分布式流媒体平台Apache Kafka。这一次，我们将关注Reactor Kafka，这个库可以创建从Project Reactor到Kafka Topics的Reactive Streams，反之亦然。我们将

Apache Kafka is an open source, distributed publish-subscribe messaging system,and its main characters include:. -Distributed: s

接上篇文章 游戏日志统计分析，本文主要通过实例展示KSQL的连接查询功能。创建另一个topicbin/kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --par

游戏日志统计分析以游戏结算日志为例，展示利用KSQL对日志进行统计分析的过程。bin/confluent start查看kafka主题列表bin/kafka-topics --list --zookeeper localhost:2181创建接受游戏结算日

预祝2019年元旦节快乐！2018年最后一周，分享些Kafka的知识点。Kafka数据分区和消费者的关系分区topic是逻辑概念，分区是物理概念，对于用户来说是透明的。producer只需要关心消息网哪个topic发送，而consumer之关系自己订阅哪个

什么是KafkaKafka是一个分布式流处理系统，流处理系统使它可以像消息队列一样publish或者subscribe消息，分布式提供了容错性，并发处理消息的机制。kafka运行在集群上，集群包含一个或多个服务器。Producer消息生产者，就是向kafk

KSQL流处理——如何将数据处理结果推到指定Topic需求场景描述在生产环境中，各个业务服务产生的事件都会被push到Kafka消息中间件中。平台希望通过处理，实时分析这些事件，筛选出满足条件的一些玩家，对其奖励相应道具。

kafka简介Kafka 是一种高吞吐量的分布式发布订阅消息系统kafka角色必知producer：生产者。经典模型1. 一个主题下的分区不能小于消费者数量，即一个主题下消费者数量不能大于分区属，大了就浪费了空闲了

前言在文章游戏事件处理系统系列文章中中，我们已经做到使用filebeat收集日志事件、logstash处理日志事件、发送日志事件到kafka集群，并在消费者中消费的过程。其中，为kafka集群生产消息的，是logstash服务，而非我们自定义的生成者。在本

activeMq 技术非常成熟，但是偶尔会出现较低概率的丢失消息，而且现在社区以及国内应用都越来越少。rabbitMQ 社区相对活跃，吞吐量是万级别，而且开元，性能极好，但是erlang语言阻止了大量的Java程序员深入研究和掌握他，对公司而言几乎是不可控

分布式消息服务是一项基于高可用分布式集群技术的消息中间件服务，提供了可靠且可扩展的托管消息队列，用于收发消息和存储消息。以下就是两者的详细对比。