2.需要先启动ZooKeeper服务器(可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。

对于消息组件，如果按照最初的设计来讲，性能最高得就是RabbitMQ，因为RabbitMQ设计比较完整，而Kafka不同，Kafka最初的设计最大的坑：没有安全认证，所以最初的一些系统设计的时候为了考虑到安全性，所以采用了性能较差的ssl认证方式来进行出来

acks这个参数有三个值：0，1，-1，但是不用的参数对应的含义不同，那如果我们想要保证数据不丢失，acks 值应该设置为哪个参数呢？数据写入到leader replica，然后返回处理成功的响应给生产者，假如这个时候leader replica 在的服务

消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。消费者组内每个消费者负责消费

# Manual customization of this file is not recommended.-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT. -A INPUT -m stat

copy: src={{ item }} dest={{ basedir }}/src owner=root mode=700

在上文中介绍了如何搭建一个Kafka服务，那么在开发中我们要如何去访问、集成Kafka呢？这就需要使用到本文将要介绍的Kafka客户端API。AdminClient API：允许管理和检测Topic、broker以及其他Kafka实例，与Kafka自带的脚

Apache Kafka是一款开源的消息引擎系统，同时也是分布式流处理平台。消息引擎系统是一组在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递的规范。Kafka的设计目标如下：以时间复杂度为O的方式提供消息持久化能力，即使对TB级以上数据也能保

Kafka 的选择：它使用的是纯二进制的字节序列。当新订单生成后它仅仅是向 Kafka Broker 发送一条订单消息即可。这样当出现秒杀业务时，Kafka 能够将瞬时增加的订单流量全部以消息形式保存在对应的主题中，既不影响上游服务的 TPS，同时也给下游

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 -partitions 1 --topic test

　　消息生产者，发布消息到 kafka 集群的终端或服务。　　每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。　　partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分

import java.time.Duration;KafkaConsumer<Integer,String> consumer;String topic;Properties properties=new Properties();Kafka

安装kafka之前先安装JDK.....恭喜，Zookeeper已经安装完成，已在2181端口运行。保存完成后，再次执行.\bin\windows\kafka-server-start.bat .\config\server.properties. 可根据

Kakfa是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据的实时处理领域。上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发送短信，则需要等这些流程处理完成后，在返回给用户。消息生产者发送消息到消

7、显示出Consumer的Group、Topic、分区ID、分区对应已经消费的Offset、logSize大小，Lag以及Owner等信息。最后再注意kafka的启动和停止。

hosts: ["10.238.2.228:9092", "10.238.2.229:9092", "10.238.2.230:9092"] #kafka地址

SASL/GSSAPI - starting at version 0.9.0.0SASL/PLAIN - starting at version 0.10.0.0SASL/SCRAM-SHA-256 and SASL/SCRAM-SHA-512 - s

kafka根据Scala版本不同，又分为多个版本，我不需要使用Scala，所以就下载官方推荐版本kafka_2.12-2.4.0.tgz。当前下载的kafka程序里自带Zookeeper，可以直接使用其自带的Zookeeper建立集群，也可以单独使用Zoo

如果业务中，对于kafka发送消息异步消费的场景，在业务上需要实现在消费时实现顺序消费， 利用kafka在partition内消息有序的特点，消息消费时的有序性。否则即使通过发送时指定partition，在消费端由于线程池的异步消费，消息之间的处理都是并发

spark-streaming对接kafka有两种方式：1.基于receiver的方式，属于高级API，简单但是效率低，容易丢失数据。executor直接对接kafka的partition,触发action后，周期性地读取topic分区指定offset的数