# 修改每个topic的默认分区参数num.partitions，默认是1，具体合适的取值需要根据服务器配置进程确定，UCloud.ukafka = 3. Segment：partition物理上由多个segment组成，下面2.2和2.3有详细说明。pa

Kakfa 广泛应用于国内外大厂，例如 BAT、字节跳动、美团、Netflix、Airbnb、Twitter 等等。今天我们通过这篇文章深入了解 Kafka 的工作原理。Kakfa 是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据的实时处理领

本文实验的Kafka版本为2.11版本.在生产者发送消息的时候,并不是上面所有的信息都算在发送的消息大小.详情见下面代码.单条消息过长或产生如下错误.这里有个注意的点,如果只是单纯的发送消息,没有用Callback进行监控或者用Future进行获得结果,在

上一篇文章我们主要介绍了什么是 Kafka，Kafka 的基本概念是什么，Kafka 单机和集群版的搭建，以及对基本的配置文件进行了大致的介绍，还对 Kafka 的几个主要角色进行了描述，我们知道，不管是把 Kafka 用作消息队列、消息总线还是数据存储平

kafka/bin/kafka-topics.sh --list --zookeeper 192.168.3.130:2181 192.168.3.140:2181 192.168.3.142:2181. kafka/bin/kafka-topics.sh

　Kafka是一种消息中间件，首先我们看看什么是消息中间件、消息中间件可以解决什么问题，然后我们对比不同的消息中间件，总结Kafka适用的场景。　中间件位于系统软件和应用软件之间的部分，起到连接系统各部分。消息中间件是用于接收消息，并且将消息传递给需要消息

上一节讲到Cluster主要用来存放Node节点信息，TopicPartition分区信息和PartitionInfo分区详细信息，本节要讲的Metadata是将Cluster封装，提供一个统一的查询入口，此外还提供了对集群信息的更新操作。Metadata

本文记录一下docker中安装kafka集群的过程1.使用docker-compose，因为本机还没有安装，然后又安装了一下，之前有python的环境，所以直接使用pip安装了，各位看官自行百度找到适合自己的安装方式，如果没有安装docker-compos

Kafka使用一个叫Franz Kafka的文学家的名字用来命名的。Kafka是一款开源的消息引擎系统。也是一个分布式流处理平台。Kafka同时支持点对点模型以及发布/订阅模型。它是Kafka消费者端实现高可用的重要手段。引入两个重量级功能变更：一个是提供

2） 进入到安装目录。#broker的全局唯一编号，不能重复,其他机器上有修改。#删除topic功能使能。#处理网络请求的线程数量。#用来处理磁盘IO的现成数量。#请求套接字的缓冲区大小。#kafka运行日志存放的路径。#topic在当前broker上的分

1 Kafka概念一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行横向扩容。单个parition内是保证消息

在设计的时候，它就实现了高可靠、高吞吐、高可用和可伸缩，得益于这些特性，加上活跃的社区，Kafka 成为了一个完备的分布式消息引擎解决方案。历经多年发展，Kafka 的功能和特性也在不断迭代，如今的 Kafka 集消息系统、存储系统和流式处理平台于一身，并

生产者连接集群，创建 topic，生产数据。echo "hello kafka " . date . PHP_EOL;}消费者-HighLevel自动分配partition，rebalance，comsumer group。// Set

前言之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ？文章中其实已经写了点将数据写入到 MySQL，但是一些配置化的东西当时是写死的，不能够通用，最近知识星球里有朋友叫我: 写个从 kafka 中读取数据，经过 Flink 做个

项目见：

Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic、Uber、Square等大型公司用来构建可扩展的、高吞吐量的、高可靠的实时数据流系统。例如，在New Relic的生产环境中，Kafka群集每秒能够处理超过1500

前言之前写过一篇《从源码分析如何优雅的使用 Kafka 生产者》 ，有生产者自然也就有消费者。建议对 Kakfa 还比较陌生的朋友可以先看看。也用 Kafka 消费过日均过亿的消息，本文将借助我使用 Kakfa 消费数据的经验来聊聊如何高效的消费数据。单线

本文讨论使用 Apache Kafka 的 Streams API 向 Rabobank 的客户发送告警。Rabobank总部位于荷兰，在全球拥有 900 多个分支机构，48,000 名员工和 681 亿欧元的资产。Rabobank 是一家由客户和银行组成

1.启动zookeeper. bin/kafka-topics.sh \. --create \. --zookeeper localhost:2181 \. --replication-factor 1 \. --partitions 1 \. --to

工作也有三年了，也是因为比较懒惰和自身水平的原因，之前对一些没用过的技术进行实践后总没有过什么过多的总结。这次也是因为在工作之中遇到的一些问题需要使用到Kafka，过程中也遇到并解决了一些问题。