
资料简介:
一、Kafka 简介
1.1 什么是 Kafka
Apache Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,后来贡献给 Apache。它主要用于:
消息队列:解耦系统组件
流处理:实时数据处理
日志收集:集中式日志管理
事件驱动架构:构建事件驱动的微服务
二、Kafka 架构
2.2 核心概念
1. Broker(代理服务器)
Kafka 集群中的每个节点称为 Broker
负责处理消息的读写请求
一个或多个 Broker 组成 Kafka 集群
2. Topic(主题)
消息的分类/频道
生产者发送消息到 Topic
消费者从 Topic 订阅消息
Topic 命名规范:通常使用点号分隔,如 order.created
3. Partition(分区)
Topic 的物理拆分
每个 Topic 分为多个 Partition
实现水平扩展和并行处理
消息在 Partition 内有序