在 Cloudzy VPS 上部署 Apache Kafka

Apache Kafka

Apache Kafka 是分布式事件流处理平台。支持 PB 级实时数据管道，已在 LinkedIn、Netflix、Uber 及 80% 的《财富》100 强企业中投入使用。持久化 Topic 日志，通过分区实现并行处理，并为高负载消息场景提供精确一次（exactly-once）语义保障。

重要文件与目录

Kafka 主安装目录： /opt/kafka
Kafka Broker 配置文件： /opt/kafka/config/server.properties
Kafka 日志目录（Broker 日志及已保留事件）： /opt/kafka/logs
Kafka 可执行文件及 CLI 工具（kafka-topics.sh, kafka-console-producer.sh, etc.): /opt/kafka/bin
用于管理 Kafka 的 Systemd 服务单元： /etc/systemd/system/kafka.service

Kafka Service

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Create a Topic

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

查看 Topic 详情：

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

生产事件（消息）

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

每行输入一条事件。

Press Ctrl+C to exit.

Consume Events

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Press Ctrl+C to stop reading.

多个客户端可以对同一批事件进行多次消费。

Logs & Troubleshooting

Apache Kafka