Apache Kafka

一款开源的分布式事件流平台,专为高性能数据管道而设计。

重要文件和目录

  • 主Kafka安装目录: /opt/kafka
  • Kafka 代理配置文件: /opt/kafka/config/server.properties
  • Kafka日志目录(代理日志、保留事件): /opt/kafka/logs
  • 卡夫卡二进制文件和命令行工具 (kafka-topics.sh, kafka-console-producer.sh等: /opt/kafka/bin
  • 用于管理Kafka的Systemd服务单元: /etc/systemd/system/kafka.service

卡夫卡服务

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

创建主题

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

查看主题详情:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

生成事件(消息)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

每行输入一个事件。

按下 Ctrl+C 退出。

消费事件

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

按下 Ctrl+C 停止阅读。

事件可被多个客户端多次消费。

日志与故障排除

  • 卡夫卡日志: /opt/kafka/logs
  • Systemd 日志: sudo journalctl -u kafka -f
  • 确保端口 9092 (经纪人)和 9093 (控制器)处于开启状态。

申请详情