Apache Kafka

Eine Open-Source-Plattform für verteiltes Event-Streaming für leistungsstarke Datenpipelines.

Wichtige Dateien und Verzeichnisse

  • Hauptinstallationsverzeichnis von Kafka: /opt/kafka
  • Kafka-Broker-Konfigurationsdatei: /opt/kafka/config/server.properties
  • Kafka-Protokollverzeichnis (Broker-Protokolle, gespeicherte Ereignisse): /opt/kafka/logs
  • Kafka-Binärdateien und CLI-Tools (kafka-topics.sh, kafka-console-producer.shusw.): /opt/kafka/bin
  • Systemd-Dienstmodul zur Verwaltung von Kafka: /etc/systemd/system/kafka.service

Kafka-Dienst

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Thema erstellen

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Themendetails überprüfen:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Ereignisse (Meldungen) erzeugen

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Geben Sie pro Zeile ein Ereignis ein.

Presse Ctrl+C zum Beenden.

Veranstaltungen konsumieren

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Presse Ctrl+C mit dem Lesen aufzuhören.

Ereignisse können von mehreren Clients mehrfach konsumiert werden.

Protokolle & Fehlerbehebung

  • Kafka-Protokolle: /opt/kafka/logs
  • Systemd-Protokoll: sudo journalctl -u kafka -f
  • Sicherstellen, dass Ports 9092 (Makler) und 9093 (Steuergerät) sind offen.

Anwendungsdetails