Apache Kafka auf Cloudzy VPS deployen

Apache Kafka

Apache Kafka ist die verteilte Event-Streaming-Plattform. Petabyte-skalierbare Echtzeit-Datenpipelines, die bei LinkedIn, Netflix, Uber und 80 % der Fortune-100-Unternehmen im Einsatz sind. Dauerhafte Topic-Logs, partitioniert für Parallelverarbeitung, mit Exactly-once-Semantik für die anspruchsvollsten Messaging-Workloads der Welt.

Wichtige Dateien und Verzeichnisse

Hauptinstallationsverzeichnis von Kafka: /opt/kafka
Konfigurationsdatei des Kafka-Brokers: /opt/kafka/config/server.properties
Kafka-Protokollverzeichnis (Broker-Logs, gespeicherte Events): /opt/kafka/logs
Kafka-Binärdateien und CLI-Tools (kafka-topics.sh, kafka-console-producer.sh, usw.): /opt/kafka/bin
Systemd-Service-Unit zur Verwaltung von Kafka: /etc/systemd/system/kafka.service

Kafka-Dienst

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Thema erstellen

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Topic-Details prüfen:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Events (Nachrichten) erzeugen

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Geben Sie ein Event pro Zeile ein.

Drücken Sie Ctrl+C zum Beenden.

Ereignisse verarbeiten

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Drücken Sie Ctrl+C zum Lesen beenden.

Events können von mehreren Clients mehrfach konsumiert werden.

Protokolle & Fehlerbehebung

Kafka-Protokolle: /opt/kafka/logs
Systemd-Protokoll: sudo journalctl -u kafka -f
Häfen sicherstellen 9092 (Broker) und 9093 (controller) sind offen.

Apache Kafka

Verwandte Apps.

Adminer

ArangoDB

Baserow

Bytebase

Apache Kafka jetzt deployen. Ab 2,48 $/Monat.