Apache Kafka

Een open-source gedistribueerd platform voor het streamen van gebeurtenissen voor hoogwaardige datapijplijnen.

Belangrijke bestanden en mappen

  • Hoofdinstallatiemap van Kafka: /opt/kafka
  • Kafka-brokerconfiguratiebestand: /opt/kafka/config/server.properties
  • Kafka-logboekmap (brokerlogboeken, bewaarde gebeurtenissen): /opt/kafka/logs
  • Kafka-binaire bestanden en CLI-tools (kafka-topics.sh, kafka-console-producer.sh, enz.): /opt/kafka/bin
  • Systemd-service-unit voor het beheer van Kafka: /etc/systemd/system/kafka.service

Kafka-service

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Een onderwerp aanmaken

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Bekijk onderwerpdetails:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Evenementen (berichten) produceren

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Typ één gebeurtenis per regel.

Pers Ctrl+C om af te sluiten.

Consumeer evenementen

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Pers Ctrl+C om te stoppen met lezen.

Gebeurtenissen kunnen meerdere keren door meerdere klanten worden gebruikt.

Logboeken en probleemoplossing

  • Kafka-logboeken: /opt/kafka/logs
  • Systemd-logboek: sudo journalctl -u kafka -f
  • Zorg voor poorten 9092 (makelaar) en 9093 (controller) zijn open.

Details van de aanvraag