Apache Kafka

En open source-distribueret platform til streaming af begivenheder til højtydende datapipelines.

Vigtige filer og mapper

  • Hovedinstallationsmappe for Kafka: /opt/kafka
  • Kafka-mæglerkonfigurationsfil: /opt/kafka/config/server.properties
  • Kafka-logmappe (mæglerlogfiler, gemte begivenheder): /opt/kafka/logs
  • Kafka-binærfiler og CLI-værktøjer (kafka-topics.sh, kafka-console-producer.sh, osv.): /opt/kafka/bin
  • Systemd-serviceenhed til administration af Kafka: /etc/systemd/system/kafka.service

Kafka-tjeneste

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Opret et emne

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Tjek emnedetaljer:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Producer begivenheder (meddelelser)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Skriv én begivenhed pr. linje.

Tryk Ctrl+C for at afslutte.

Forbrugerbegivenheder

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Tryk Ctrl+C at holde op med at læse.

Begivenheder kan forbruges flere gange af flere klienter.

Logfiler og fejlfinding

  • Kafka-logfiler: /opt/kafka/logs
  • Systemd-journal: sudo journalctl -u kafka -f
  • Sørg for porte 9092 (mægler) og 9093 (controller) er åbne.

Ansøgningsoplysninger