Apache Kafka

Otwarta platforma do strumieniowego przesyłania zdarzeń dla wysokowydajnych potoków danych.

Ważne pliki i katalogi

  • Główny katalog instalacyjny Kafki: /opt/kafka
  • Plik konfiguracyjny brokera Kafka: /opt/kafka/config/server.properties
  • Katalog logów Kafki (logi brokera, zachowane zdarzenia): /opt/kafka/logs
  • Pliki binarne Kafki i narzędzia CLI (kafka-topics.sh, kafka-console-producer.sh, itp.): /opt/kafka/bin
  • Jednostka serwisowa Systemd do zarządzania Kafką: /etc/systemd/system/kafka.service

Usługa Kafka

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Utwórz temat

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Sprawdź szczegóły tematu:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Tworzenie zdarzeń (komunikatów)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Wpisz jedno zdarzenie w każdym wierszu.

Prasa Ctrl+C aby wyjść.

Konsumuj wydarzenia

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Prasa Ctrl+C przestać czytać.

Zdarzenia mogą być wykorzystywane wielokrotnie przez wielu klientów.

Logi i rozwiązywanie problemów

  • Logi Kafki: /opt/kafka/logs
  • Dziennik Systemd: sudo journalctl -u kafka -f
  • Zabezpiecz porty 9092 (broker) oraz 9093 (kontroler) są otwarte.

Szczegóły aplikacji