Apache Kafka

Una piattaforma open source distribuita per lo streaming di eventi per pipeline di dati ad alte prestazioni.

File e directory importanti

  • Directory principale di installazione di Kafka: /opt/kafka
  • File di configurazione del broker Kafka: /opt/kafka/config/server.properties
  • Directory dei log Kafka (log dei broker, eventi conservati): /opt/kafka/logs
  • Binari Kafka e strumenti CLI (kafka-topics.sh, kafka-console-producer.sh, ecc.): /opt/kafka/bin
  • Unità di servizio Systemd per la gestione di Kafka: /etc/systemd/system/kafka.service

Servizio Kafka

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Crea un argomento

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Controlla i dettagli dell'argomento:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Produci eventi (messaggi)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Digita un evento per riga.

Stampa Ctrl+C per uscire.

Consumi Eventi

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Stampa Ctrl+C smettere di leggere.

Gli eventi possono essere consumati più volte da più clienti.

Registri e risoluzione dei problemi

  • Log di Kafka: /opt/kafka/logs
  • Diario Systemd: sudo journalctl -u kafka -f
  • Assicurarsi che le porte siano aperte 9092 (broker) e 9093 (controller) sono aperti.

Dettagli dell'applicazione