Apache Kafka

Uma plataforma de streaming de eventos distribuída de código aberto para pipelines de dados de alto desempenho.

Ficheiros e diretórios importantes

  • Diretório principal de instalação do Kafka: /opt/kafka
  • Arquivo de configuração do broker Kafka: /opt/kafka/config/server.properties
  • Diretório de registos Kafka (registos do corretor, eventos retidos): /opt/kafka/logs
  • Binários Kafka e ferramentas CLI (kafka-topics.sh, kafka-console-producer.sh, etc.): /opt/kafka/bin
  • Unidade de serviço Systemd para gerenciar o Kafka: /etc/systemd/system/kafka.service

Serviço Kafka

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Criar um tópico

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Verifique os detalhes do tópico:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Produzir eventos (mensagens)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Digite um evento por linha.

Imprensa Ctrl+C para sair.

Consumir eventos

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Imprensa Ctrl+C parar de ler.

Os eventos podem ser consumidos várias vezes por vários clientes.

Registos e resolução de problemas

  • Registos Kafka: /opt/kafka/logs
  • Diário do Systemd: sudo journalctl -u kafka -f
  • Garantir portas 9092 (corretor) e 9093 (controlador) estão abertos.

Detalhes da candidatura