Apache Kafka

Una plataforma de streaming de eventos distribuida y de código abierto para canalizaciones de datos de alto rendimiento.

Archivos y directorios importantes

  • Directorio principal de instalación de Kafka: /opt/kafka
  • Archivo de configuración del agente Kafka: /opt/kafka/config/server.properties
  • Directorio de registros de Kafka (registros del bróker, eventos retenidos): /opt/kafka/logs
  • Binarios y herramientas CLI de Kafka (kafka-topics.sh, kafka-console-producer.sh, etc.): /opt/kafka/bin
  • Unidad de servicio Systemd para gestionar Kafka: /etc/systemd/system/kafka.service

Servicio Kafka

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Crear un tema

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Comprueba los detalles del tema:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Generar eventos (mensajes)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Escriba un evento por línea.

Prensa Ctrl+C para salir.

Consumir eventos

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Prensa Ctrl+C dejar de leer.

Los eventos pueden ser consumidos varias veces por varios clientes.

Registros y resolución de problemas

  • Registros de Kafka: /opt/kafka/logs
  • Diario de Systemd: sudo journalctl -u kafka -f
  • Asegurar los puertos 9092 (corredor) y 9093 (controlador) están abiertos.

Detalles de la solicitud