Apache Kafka

Відкрита платформа для розподіленої передачі подій, призначена для високопродуктивних конвеєрів даних.

Важливі файли та каталоги

  • Головний каталог інсталяції Kafka: /opt/kafka
  • Файл конфігурації брокера Kafka: /opt/kafka/config/server.properties
  • Каталог журналів Kafka (журнали брокера, збережені події): /opt/kafka/logs
  • Бінарні файли Kafka та інструменти CLI (kafka-topics.sh, kafka-console-producer.sh, тощо): /opt/kafka/bin
  • Системна служба для управління Kafka: /etc/systemd/system/kafka.service

Служба Kafka

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

Створити тему

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Перевірте деталі теми:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

Створювати події (повідомлення)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

Введіть одне подія в рядку.

Преса Ctrl+C щоб вийти.

Споживати події

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

Преса Ctrl+C припинити читати.

Події можуть бути використані кілька разів різними клієнтами.

Журнали та усунення несправностей

  • Журнали Kafka: /opt/kafka/logs
  • Журнал Systemd: sudo journalctl -u kafka -f
  • Забезпечити порти 9092 (брокер) та 9093 (контролер) відкриті.

Деталі заявки