Apache Kafka

高性能データパイプライン向けのオープンソース分散イベントストリーミングプラットフォーム。

重要なファイルとディレクトリ

  • メインのKafkaインストールディレクトリ: /opt/kafka
  • Kafkaブローカー設定ファイル: /opt/kafka/config/server.properties
  • カフカログディレクトリ(ブローカーログ、保持イベント): /opt/kafka/logs
  • カフカのバイナリとCLIツール (kafka-topics.sh, kafka-console-producer.shなど: /opt/kafka/bin
  • Kafka管理用Systemdサービスユニット: /etc/systemd/system/kafka.service

カフカサービス

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

トピックを作成する

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

トピックの詳細を確認する:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

イベントを生成する(メッセージ)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

1行に1つのイベントを入力してください。

プレス Ctrl+C 終了する。

イベントを消費する

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

プレス Ctrl+C 読むのをやめる。

イベントは複数のクライアントによって複数回消費される可能性があります。

ログとトラブルシューティング

  • カフカログ: /opt/kafka/logs
  • Systemd ジャーナル: sudo journalctl -u kafka -f
  • ポートを確保する 9092 (ブローカー)および 9093 (コントローラー)が開いています。

申請内容