อะปาเช่ คาฟก้า

แพลตฟอร์มสตรีมมิ่งเหตุการณ์แบบกระจายศูนย์แบบโอเพนซอร์สสำหรับไปป์ไลน์ข้อมูลประสิทธิภาพสูง

ไฟล์และไดเร็กทอรีที่สำคัญ

  • ไดเร็กทอรีการติดตั้ง Kafka หลัก: /opt/kafka
  • ไฟล์การกำหนดค่าโบรกเกอร์ Kafka: /opt/kafka/config/server.properties
  • ไดเร็กทอรีบันทึกของ Kafka (บันทึกของโบรกเกอร์, เหตุการณ์ที่เก็บรักษาไว้): /opt/kafka/logs
  • ไฟล์ไบนารีและเครื่องมือ CLI ของ Kafka (kafka-topics.sh, kafka-console-producer.sh(เป็นต้น): /opt/kafka/bin
  • หน่วยบริการ Systemd สำหรับจัดการ Kafka: /etc/systemd/system/kafka.service

บริการคาฟก้า

sudo systemctl restart kafka
sudo systemctl enable kafka
sudo systemctl status kafka

สร้างหัวข้อ

/opt/kafka/bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

ตรวจสอบรายละเอียดหัวข้อ:

/opt/kafka/bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

สร้างกิจกรรม (ข้อความ)

/opt/kafka/bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

พิมพ์เหตุการณ์หนึ่งเหตุการณ์ต่อบรรทัด

กด Ctrl+C เพื่อออก

กิจกรรมการบริโภค

/opt/kafka/bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

กด Ctrl+C เพื่อหยุดอ่าน

อีเวนต์สามารถถูกใช้งานได้หลายครั้งโดยไคลเอ็นต์หลายราย

บันทึกและวิธีการแก้ไขปัญหา

  • บันทึก Kafka: /opt/kafka/logs
  • วารสาร Systemd: sudo journalctl -u kafka -f
  • ตรวจสอบให้แน่ใจว่าท่าเรือ 9092 (นายหน้า) และ 9093 (ตัวควบคุม) เปิดอยู่

รายละเอียดการสมัคร