كيفية تثبيت Hadoop على Ubuntu: دليل شامل

في الوقت الحاضر، بمجرد أن تنمو الأعمال التجارية أو أي عملية تتضمن أجهزة كمبيوتر إلى الحد الذي يتطلب أكثر من جهاز كمبيوتر واحد للتعامل معها، نبدأ على الفور في استخدام أجهزة كمبيوتر متعددة كجزء من شبكة واحدة للتعامل بشكل أكثر كفاءة مع عبء العمل. لقد أصبح هذا أمرًا شائعًا لدرجة أنه في الوقت الحاضر يتم تنفيذ جميع العمليات تقريبًا في مجالات مثل علم البيانات بواسطة أجهزة الكمبيوتر المتصلة بالشبكة. على الرغم من أن أداء مهام الكمبيوتر الصعبة يعد بلا شك أكثر كفاءة بهذه الطريقة، إلا أنه أيضًا معقد بشكل لا يصدق، حيث تحتاج إلى تكوين كل كمبيوتر على حدة ثم إدارة الشبكة بالكامل أثناء قيامها بمهامك. هذا هو المكان الذي تأتي فيه برامج مثل Hadoop لإنقاذ الموقف.

Hadoop عبارة عن مجموعة من الأدوات والبرامج التي أصدرتها Apache والتي تتيح تنفيذ العملية الكاملة لربط مجموعة من أجهزة الكمبيوتر معًا بمزيد من الكفاءة والسهولة. لذلك، في هذه المقالة، سأقوم بمراجعة Hadoop، وفحص حالات استخدامه، والتطرق إلى إيجابياته وسلبياته، وتقديم نظرة عامة على بنيته المتقدمة، قبل الانتقال إلى دليل خطوة بخطوة حول كيفية تثبيت Hadoop على Ubuntu 20.04 لإنهاء هذا البرنامج التعليمي لعام 2024 Hadoop.

ما هو أباتشي Hadoop؟

لقد قامت Hadoop، وهي مجموعة من الأدوات المدعومة من Apache، بتغيير عملية إعداد الشبكة واستخدامها لأكثر من 15 عامًا. يمكن للمستخدمين الاستفادة من كفاءة موارد Hadoop، مما يسمح لهم بتسخير قوة الحوسبة الحالية لديهم للقيام بالمهام الصعبة دون الحاجة إلى ترقيات باهظة الثمن. تتكون المجموعة من أربع وحدات: HDFS، YARN، MapReduce، وHadoop Common، كل منها مصمم لحالات استخدام محددة.

يكمن تألق Hadoop في سعة الحيلة المتأصلة فيه، حيث يعمل بذكاء على تمكين الأفراد والمؤسسات على حد سواء من توحيد قدراتهم الحسابية الحالية في قوة متماسكة قادرة على التغلب على التحديات الحسابية الكبيرة. وبدون توجيهات Hadoop، ستجد هذه الكيانات نفسها مضطرة للشروع في السعي المكلف للحصول على آلات حاسوبية قوية بشكل متزايد.

حالات استخدام Hadoop

الآن نحن نعرف ما هو Hadoop. ولكن كيف تنطبق حالات استخدامه بالضبط في العالم الحقيقي؟ إن فهم برنامج ما على الورق أمر جيد، ولكنه لن يحل محل إدراك إمكاناته كجزء من عملية جادة. لذا سأقدم هنا بعض الأمثلة قبل الانتقال إلى البرنامج التعليمي لـ Hadoop.

تحليل المخاطر

كما ذكرنا سابقًا، يسمح لك Hadoop بتسخير قوة العديد من أنظمة الكمبيوتر كجزء من وحدة شبكة واحدة لتصفح دفعات من البيانات الشاملة بكفاءة وتحليلها بشكل أسرع من المعتاد. في أي عمل تجاري، هناك مخاطر تحتاج إلى تحليل وحساب. Hadoop مفيد للغاية هنا. وفي الواقع، تستخدمه العديد من المستشفيات ذات المصداقية لتحليل مخاطر العلاجات المختلفة وتخمين النتائج والإحصائيات المحتملة لعملياتها لمرضاها. يمكنك معرفة المزيد عن دور Hadoop الثوري في مجال الرعاية الصحية هنا.

كشف الخروقات الأمنية

مع زيادة الحجم الإجمالي للشبكات والأجهزة المستخدمة داخل الشبكة أو الشركة، هناك المزيد والمزيد من الخروقات الأمنية المحتملة التي يجب أخذها في الاعتبار. إحدى الأدوات المساعدة الأساسية لـ Hadoop هي تقييم العملية بأكملها من خلال تحليل مجموعات كبيرة من البيانات وتسليط الضوء على نقاط الضعف المحتملة لهذا النظام.

مراجعة الخرائط

تعتمد العديد من الشركات على تعليقات المراجعة التي تتلقاها على منتجاتها لتحسينها أو تطوير استراتيجيات سوق جديدة. في حين أن الإنسان سيستغرق وقتا طويلا لتغطية ملف مراجعة كبير بما فيه الكفاية، فإن Hadoop سيعمل على سحر الكمبيوتر المتصل بالشبكة للحصول على نتائج أسرع بكثير.

تحليل السوق

عند الحديث عن استراتيجيات السوق، فإن رسم خرائط المراجعة المذكورة أعلاه يتضاءل مقارنة بعدد الموارد اللازمة لتحليل السوق لتقييم إمكانية دخول منتج جديد تمامًا إليه. هذه حالة استخدام أخرى حيث يتألق Hadoop لأنه يسمح حتى للشركات الصغيرة الناشئة بتقييم السوق بكفاءة باستخدام العديد من أجهزة الكمبيوتر في إطار زمني وبطريقة فعالة.

تقييم ملفات السجل

جانب آخر من الأعمال التجارية الذي يصبح أكثر تعقيدًا مع مرور الوقت ويصبح أكثر أهمية هو مقدار البرامج التي سيبدأون في استخدامها في جميع المجالات. يؤدي استخدام المزيد والمزيد من البرامج إلى المزيد من الأخطاء ونقاط الضعف المحتملة ويحتاج إلى موظف متخصص لإدارة ملفات السجل والتعامل مع المشكلات. سيستغرق هذا الكثير من الوقت، ولكن باستخدام بعض البروتوكولات السهلة، يمكن للشركات استخدام Hadoop لمراجعة ملفات السجل وتقييمها بسرعة للعثور على هذه الأخطاء والتخلص منها.

هناك الكثير من حالات وتطبيقات استخدام Hadoop الأخرى، ولكن من أجل الحفاظ على التركيز على غرض المقالة، لن نناقش المزيد.

يقرأ

قم بتثبيت Elasticsearch على Ubuntu - ابدأ تشغيل Elasticsearch بلا حدود!

نظرة عامة على بنية Hadoop

لنفترض أنك سمعت عن Hadoop وحالات استخدامه الشاملة وما يفعله. وحتى إذا لم تقم بذلك، فمن المحتمل أن هذه المقالة قد فعلت ذلك من أجلك حتى الآن. لكنك الآن بحاجة إلى الحصول على فهم متعمق لما يتكون منه Hadoop بالفعل وكيفية عمل كل جزء منه مع ميزاته الأخرى. كما ذكرنا من قبل، هناك أربع طبقات عامة من Hadoop؛ في هذا الجزء من البرنامج التعليمي لـ Hadoop، سنتعلم المزيد عن HDFS (نظام الملفات الموزعة Hadoop)، وYARN (مفاوض موارد آخر)، وMapReduce، وHadoop Common. ومع ذلك، نظرًا لأن Hadoop Common لا يحتوي على كل الميزات العديدة التي تحتاج إلى شرح، فإن أساسياته تُعرف باسم حارس حديقة الحيوان. لذلك، في هذا القسم، سأحاول تلخيص بنية Hadoop المتقدمة والنظام البيئي وأقسامه الأربعة بشكل أساسي، قبل الانتقال أخيرًا إلى كيفية تثبيت Hadoop على Ubuntu 20.04.

HDFS

يشكل HDFS في نظام Hadoop البيئي نظام التخزين الشامل الذي تستخدمه جميع أقسام وتطبيقات Hadoop الفرعية لتقييم البيانات ونقلها وحفظها. النقطة الرئيسية في بنية HDFS هي أنه على عكس Hadoop نفسه، وهو برنامج مفتوح المصدر، فإن HDFS في Hadoop هو في الواقع نظام الملفات المسؤول عن تشغيل جميع العمليات الأساسية لمجموعة Hadoop واحدة. HDFS هو نظام ملفات مرن بشكل لا يصدق، حيث يقوم بتقسيم دفعات البيانات إلى فتحات بحجم 128 ميجابايت، ويحسنها للعمليات القائمة على التسلسل.

يتمثل الدور الأساسي لـ HDFS في برنامج Hadoop في توفير جميع البيانات كجزء من حامل بيانات شامل، والذي يمكن بعد ذلك معالجته عبر عقد أسماء مختلفة ورفوف ثانوية في أقسام فرعية لتنظيم عملية تحليل البيانات الخاصة بك. يمكنك بعد ذلك استخدام الخيارات الأخرى مثل Journal Racks وQJM وHA وfsimage وملفات سجل التحرير وسجل وسيلة الإيضاح الشامل لتتبع المهام الأخرى وتنفيذها.

غزل

YARN هو فرع تنفيذي آخر من Hadoop يُستخدم لتعيين الكميات المطلوبة من أصول الحوسبة لتطبيقات محددة داخل نظام Hadoop البيئي. في جوهره، يسمح لك باستخدام مدير الموارد لعملائك لتخصيص هذه الموارد من خلال مجموعة من العقد المختلفة لمهام وتطبيقات مختلفة. هناك أيضًا وسيلة إيضاح في YARN، تشبه تلك الموجودة في HDFS، تسمح لك بتتبع جميع الأصول والعمليات المخصصة لك. ينقسم YARN نفسه إلى ثلاثة أقسام فرعية: مدير الموارد، ومدير التطبيق، ومدير العقد.

يقوم كل قسم من هذه الأقسام الفرعية الثلاثة بإنشاء مثيل جديد لكل مجموعة وتطبيق وعقدة، على التوالي. لا يمكنك تخصيص الموارد لمهام مختلفة باستخدام YARN فحسب، بل يمكنك أيضًا جدولة هذه الموارد للتغيير بمرور الوقت للتوصل إلى مسارات عمل خوارزمية متقدمة. لا يقتصر YARN على القسم الفرعي الخاص به، سيكون هناك العديد من الحالات التي ستستخدم فيها YARN جنبًا إلى جنب مع طبقات معمارية أخرى مثل HDFS وZookeeper لتخصيص الموارد وتقييم العملية الإجمالية.

هادوب مابريديوس

يعد Hadoop MapReduce مكونًا رئيسيًا آخر في نظام Hadoop البيئي. بمجرد تثبيت Hadoop على Ubuntu، يمكنك استخدام هذه الميزة للحصول بشكل فعال على مجموعة ضخمة من البيانات التي يتم تحليلها بطريقة موزعة بواسطة عدة أجهزة كمبيوتر مختلفة. في جوهر الأمر، يعمل Hadoop MapReduce على النحو التالي: تقوم بإدخال خريطة كبيرة من البيانات في البرنامج. سيتم خلط خريطة البيانات هذه وتقسيمها وتوزيعها عبر أجهزة الكمبيوتر المتصلة بالشبكة. وبعد ذلك، وباستخدام بروتوكولات معينة تُعرف باسم المخفضات، يتم اختصار البيانات إلى مكوناتها الأساسية ثم تقليلها. تُعرف كل واحدة من هذه العمليات باسم الوظيفة.

لنفترض أن لديك جملة مكونة من ثلاث كلمات تعمل بمثابة خريطة البيانات التي تريد تحليلها باستخدام MapReduce. لنفترض أن الجملة هي Bear Hunt Rabbit. سيقوم Hadoop MapReduce بتقسيم هذه الجملة وتقليلها إلى ثلاث دفعات مختلفة تحتوي كل منها على كلمة واحدة، ثم استخدم هذه الكلمات وقم بإنشاء مجموعات جديدة مع إدخال بيانات مماثل لوظائفك الأخرى لإنشاء مجموعة بيانات متجانسة نهائية مع إزالة البيانات غير الضرورية ويمكن تحليلها بسهولة.

حارس حديقة الحيوان

Zookeeper هو قسم فرعي آخر من نظام Hadoop البيئي الذي برز في البداية وشائع الاستخدام مع إصدار Hadoop الإصدار 2.0. تتمثل نقطة خدمة Zookeeper الرئيسية في التنسيق بين العمليات المختلفة التي تقوم بتشغيلها كجزء من مثيل Hadoop واحد. على هذا النحو، يتم استخدام Zookeeper دائمًا تقريبًا مع مدير موارد YARN والميزات المختلفة لـ HDFS في Hadoop. الاستخدام الأساسي لبرنامج Zookeeper في هذه العمليات هو اكتشاف نقاط الفشل المحتملة ومعالجتها. للقيام بذلك، يستخدم أداتين مختلفتين: ZKFiloverControer، وZookeeper Quorum.

في هذه الإجراءات، يتم تصنيف عقد البيانات التي تديرها المكونات الأخرى لبنية Hadoop على أنها عقد اسمية نشطة، يشرف عليها المستخدم. بعد ذلك، يخضع كل من هذه الاسماء للتدقيق ضمن القسمين الفرعيين المذكورين أعلاه من Zookeeper. يتم ذلك لتحديد مجالات الصعوبة وتحديد حالات الفشل المحتملة.

تثبيت Hadoop على Ubuntu 20.04 – دليل خطوة بخطوة

وأخيرًا، بعد التعرف على بنية Hadoop، حان الوقت للوصول إلى جوهر الموضوع وهو كيفية تثبيت Hadoop على Ubuntu 20.04 كجزء أخير من برنامج Hadoop التعليمي هذا. دعونا نغطي المتطلبات الأساسية قبل الانتقال إلى الدليل التفصيلي خطوة بخطوة لتثبيت Hadoop على Ubuntu 20.04. ضع في اعتبارك أنه يمكن أيضًا استخدام هذا الدليل لـ Ubuntu 18.04 أيضًا.

المتطلبات الأساسية

المتطلبات الأساسية اللازمة لتثبيت Hadoop على Ubuntu بسيطة جدًا. كل ما تحتاجه هو جهاز كمبيوتر يعمل بنظام Ubuntu مع إمكانية الوصول إلى الجذر، إما متاحًا محليًا أو يمكن الوصول إليه عن بعد من خلال خادم VPS. فيما يتعلق بالبرامج المطلوبة مسبقًا، تأكد من تثبيت Java 11 وSSH بالفعل. إذا لم تكن متوفرة لديك، فقم بتشغيل الأوامر التالية واحدًا تلو الآخر لتثبيتها:

sudo apt update && sudo apt upgrade -y

sudo apt install openssh-server openssh-client -y

sudo apt install openjdk-11-jdk -y

أما بالنسبة للترخيص، فلن تحتاج إلى أي ترخيص، نظرًا لأن Hadoop مجاني ومفتوح المصدر. هذا كل ما تحتاجه. دعنا ننتقل إلى الخطوة الأولى.

الخطوة 1: إنشاء مستخدم غير جذري لـ Hadoop

قم بإنشاء مستخدم غير جذر لـ Hadoop الخاص بك باستخدام الأمر التالي. يعد هذا جزءًا من التكوينات المسبقة التي يتعين علينا القيام بها قبل تنزيل Hadoop وتثبيته فعليًا:

sudo adduser hdoop

su - hdoop

الخطوة 2: إعداد مفاتيح SSH

الآن، من أجل تثبيت Hadoop على Ubuntu، سنستخدم مستخدم Hadoop الذي قمت بإنشائه للتو وسنستخدمه لإجراء اتصال SSH به. استخدم هذا الأمر لإنشاء زوج مفاتيح SSH وحفظه:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

بمجرد إنشاء المفاتيح، سيمكنك هذا السطر التالي من وضع علامة عليها Author_keys واحفظها في دليل SSH الخاص بك:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

استخدم الآن هذا الأمر للتأكد من أن اتصال SSH الخاص بك لديه جميع الأذونات المطلوبة:

chmod 600 ~/.ssh/authorized_keys

chmod 700 ~/.ssh

قم بتأكيد التغييرات وستتمكن من الاتصال بسهولة بمضيفك المحلي في جميع الأوقات مع المستخدم الذي قمت بإنشائه:

ssh localhost

الخطوة 3: تنزيل وتثبيت Hadoop على أوبونتو

يمكنك زيارة موقع أباتشي Hadoop للاطلاع على قائمة بالإصدارات مع سجل التغييرات الأخير الخاص بها. حدد الإصدار الذي تفضله وسيتم تقديم رابط يمكن استخدامه مع الأمر التالي لتنزيل وتثبيت Hadoop على Ubuntu. أنا هنا أختار الإصدار 3.3.6. استبدل "3.3.6" بأحدث إصدار ثابت إذا لزم الأمر:

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

بمجرد انتهاء التنزيل، استخدم هذا السطر لإنهاء عملية الاستخراج والتثبيت:

tar xzf hadoop-3.3.6.tar.gz

sudo mv hadoop-3.3.6 /usr/local/hadoop

sudo chown -R hdoop:hdoop /usr/local/hadoop

الخطوة 4: تكوين بيئة Hadoop

تعيين Java_HOME in /usr/local/hadoop/etc/hadoop/hadoop-env.sh:

echo 'export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")' | sudo tee -a /usr/local/hadoop/etc/hadoop/hadoop-env.sh

الخطوة 5: تحرير ملفات التكوين

قم بتحديث ملفات تكوين XML الخاصة بـ Hadoop باستخدام إعدادات المجموعة الخاصة بك.

nano /usr/local/hadoop/etc/hadoop/core-site.xml

الخطوة 6: تنسيق HDFS

تهيئة مساحة اسم نظام ملفات Hadoop.

/usr/local/hadoop/bin/hdfs namenode -format

الخطوة 7: بدء تشغيل خدمات Hadoop

إطلاق خدمات HDFS و YARN.

/usr/local/hadoop/sbin/start-dfs.sh

/usr/local/hadoop/sbin/start-yarn.sh

الخطوة 8: التحقق من التثبيت

تحقق من عمليات Java قيد التشغيل للتأكد من تشغيل Hadoop.

jps

الخطوة 9: الوصول إلى واجهات الويب

افتح متصفحات الويب على واجهات NameNode وResourceManager الخاصة بـ Hadoop.

عقدة الاسم: http://localhost:9870
مدير الموارد: http://localhost:8088

الخطوة 10: قم بتشغيل مثال MapReduce

قم بتنفيذ نموذج لمهمة MapReduce للتحقق من صحة الإعداد.

/usr/local/hadoop/bin/hdfs dfs -mkdir /input

/usr/local/hadoop/bin/hdfs dfs -put localfile.txt /input

/usr/local/hadoop/bin/hadoop jar

/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep /input /output 'dfs[a-z.]+'

/usr/local/hadoop/bin/hdfs dfs -cat /output/*

الخطوة 11: تعيين متغيرات البيئة

أضف هادوب بن و سبين الدلائل إلى نظام PATH.

echo 'export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin' >> ~/.bashrc

source ~/.bashrc

وهذا كل شيء! لقد تمكنت للتو من تكوين Apache Hadoop وتثبيته بنجاح على Ubuntu 20.04!

خاتمة

باختصار، يعد تثبيت Hadoop على Ubuntu 20.04 عملية شاملة تتطلب اهتمامًا دقيقًا واستعدادًا لاستكشاف الفروق الدقيقة في الإعداد. من خلال الالتزام بالخطوات الواردة في هذا الدليل، يمكن لمستخدمي Ubuntu الشروع في رحلة تحويلية، والاستفادة من القدرات الكبيرة لـ Hadoop لتحقيق إمكانات مساعيهم في مجال تحليل البيانات بشكل كامل.

توصيتي هي نشر Hadoop كنشر أحادي العقدة باستخدام توزيع محدود إذا كنت تنوي التعلم واللعب به فقط. لهذا الغرض، سيعمل VPS بشكل مثالي بالنسبة لك. تقدم لك Cloudzy مجموعة من الميزات المختلفة خدمات لينكس VPS بما في ذلك Ironclad، موثوقة أوبونتو فس يمكن تهيئتها في وقت قصير لتصبح ساحة التعلم المثالية لـ Hadoop بالنسبة لك. بدءًا من 4.95 دولارًا أمريكيًا شهريًا، يمكنك الحصول على Ubuntu VPS الخاص بك مع أكثر من 12 موقعًا ودعمًا على مدار الساعة طوال أيام الأسبوع!

التعليمات

ما هي الاختلافات بين HDFS وMapReduce؟

على الرغم من أن كلا الوحدتين موجودتان في نظام Hadoop البيئي، إلا أنهما يخدمان أغراضًا مختلفة. يعمل HDFS كنظام ملفات موزع، مما يسهل الوصول إلى البيانات. من ناحية أخرى، يتفوق MapReduce في تحليل مجموعات البيانات الكبيرة وتحليلها بكفاءة.

هل يعتبر Hadoop قاعدة بيانات؟

Hadoop ليست قاعدة بيانات، على الرغم من شيوع هذا المفهوم الخاطئ. بل إنه يعمل كنظام ملفات موزع يتيح تخزين ومعالجة البيانات الضخمة باستخدام شبكة من أجهزة الكمبيوتر المترابطة. ولا ينبغي استخدامه كبديل مباشر لنظام قاعدة البيانات التقليدي.

ما هي المكونات الأربعة الأساسية لـ Hadoop؟

يتكون Hadoop من أربعة مكونات أساسية: HDFS (نظام الملفات الموزعة Hadoop)، YARN (مفاوض آخر للموارد)، MapReduce، وHadoop Common. بالإضافة إلى ذلك، تعتبر بعض الموارد ZooKeeper مكونًا، على الرغم من أنه لم يتم التعرف عليه رسميًا على هذا النحو.

أين يتم استخدام Hadoop عادة؟

يجد Hadoop تطبيقات في مجالات مختلفة حيث تعد إدارة البيانات واسعة النطاق وتخزينها ومعالجتها وتحليلها أمرًا ضروريًا. إنه يلبي احتياجات العمليات التي تتراوح من الشركات المتوسطة الحجم والمستشفيات إلى الشركات الناشئة المزدهرة، ويوفر حلولًا تعتمد على البيانات.