تخطَّ إلى المحتوى الرئيسي
خصم ٥٠٪ جميع الخطط، لفترة محدودة. تبدأ من $2.48/mo
الوقت المتبقي: 11 د
بنية السحابة وتقنية المعلومات

خادم VPS لاستخراج بيانات الويب: كيفية تحديد الذاكرة والمعالج لـ Playwright أو Selenium

B بواسطة Brendan 11 دقيقة قراءة
نوافذ متصفح بجوار ذاكرة وصول عشوائي ومعالج توضّح تحديد موارد خادم VPS لاستخراج بيانات الويب.

إذا تباطأ برنامج استخراج البيانات باستخدام Playwright أو Selenium على خادم VPS أو تجاوز موعده، فقد تساعد زيادة الذاكرة، لكن انتهاء المهلة وحده لا يحدد ما ينبغي ترقيته. قِس المهمة كاملة، بما فيها عمليات المتصفح وكتابة النتائج والخدمات التي تشارك المضيف. ثم اضبط التزامن وتحقق من اكتمال البيانات المطلوبة في الموعد.

اختبار تهيئة VPS مع حمل العمل الفعلي

أبدأ باختبار 4 GB من الذاكرة و2 vCPU لمهمة متصفح ذات تزامن مضبوط وخدمات مصاحبة قليلة. جرّب 8 GB و4 vCPU إذا عجزت التهيئة الأصغر عن إنهاء المهمة في الموعد أو تركت هامشًا ضيقًا للخدمات الأخرى. هذه نقاط بداية للاختبار وليست متطلبات دنيا رسمية لـ Playwright أو Selenium أو ضمانًا لعدد المتصفحات.

نقطة البداية متى تختبرها
4 GB RAM / 2 vCPU مهمة متصفح ذات تزامن مضبوط وخدمات مصاحبة قليلة
8 GB RAM / 4 vCPU تشير القياسات إلى أن التهيئة الأصغر لا تكفي للمهمة أو للخدمات المصاحبة
نسبة مختلفة بين الذاكرة والمعالج تكشف القياسات حاجة لا تلبيها التهيئتان الأوليان
تزامن أقل أو عمل أقل داخل المتصفح تعيق زيادة العمل المتوازي إكمال المهمة، أو تتوفر البيانات المطلوبة دون تصيير الصفحات

أبقِ المضيف الحالي ضمن الخيارات. إذا كان يكمل الاستخراج المطلوب في ظروف التشغيل المطلوبة، فقد تبرر القياسات الإبقاء عليه. وإذا كنت تختبر مضيفًا جديدًا، فاستعرض خطط VPS بنظام Linux لدينا لاختيار تهيئة ذاكرة ومعالج افتراضي تناسب حملك. نتيح صلاحيات root لتثبيت Playwright أو Selenium وإعداد بيئة المتصفح وحدود الموارد التي تريد اختبارها.

تحقق أيضًا من ضرورة تصيير الصفحة. إذا أتاح مسار HTTP أو API مصرح به البيانات المطلوبة، فقيّم حمله على حدة. أبقِ متطلبات المخرجات ثابتة عند المقارنة. تقليل الحقول أو تجاوز الصفحات الصعبة يغيّر المهمة، ومقارنة سعة استخراج كامل باستخراج ناقص لا تفيد.

احتساب حمل المتصفح بالكامل

مخطط يوضح حاوية استخراج البيانات والخدمات المصاحبة والسعة الاحتياطية ضمن موارد خادم VPS

عند تشغيل برنامج الاستخراج بجانب قاعدة بيانات، يجب أن تتسع الموارد المتاحة لبيئة التشغيل وعمليات المتصفح والصفحات النشطة وعمل قاعدة البيانات. تفصل معمارية العمليات المتعددة في Chromium عملية المتصفح عن عمليات التصيير وأنواع العمليات الأخرى. أوصي باحتساب الحمل كاملًا قبل تفسير قياس أي عملية منفردة.

مثيل المتصفح هو المتصفح الجاري تشغيله والخاضع لتحكم شيفرة الأتمتة. في Playwright يعزل السياق حالة المتصفح، وتنتمي الصفحات إلى سياق. تشرح وثائق سياقات المتصفح في Playwright عزلًا يشبه وضع التصفح الخفي وتتيح عدة سياقات في متصفح واحد. تصف إنشاء السياقات بأنه قليل الكلفة دون تحديد مقدار للذاكرة. احسب تكلفة الصفحات التي تعمل داخل كل سياق.

تميز الوثائق نفسها بين السياقات التي تنشئها المكتبة يدويًا وتلك التي ينشئها Playwright Test تلقائيًا. يحتاج برنامج الاستخراج الذي يستخدم المكتبة إلى حد تزامن خاص به. إعدادات عمال مشغّل الاختبارات لا تحدد هذا الحد. سجّل أعداد مثيلات المتصفح والسياقات والصفحات النشطة كلًا على حدة. لا تستبدل أحد هذه الأعداد بآخر أو تفترض علاقة ثابتة بين علامات التبويب وعمليات Chromium.

في Selenium، سجّل جلسات برنامج التشغيل وعمليات المتصفح التابعة لها. تميّز وثائق جلسات برنامج التشغيل بين التنفيذ المحلي والبعيد وتوصي باستخدام quit لإنهاء الجلسة. إغلاق النافذة إجراء مختلف. وفي Playwright تغلق واجهة إغلاق السياق صفحات السياق. ثبّت إجراءات التنظيف بين الاختبارات، وأغلق الجلسات التي انتهى عملها قبل بدء الاختبار التالي.

دوّن تفاصيل التهيئة قبل جمع قياسات الموارد:

  • نظام التشغيل والمعمارية وإصدارات بيئة التشغيل وحزمة الأتمتة والمتصفحات.
  • التنفيذ الأصلي أو داخل الحاويات، ومكان تشغيل بيئة التشغيل والمتصفح وخدمات المخرجات.
  • مثيلات المتصفح وسياقات Playwright والصفحات النشطة، أو جلسات Selenium، وحد التزامن وآلية التنظيف.
  • تنوع الأهداف والصفحات، وعمليات الاستخراج وكتابة النتائج والتنزيلات والسجلات ومتطلبات التخزين.
  • الخدمات المصاحبة التي تشارك المضيف، بما فيها قواعد البيانات وقوائم الانتظار والمراقبة.
  • إعدادات الذاكرة والمعالج واتصال العمليات IPC للحاوية، حسب الحالة.
  • الجدول الزمني والتداخلات المتوقعة بين مرات التشغيل والمدة المعتادة والموعد النهائي.

سجّل أي اعتماد على سطح المكتب. التشغيل دون مراقبة يختلف عن التشغيل دون واجهة رسومية. إذا كان سير العمل يتفاعل مع واجهة سطح المكتب، فما زال يحتاج إلى جلسته الرسومية. يصبح الفرق بين الواجهة الرسومية والتشغيل دون واجهة مهمًا إذا امتدت الأتمتة إلى خارج صفحات المتصفح. دوّن هذا العمل الإضافي في وصف التهيئة كي لا تنسب استهلاكه إلى Playwright أو Selenium.

قياس تشغيل ممثل للحمل قبل زيادة التزامن

ابدأ باستخراج نشط واحد. قِس عدد الاستخراجات الناجحة والوقت المنقضي، ثم ارفع حد التزامن تدريجيًا مع تثبيت الحمل. أوصي بتسجيل قياسات المضيف مع قياسات الحاوية عند استخدامها. اختبر الحد المختار أثناء التشغيل المعتاد والتداخل المجدول قبل اعتماده حدًا تشغيليًا للنشر.

استخدم مهمة الاستخراج الحالية المصرح بها. ترصد الأوامر التالية المضيف والحاوية دون تشغيل برنامج استخراج أو إنشاء اختبار معياري. يلزم الوصول إلى سطر أوامر مضيف Linux. وتتطلب مراقبة Docker أيضًا الوصول إلى الخدمة وحاوية موجودة. استبدل scraper باسم تلك الحاوية.

  1. سجّل التهيئة وخط الأساس. أكمل سجل التهيئة ولاحظ الذاكرة والمعالج على المضيف قبل بدء الاستخراج. اترك الخدمات المصاحبة على حالها المعتادة. عند التنفيذ الأصلي، احتسب بيئة التشغيل وشجرة عمليات المتصفح كاملة بالاعتماد على مراقبة العمليات، وتجاوز أوامر Docker وحقول الحاوية. وعند استخدام الحاويات، حدد العمليات التي تعمل داخل كل حاوية وتلك التي تبقى خارجها.

  2. راقب المضيف والحدود الفعلية للحاوية. نفّذ أوامر المضيف عليه مباشرة، وشغّل أدوات المراقبة المستمرة في طرفيات منفصلة أثناء المهمة:

free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper

يطبع free -h قراءة لحظية بوحدات سهلة القراءة. يعرّف دليل free من procps حقل available بأنه تقدير للذاكرة التي يمكن للتطبيقات الجديدة استخدامها دون تبديل. فسّر هذا التقدير مع مراعاة الحمل. يحصي عمود free الذاكرة غير المستخدمة فقط ويجيب عن سؤال أضيق. كرر القراءات أثناء التشغيل واحتفظ بأدنى قيمة متاحة رصدتها.

يعرض vmstat -y 1 قياسات كل ثانية. يبين دليل vmstat من procps أن -y يتخطى التقرير الأول الذي يتضمن لولاه الإحصاءات منذ الإقلاع. يعرض الحقلان si وso معدل البيانات التي تُقرأ من مساحة التبديل وتُكتب إليها في الثانية. ومن حقول المعالج id لوقت الخمول وwa لانتظار الإدخال والإخراج وst لوقت المعالج المقتطع من الآلة الافتراضية. اربط هذه القياسات بتقدم المهمة وأخطائها، فهي لا تشخّص الأسباب بمفردها.

يشرح مرجع أمر inspect في Docker مخرجات تهيئة JSON ومرشح نوع الحاوية. سجّل تهيئة الذاكرة والمعالج وIPC الفعلية. افحص المخرجات بحثًا عن أسرار متغيرات البيئة قبل مشاركتها. تميّز وثائق حدود الموارد في Docker بين سقف --memory وحدود المعالج مثل --cpus وحصة المعالج. تحد الحصة من زمن التنفيذ على المعالج، ولا يكفي عدد معالجات المضيف الافتراضية لتحديد ما تسمح به الحاوية. سجّل أيضًا الحدود غير المعينة وتحقق من إعدادات التبديل.

يشرح مرجع أمر stats في Docker القراءات الحية للمعالج واستخدام الذاكرة وحدها والشبكة وإدخال وإخراج أجهزة الكتل. في Linux تخصم واجهة الأوامر ذاكرة التخزين المؤقت من الاستخدام، لذا قد تختلف قراءتها عن مصدر آخر. يشمل PIDS العمليات وخيوط النواة ولا يحصي المتصفحات. تشمل قياسات المضيف نشاط الحاوية بالفعل، فلا تجمع قراءتي الذاكرة كما لو كانتا تخصيصين منفصلين. أبقِ الوحدات كما تظهر، مثل GiB أو MiB مقابل GB أو البايتات الخام. أوقف المراقبة المستمرة باستخدام Ctrl-C.

  1. شغّل استخراجًا نشطًا واحدًا على أنواع الصفحات المختلفة. ضمّن صفحات خفيفة وأخرى ثقيلة تمثل الحمل، وعمليات البدء والتنقل والاستخراج وكتابة النتائج. سجّل الاستخراجات المكتملة والفاشلة وإجمالي الوقت. يُعد العمل مكتملًا عند حفظ المخرجات المطلوبة. احسب نجاح إعادة المحاولة مرة واحدة ضمن العمل المكتمل وأبقِ المحاولات الفاشلة في سجل الأخطاء. هذه طريقة عد مقترحة وليست إعدادًا افتراضيًا للأداة.

  2. ارفع الحد تدريجيًا. ثبّت الإصدارات والبنية وأنواع الصفحات والمخرجات والإعدادات الأخرى. احتفظ بسجل منفصل لكل حد. توقف عن الزيادة إذا لم يتحسن عدد الاستخراجات المفيدة أو زادت الأخطاء أو تجاوزت المهمة الموعد أو أصبح الاحتياطي غير كافٍ. هذه حدود مقترحة للاختبار وليست نسب استخدام عامة. زيادة العمل الجاري وحدها لا تُحسب تحسنًا.

  3. تحقق من التشغيل المستمر والتداخل. اختبر الحد المختار طوال المدة المعتادة للمهمة وأثناء التداخل المتوقع مع الخدمات المصاحبة أو استخراج مجدول آخر. كرر التشغيل قبل قبول التهيئة. عند المقارنة بمضيف آخر، ثبّت العمل وغيّر موردًا واحدًا في كل مرة عندما يكون ذلك عمليًا. زيادة الذاكرة والمعالجات الافتراضية معًا لا تعزل أثر الذاكرة ولا تثبت تسارعًا تناسبيًا.

لكل تهيئة VPS وحد تزامن، سجّل حدود الموارد وقراءات الذاكرة والمعالج ونشاط التبديل وعمليات الاستخراج المكتملة والفاشلة والمدة والقرار النهائي.

سمِّ أعلى قيمة في العينات أعلى قيمة مرصودة في العينات. قد يفوّت أخذ العينات قممًا قصيرة. يعرض خيار Docker‏ --no-stream النتيجة الأولى فقط ولا يحدد ذروة التشغيل. اترك القيم غير المرصودة مجهولة. استبدال قيمة مفقودة بتقدير يضعف المقارنة.

الاحتياطي التشغيلي هو السعة المتبقية للصفحات الأثقل وتفاوت التشغيل وتداخل المهام. حدده وفق الظروف المختبرة بدل نسبة ثابتة. إذا انتهت المهمة بالكاد في موعدها أو لم تترك هامشًا لتلك الظروف، فخفّض حد التزامن أو اختبر تخصيصًا أكبر.

الاختيار بين تعديل التهيئة وزيادة السعة

جدول تشخيص يربط ضغط الذاكرة وتعطل المتصفح واختناقات المعالج بالاختبار التالي

إذا بلغت الحاوية حد الذاكرة بينما لدى المضيف ذاكرة متاحة، فراجع الحد قبل ترقية الخادم. وإذا كان المضيف نفسه يعاني ضغطًا، فقارن بين خفض التزامن وزيادة الموارد. اختر التغيير التالي من الجدول، ثم أعد الاستخراج نفسه وقارن النتائج المكتملة والأخطاء والوقت المنقضي.

ما لوحظ الفحص أو الإجراء التالي معيار القبول بعد التغيير
تنخفض ذاكرة المضيف المتاحة ويستمر التبديل بالتزامن مع ضعف نتائج الاستخراج قارن الحمل الكامل والخدمات المصاحبة، وقيّم خفض التزامن أو زيادة الذاكرة ينتهي الاستخراج المتكرر في الموعد مع احتياطي يمكن تبريره
تقترب الحاوية من سقف الذاكرة المحدد بينما لدى المضيف سعة متاحة افحص السقف الفعلي وأدلة الأعطال أو السجلات قبل تعديل الحد عن قصد أعد اختبار الحمل. زيادة ذاكرة المضيف وحدها لا تثبت حل المشكلة
تعطل المتصفح يستدعي التحقق من إعدادات الذاكرة المشتركة ميّز /dev/shm عن إجمالي الذاكرة وراجع إرشادات Docker الخاصة بـ IPC في Chromium أعد اختبار التهيئة المعنية. لا تكفي رسالة خطأ وحدها لتشخيص نفاد الذاكرة
يبقى المعالج مشغولًا أو تشير الأدلة إلى حد للمعالج، وتتجاوز المهمة موعدها تحقق من الحصة والحمل وانتظار الإدخال والإخراج، وقيّم حد التزامن أو تخصيص المعالج يكتمل عمل ناجح أكثر ضمن المهلة، دون افتراض تسارع تناسبي
يزيد التزامن الأخطاء أو المدة دون زيادة العمل المكتمل المفيد خفّض الحد وافحص سلوك الحمل وأسباب الانتظار الخارجية يكتمل استخراج البيانات المطلوبة بنجاح في الوقت المحدد

تعتمد طريقة استخدام Chromium للذاكرة المشتركة على بنائه وتهيئة تشغيله. في التهيئات التي تستخدم /dev/shm، افحص نظام ملفات الذاكرة المشتركة للحاوية. يوضح مرجع تشغيل الحاويات في Docker أن --shm-size يحدد حجم /dev/shm، وأن القيمة الافتراضية عند إغفاله هي 64m. يحدد هذا الخيار حجم نظام الملفات ولا يحدد إجمالي ذاكرة الحاوية. زيادة حد ذاكرة Docker لـ Playwright وتعديل إعدادات الذاكرة المشتركة إجراءان مختلفان.

توصي إرشادات تهيئة Docker في Playwright باستخدام --ipc=host مع Chromium و--init لإدارة العمليات. وعند الزحف إلى مواقع غير موثوق بها توصي بمستخدم منفصل وملف seccomp. يؤدي تشغيل المتصفح بصلاحيات root إلى تعطيل عزل Chromium. طبّق تهيئة الزحف المناسبة كاملة. إعداد IPC ليس توصية أمنية عامة، ومثال اختبار شامل لموقع موثوق لا يصلح وصفة لزحف إلى مواقع غير موثوقة.

احتفظ بسجل الحمل المعتمد مع تهيئة المهمة. أعد التحقق بعد تغيير أنواع الصفحات أو الإصدارات أو الحدود الفعلية أو أوقات التداخل.

إذا بررت القياسات اختيار مضيف Linux آخر لنشر الحاويات، فنحن نوفر نشر Docker بنقرة واحدة. استخدم سجل الحمل المعتمد لاختيار تخصيص الموارد ونقل إعدادات الحاوية المختبرة إلى النشر الجديد.

الأسئلة الشائعة

هل يلغي المتصفح البعيد حاجة برنامج الاستخراج إلى الذاكرة المحلية؟

حتى مع متصفح بعيد، يجب تخصيص موارد لبيئة التشغيل أو العميل المحلي ومنطق الاستخراج ومعالجة النتائج، حيثما تعمل هذه المكونات. تشرح وثائق الاتصال البعيد في Playwright خادمًا يعمل منفصلًا عن الشيفرة المستدعية. قِس استهلاك العميل والخدمة البعيدة كلًا على حدة. لا تحدد هذه البنية وحدها توفيرًا رقميًا في الذاكرة المحلية.

هل يقلل التنفيذ غير المتزامن استهلاك Playwright للذاكرة؟

ليس بالضرورة. قارن التنفيذ غير المتزامن بالتنفيذ الحالي عند حد التزامن نفسه، مع الصفحات ومتطلبات المخرجات نفسها. سجّل استخدام الذاكرة والاستخراجات المكتملة والوقت قبل الاستنتاج بوجود توفير. توصي إرشادات حدود الموارد في Docker باختبار متطلبات ذاكرة التطبيق قبل الإنتاج.

هل يمكن استخدام مرجع الذاكرة في Selenium Grid لتحديد سعة خادم استخراج البيانات؟

تقدم وثائق تحديد سعة Selenium Grid مرجعًا تقريبيًا قدره معالج واحد و1 GB من الذاكرة لكل متصفح، وتنبه صراحة إلى أنه قد لا ينطبق على حالتك. وتوصي بقياس الأداء باستمرار. استخدم مرجع Grid مع هذا القيد، فهو لا يوفر معادلة لسعة برامج الاستخراج ولا حدًا أدنى لـ WebDriver المحلي.

مشاركة

النقاش

التعليقات

سجّل الدخول للمشاركة في النقاش.

المزيد من المدونة

تابع القراءة.

جاهز للنشر؟ تبدأ من 2.48 $/شهر.

سحابة مستقلة منذ 2008. AMD EPYC، NVMe، 40 Gbps. استرداد خلال 14 يومًا.