Якщо скрейпер на Playwright або Selenium сповільнюється на VPS чи не вкладається в строк, додаткова оперативна пам’ять може допомогти. Сам тайм-аут не показує, який ресурс варто збільшити. Щоб підібрати VPS для вебскрейпінгу, виміряйте все завдання, включно з процесами браузера, записом результатів і службами на тому самому хості. Потім налаштуйте паралельність і перевірте, чи потрібні дані зберігаються вчасно.
Випробуйте конфігурацію VPS на своєму навантаженні
Для браузерного завдання з контрольованою паралельністю й малою кількістю супутніх служб я б почав із 4 ГБ оперативної пам’яті та 2 vCPU. Випробуйте 8 ГБ і 4 vCPU, якщо менша конфігурація не вкладається в строк або залишає замало ресурсів іншим службам. Це початкові параметри для тестування. Вони не є офіційними мінімумами Playwright чи Selenium і не гарантують певної кількості браузерів.
| Початкова конфігурація | Коли її тестувати |
|---|---|
| 4 GB RAM / 2 vCPU | Браузерне завдання з контрольованою паралельністю й малою кількістю супутніх служб |
| 8 GB RAM / 4 vCPU | Вимірювання показують, що меншій конфігурації бракує ресурсів для завдання або супутніх служб |
| Інше співвідношення оперативної пам’яті та процесорних ресурсів | Вимірювання виявляють потребу, яку не покривають перші дві конфігурації |
| Менше паралельних завдань або менше роботи в браузері | Додаткова паралельна робота погіршує результат або потрібні дані доступні без рендерингу |
Залиште поточний хост серед варіантів. Якщо він уже завершив потрібне вилучення за необхідних умов, вимірювання можуть обґрунтувати його подальше використання. Якщо тестуєте новий хост, перегляньте наші плани VPS на Linux і доберіть пам’ять та vCPU для свого навантаження. Ми надаємо доступ root для встановлення Playwright або Selenium та налаштування середовища браузера й потрібних для тесту лімітів ресурсів.
Перевірте також, чи потрібна для отримання даних відрендерена сторінка. Якщо дозволений шлях через HTTP або API повертає потрібні дані, оцініть його навантаження окремо. Не змінюйте вимоги до результату під час порівняння. Менша кількість полів або пропуск складних сторінок змінюють завдання. Порівняння ресурсів для повного й неповного вилучення не дає корисних висновків.
Врахуйте все браузерне навантаження

Якщо скрейпер працює поруч із базою даних, середовище виконання, процеси браузера, активні сторінки й робота бази мають уміститися в доступні ресурси. Багатопроцесна архітектура Chromium відокремлює процес браузера від процесів рендерингу та інших типів процесів. Раджу врахувати все навантаження перед тлумаченням показників окремого процесу.
Екземпляр браузера — це запущений браузер, яким керує код автоматизації. У Playwright контекст ізолює стан браузера, а сторінки належать контексту. Документація про контексти браузера описує ізоляцію, схожу на режим інкогніто, і дозволяє кілька контекстів в одному браузері. Створення контекстів описано як маловитратне, але без конкретного обсягу пам’яті. Врахуйте сторінки, які в них працюють.
Та сама документація розрізняє контексти, створені вручну за допомогою бібліотеки, і контексти, які автоматично створює Playwright Test. Скрейперу на бібліотеці потрібна власна межа паралельності. Налаштування робочих процесів засобу запуску тестів її не визначають. Окремо запишіть кількість екземплярів браузера, контекстів і активних сторінок. Не підміняйте ці показники один одним і не припускайте сталого співвідношення між вкладками й процесами Chromium.
У Selenium реєструйте сеанси драйвера й пов’язані процеси браузера. Документація про сеанси драйвера розрізняє локальне й віддалене виконання та рекомендує quit для завершення сеансу. Закриття вікна — інша операція. У Playwright API закриття контексту закриває сторінки контексту. Очищуйте середовище однаково після кожного запуску й не залишайте завершені сеанси до наступного тесту.
Перед збиранням показників ресурсів складіть опис конфігурації:
- Операційна система, архітектура та версії середовища виконання, пакета автоматизації й браузерів.
- Безпосереднє виконання чи запуск у контейнері, а також місце роботи середовища виконання, браузера й служб оброблення результатів.
- Екземпляри браузера, контексти Playwright і активні сторінки або сеанси Selenium, межа паралельності та порядок очищення.
- Набір цілей і сторінок, операції вилучення, запис результатів, завантаження, журнали й вимоги до сховища.
- Супутні служби на тому самому хості, зокрема бази даних, черги й моніторинг.
- Налаштування пам’яті, процесора й IPC контейнера, якщо застосовно.
- Розклад, очікувані перетини запусків, звичайна тривалість і кінцевий строк.
Зазначте залежності від середовища робочого столу. Робота без нагляду й робота без графічного інтерфейсу — різні вимоги. Процесу, який керує інтерфейсом робочого столу, усе ще потрібен графічний сеанс. Межа між GUI та режимом headless важлива, якщо автоматизація виходить за межі браузерних сторінок. Внесіть додаткову роботу до опису конфігурації, щоб не приписати її споживання ресурсів Playwright чи Selenium.
Виміряйте типовий запуск перед збільшенням паралельності
Почніть з одного активного вилучення. Виміряйте кількість успішних завершень і витрачений час, а тоді поступово підвищуйте межу паралельності без зміни навантаження. Раджу реєструвати спостереження на хості разом із показниками контейнерів, якщо вони є. Перевірте вибрану межу під час звичайної роботи й запланованого перетину запусків, перш ніж застосувати її в експлуатації.
Використовуйте своє наявне дозволене завдання вилучення. Команди нижче спостерігають за машиною та контейнером. Вони не запускають скрейпер і не встановлюють еталонний тест. Потрібен доступ до оболонки хоста Linux. Для спостереження за Docker також потрібні доступ до демона й наявний контейнер. Замініть scraper назвою контейнера.
-
Запишіть конфігурацію й початкові показники. Заповніть опис і зауважте поведінку пам’яті та процесора хоста перед вилученням. Залиште супутні служби у звичному стані. Для безпосереднього виконання за спостереженням за процесами врахуйте середовище виконання й усе дерево процесів браузера. Пропустіть команди Docker і поля контейнера. Якщо використовуєте контейнери, визначте, які процеси працюють у кожному з них, а які залишаються зовні.
-
Спостерігайте за хостом і фактичними лімітами контейнера. Команди хоста запускайте на самому хості, а засоби безперервного спостереження — в окремих терміналах під час виконання:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h друкує поточні значення в зручних одиницях. Посібник із free у procps визначає available як оцінку пам’яті, яку нові програми можуть використати без підкачування. Розглядайте її разом із навантаженням. Стовпець free рахує невикористану пам’ять і відповідає на вужче запитання. Повторюйте вимірювання під час запуску й збережіть найнижчу зафіксовану величину доступної пам’яті.
vmstat -y 1 виводить показники щосекунди. Посібник із vmstat у procps зазначає, що -y пропускає перший звіт, який інакше містить статистику від завантаження. Поля si і so показують обсяг пам’яті, прочитаний із підкачування та записаний у нього за секунду. Серед параметрів CPU id позначає час простою, wa — очікування введення-виведення, st — процесорний час, відібраний у віртуальної машини. Зіставляйте показники з перебігом завдання й помилками. Самі собою вони не встановлюють причину.
Довідник команди inspect Docker описує вивід конфігурації в JSON та фільтр типу контейнера. Запишіть чинні налаштування пам’яті, CPU та IPC. Перед поширенням перевірте вивід на секрети зі змінних середовища. Документація про обмеження ресурсів Docker відрізняє межу --memory від процесорних обмежень, зокрема --cpus та квоти CPU. Квота обмежує час виконання на процесорі. Кількість vCPU хоста не визначає дозволених ресурсів контейнера. Запишіть також невстановлені ліміти й перевірте налаштування підкачування.
Довідник команди stats Docker пояснює поточні показники CPU, використання й ліміту пам’яті, мережі та блокового введення-виведення. У Linux CLI віднімає кеш зі споживання пам’яті, тому дані інших джерел можуть відрізнятися. PIDS охоплює процеси й потоки ядра, а не кількість браузерів. Вимірювання хоста вже враховують роботу контейнера. Не додавайте показники пам’яті як незалежні ресурси. Зберігайте одиниці показу, зокрема GiB, MiB, GB та байти без перерахунку. Завершіть безперервний моніторинг через Ctrl-C.
-
Виконайте одне активне вилучення на всьому наборі сторінок. Включіть типові легкі й важкі сторінки, запуск, навігацію, вилучення й запис результату. Запишіть завершені й невдалі вилучення та загальний час. Вважайте роботу завершеною, коли потрібний результат збережено. Успішний повтор зараховуйте один раз, а невдалі спроби залишайте в журналі помилок. Це запропонована методика підрахунку, а не типова поведінка інструмента.
-
Підвищуйте межу поступово. Не змінюйте версії, топологію, набір сторінок, результати та інші налаштування. Для кожної межі ведіть окремий запис. Зупиніться, якщо число корисних завершень не зростає, більшає помилок, минає строк або резерву недостатньо. Це рекомендовані межі тесту, а не загальні пороги завантаження. Більше незавершеної роботи саме собою не є покращенням.
-
Перевірте тривалу роботу й перетини запусків. Випробуйте вибрану межу протягом звичайної тривалості та під час очікуваного перетину з супутніми службами або іншим запланованим вилученням. Повторіть тест перед прийняттям конфігурації. Порівнюючи з іншим хостом, збережіть завдання й за можливості змінюйте один ресурс за раз. Спільне збільшення пам’яті й vCPU не відокремлює впливу пам’яті й не доводить пропорційного прискорення.
Для кожної конфігурації VPS і межі паралельності зафіксуйте обмеження ресурсів, показники пам’яті та процесора, активність підкачування, завершені й невдалі вилучення, витрачений час і остаточне рішення.
Найбільше значення у вибірці називайте найвищим спостереженим значенням у вибірці. Вибірка може пропустити короткі піки. Параметр Docker --no-stream повертає лише перший результат і не встановлює пік запуску. Неспостережені значення залишайте невідомими. Заміна невідомого оцінкою послабить порівняння.
Робочий резерв — це запас для важчих сторінок, відмінностей між запусками й одночасної роботи. Визначайте його за перевіреними умовами, а не за фіксованим відсотком. Якщо завдання ледве вкладається в строк або не залишає резерву для цих умов, зменште межу паралельності чи протестуйте потужнішу конфігурацію.
Виберіть між зміною налаштувань і збільшенням ресурсів

Якщо контейнер досягає ліміту пам’яті, а на хості ще є вільна оперативна пам’ять, перевірте ліміт до оновлення VPS. Якщо ресурсів бракує на самому хості, порівняйте зниження паралельності та збільшення виділених ресурсів. Виберіть наступну зміну за таблицею, повторіть те саме вилучення й порівняйте готові результати, помилки та витрачений час.
| Спостережуване явище | Наступна перевірка або дія | Критерій прийняття після зміни |
|---|---|---|
| Доступна пам’ять хоста зменшується, а тривале підкачування супроводжується погіршенням результатів | Порівняйте повне навантаження й супутні служби. Оцініть меншу паралельність або більший обсяг пам’яті | Повторне вилучення вкладається в строк з обґрунтованим резервом |
| Контейнер наближається до налаштованого ліміту пам’яті, хоча хост має запас | Перш ніж змінити ліміт, перевірте фактичну межу й відомості про помилки або журнали | Знову протестуйте навантаження. Збільшення пам’яті хоста саме собою не доводить усунення проблеми |
| Збої браузера дають підстави перевірити конфігурацію спільної пам’яті | Розрізняйте /dev/shm і загальну оперативну пам’ять та перегляньте рекомендації Docker IPC для Chromium |
Знову протестуйте потрібну конфігурацію. Сам текст помилки не дає змоги встановити, що пам’ять вичерпано |
| Процесор залишається зайнятим або підозрюється процесорний ліміт, а завдання не вкладається в строк | Перевірте квоту, навантаження, введення-виведення й очікування. Оцініть межу паралельності або виділення процесорних ресурсів | Більше роботи успішно завершується вчасно. Не припускайте пропорційного прискорення |
| Вища паралельність збільшує кількість помилок або час без приросту корисних завершень | Зменште межу й перевірте поведінку навантаження та затримки під час очікування зовнішніх операцій | Потрібні дані успішно вилучено в заданий час |
Використання спільної пам’яті Chromium залежить від збірки й конфігурації запуску. Якщо конфігурація використовує /dev/shm, перевірте файлову систему спільної пам’яті контейнера. Довідка про запуск контейнера Docker зазначає, що --shm-size визначає розмір /dev/shm і без явного налаштування має значення 64m. Цей параметр задає розмір файлової системи, а не повний ліміт пам’яті контейнера. Збільшення ліміту пам’яті Docker для Playwright і зміна спільної пам’яті — різні заходи.
Рекомендації Playwright щодо конфігурації Docker пропонують --ipc=host для Chromium і --init для керування процесами. Для обходу недовірених сайтів рекомендовано окремого користувача та профіль seccomp. Запуск браузера від root вимикає пісочницю Chromium. Застосуйте всю конфігурацію, придатну для обходу. Налаштування IPC не є загальною рекомендацією з безпеки, а приклад наскрізного тесту довіреного сайту не підходить як інструкція для обходу недовірених сайтів.
Зберігайте підтверджені вимірювання навантаження разом із конфігурацією завдання. Повторіть перевірку після змін набору сторінок, версій, фактичних лімітів або перетинів у розкладі.
Якщо вимірювання обґрунтовують інший Linux-хост для контейнерів, ми пропонуємо розгортання Docker одним кліком. Доберіть ресурси за підтвердженими вимірюваннями й перенесіть перевірені налаштування контейнера в нове середовище.
Поширені запитання
Чи усуває віддалений браузер потребу скрейпера в локальній оперативній пам’яті?
Навіть із віддаленим браузером потрібні ресурси для локального середовища чи клієнта, логіки вилучення та оброблення результатів там, де ці компоненти працюють. Документація Playwright про віддалені з’єднання описує сервер, що працює окремо від коду, який його викликає. Вимірюйте клієнт і віддалену службу окремо. Сама архітектура не дає числової оцінки заощадження локальної пам’яті.
Чи зменшує асинхронне виконання споживання пам’яті в Playwright?
Не обов’язково. Порівняйте асинхронну й поточну реалізації за однакової межі паралельності, тих самих сторінок і вимог до результату. Перш ніж зробити висновок про економію, запишіть використання пам’яті, число завершених вилучень і витрачений час. Рекомендації Docker щодо ресурсів радять перевірити потреби програми в пам’яті до виробничого використання.
Чи можна підібрати VPS для скрейпінгу за орієнтиром пам’яті Selenium Grid?
Документація про добір ресурсів Selenium Grid дає орієнтир — приблизно 1 CPU та 1 ГБ оперативної пам’яті на браузер. Вона прямо застерігає, що показник може не відповідати вашим умовам, і радить постійно вимірювати продуктивність. Використовуйте цей орієнтир для Grid із застереженням. Він не встановлює формули місткості скрейпера або мінімальних вимог локального WebDriver.
Обговорення
Коментарі
Увійдіть, щоб долучитися до обговорення.