Если скрейпер на Playwright или Selenium замедляется на VPS или не укладывается в срок, дополнительная оперативная память может помочь. Сам по себе тайм-аут не показывает, какой ресурс нужно увеличить. Измеряйте всю задачу, включая процессы браузера, запись результатов и работу других служб на хосте. Затем подберите уровень параллелизма и проверьте, сохраняются ли нужные данные вовремя.
Проверьте выбранную конфигурацию VPS на своей нагрузке
Для браузерной задачи с ограниченным параллелизмом и небольшим числом сопутствующих служб я бы начал с 4 ГБ ОЗУ и 2 vCPU. Оцените 8 ГБ ОЗУ и 4 vCPU, если меньшая конфигурация не позволяет завершить задачу в срок или оставляет мало ресурсов другим службам. Это отправные параметры для тестов. Они не являются официальными минимумами Playwright или Selenium и не гарантируют определённое число браузеров.
| Отправная конфигурация | Когда её проверять |
|---|---|
| 4 GB RAM / 2 vCPU | Браузерная задача с ограниченным параллелизмом и небольшим числом сопутствующих служб |
| 8 GB RAM / 4 vCPU | По измерениям меньшей конфигурации не хватает ресурсов для задачи или сопутствующих служб |
| Другое соотношение ОЗУ и ЦП | Измерения выявили потребность, которую не покрывают первые две конфигурации |
| Меньше параллельных задач или меньше работы в браузере | Дополнительная параллельная работа ухудшает результаты или нужные данные доступны без отрисовки |
Оставьте текущий хост в списке вариантов. Если он уже завершает нужное извлечение в требуемых условиях, измерения могут обосновать его дальнейшее использование. Если вы проверяете новый хост, посмотрите наши тарифы Linux VPS, чтобы выбрать ОЗУ и vCPU под свою нагрузку. Мы предоставляем доступ root для установки Playwright или Selenium и настройки тестовой среды браузера и лимитов ресурсов.
Проверьте, нужен ли для получения данных рендеринг страницы. Если авторизованный доступ по HTTP или через API возвращает требуемые данные, оцените эту нагрузку отдельно. Сохраняйте одинаковые требования к результату. Возврат меньшего числа полей или пропуск сложных страниц меняет задачу. Сравнение ресурсов для полной и неполной выгрузки не даёт полезного результата.
Учтите всю браузерную нагрузку

Если скрейпер работает рядом с базой данных, в доступные ресурсы должны укладываться среда выполнения, браузерные процессы, активные страницы и работа базы. Многопроцессная архитектура Chromium отделяет процесс браузера от процессов рендеринга и других типов процессов. Перед интерпретацией измерения отдельного процесса рекомендую учесть всю нагрузку.
Экземпляр браузера — это запущенный браузер под управлением кода автоматизации. В Playwright контекст изолирует состояние браузера, а страницы принадлежат контексту. Документация Playwright о контекстах браузера описывает изоляцию, похожую на режим инкогнито, и допускает несколько контекстов в одном браузере. Она указывает, что создание контекстов требует мало ресурсов, но не приводит численного ориентира по ОЗУ. Учитывайте работающие в них страницы.
В той же документации различаются контексты, которые создают вручную с помощью библиотеки, и контексты, которые автоматически создаёт Playwright Test. Скрейперу на библиотеке нужен собственный лимит параллелизма. Настройки рабочих процессов средства запуска тестов его не задают. Отдельно запишите число экземпляров браузера, контекстов и активных страниц. Не подменяйте один показатель другим и не считайте связь между вкладками и процессами Chromium фиксированной.
В Selenium записывайте сеансы драйвера и связанные браузерные процессы. Документация по сеансам драйвера различает локальный и удалённый запуск и рекомендует quit для завершения сеанса. Закрытие окна — другая операция. В Playwright API закрытия контекста закрывает страницы этого контекста. Применяйте одинаковый порядок очистки между запусками и не оставляйте завершённые сеансы к старту следующего теста.
До измерений составьте описание конфигурации:
- Операционная система, архитектура и версии среды выполнения, пакета автоматизации и браузеров.
- Запуск напрямую или в контейнерах, а также место выполнения среды, браузера и служб обработки результатов.
- Экземпляры браузера, контексты Playwright и активные страницы либо сеансы Selenium, лимит параллелизма и порядок очистки.
- Набор целей и типов страниц, операции извлечения, запись результатов, загрузки, журналы и требования к хранилищу.
- Сопутствующие службы на том же хосте, включая базы данных, очереди и мониторинг.
- Параметры памяти, ЦП и IPC контейнера, если применимо.
- Расписание, ожидаемые пересечения запусков, обычная длительность и срок завершения.
Укажите любые зависимости от графического рабочего стола. Работа без наблюдения и работа без графического интерфейса — разные условия. Процессу, который управляет интерфейсом рабочего стола, по-прежнему нужен графический сеанс. Различие между графическим интерфейсом и режимом headless важно, если автоматизация выходит за пределы браузерных страниц. Включите эту дополнительную работу в описание конфигурации, чтобы не приписывать её потребление Playwright или Selenium.
Измерьте типичный запуск перед повышением параллелизма
Начните с одной активной задачи извлечения. Зафиксируйте число успешных завершений и затраченное время, затем постепенно повышайте лимит параллелизма без изменения нагрузки. Рекомендую записывать показатели хоста и, если применимо, контейнеров. Прежде чем принять лимит для эксплуатации, проверьте его в обычном режиме и при запланированных пересечениях запусков.
Используйте текущую разрешённую задачу извлечения. Команды ниже наблюдают за машиной и контейнером. Они не запускают скрейпер и не задают тест производительности. Вам нужен доступ к оболочке хоста Linux. Для наблюдений Docker также нужен доступ к демону и существующий контейнер. Замените scraper именем этого контейнера.
-
Зафиксируйте конфигурацию и исходные показатели. Заполните описание конфигурации и отметьте поведение памяти и ЦП хоста до начала извлечения. Оставьте сопутствующие службы в обычном состоянии. При запуске напрямую учтите среду выполнения и всё дерево процессов браузера по наблюдениям за процессами. Пропустите команды Docker и поля контейнеров. При работе с контейнерами выясните, какие процессы находятся внутри каждого контейнера, а какие остаются снаружи.
-
Наблюдайте за хостом и действующими лимитами контейнера. Запускайте команды для хоста на самом хосте, а инструменты непрерывного наблюдения — в отдельных терминалах во время работы задачи:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h выводит снимок в удобных для чтения единицах. Руководство по free из procps определяет available как оценку памяти, которую новые приложения могут использовать без подкачки. Сопоставляйте оценку с нагрузкой. Столбец free показывает неиспользуемую память и отвечает на более узкий вопрос. Повторяйте снимки во время работы и сохраните наименьшее наблюдаемое значение доступной памяти.
vmstat -y 1 выдаёт показания каждую секунду. Согласно руководству по vmstat из procps, параметр -y пропускает первый отчёт, который иначе содержал бы статистику с момента загрузки. Поля si и so показывают объём данных, считываемых из подкачки и записываемых в неё за секунду. В полях ЦП id означает время простоя, wa — ожидание ввода-вывода, st — время ЦП, отнятое у виртуальной машины. Сопоставляйте эти наблюдения с ходом задачи и ошибками. Сами по себе они не диагностируют первопричину.
Справочник по команде inspect Docker описывает вывод конфигурации в JSON и фильтр по типу контейнера. Запишите действующие настройки памяти, ЦП и IPC. Перед передачей вывода убедитесь, что он не содержит секретов из переменных окружения. Документация Docker по ограничениям ресурсов отличает предел --memory от ограничений ЦП, включая --cpus и квоту. Квота ограничивает время исполнения на ЦП. Одного числа vCPU хоста недостаточно, чтобы определить выделение контейнеру. Отметьте незаданные лимиты и проверьте настройки подкачки.
Справочник по команде stats Docker объясняет текущие показатели ЦП, использования и лимита памяти, сети и блочного ввода-вывода. В Linux CLI вычитает кеш из использования памяти, поэтому разные источники могут давать разные значения. PIDS учитывает процессы и потоки ядра, а не число браузеров. Показатели хоста уже включают работу контейнера. Не складывайте их как отдельные бюджеты памяти. Сохраняйте единицы в показанном виде, например GiB, MiB, GB или байты без пересчёта. Останавливайте непрерывное наблюдение клавишами Ctrl-C.
-
Выполните одно активное извлечение по всему набору страниц. Включите типичные лёгкие и тяжёлые страницы, запуск, навигацию, извлечение и запись результатов. Запишите успешные и неудачные извлечения и общее время. Работа завершена после сохранения требуемого результата. Успешный результат повторной попытки считайте один раз, а неудачные попытки оставляйте в журнале ошибок. Это предложенный способ подсчёта, а не настройка инструмента по умолчанию.
-
Повышайте лимит постепенно. Сохраняйте версии, топологию, набор страниц, результат и прочие настройки. Ведите отдельную запись для каждого лимита. Прекратите повышение, если полезных завершений не становится больше, растёт число ошибок, нарушается срок или резерва не хватает. Это рекомендуемые условия остановки теста, а не универсальные пороги загрузки. Само по себе увеличение количества незавершённой работы не считается улучшением.
-
Проверьте длительную работу и пересечения запусков. Проверьте лимит в течение обычной длительности задачи и при ожидаемом совпадении со службами или другим запланированным извлечением. Повторите запуск перед принятием конфигурации. При сравнении с другим хостом сохраните нагрузку и по возможности меняйте один ресурс за раз. Совместное увеличение ОЗУ и vCPU не позволяет выделить вклад памяти или подтвердить пропорциональное ускорение.
Для каждой конфигурации VPS и каждого лимита параллелизма запишите ограничения ресурсов, показатели памяти и ЦП, активность подкачки, успешные и неудачные извлечения, затраченное время и итоговое решение.
Назовите наибольшее значение выборки наблюдаемым максимумом в выборке. Выборка может пропустить короткие пики. Параметр Docker --no-stream выдаёт только первый результат и не определяет максимум за запуск. Оставляйте ненаблюдавшиеся значения неизвестными. Подстановка оценки вместо измерения ослабляет сравнение.
Эксплуатационный резерв — это ёмкость для более тяжёлых страниц, различий между запусками и одновременной работы. Определяйте его по проверенным условиям вместо фиксированного процента. Если задача едва укладывается в срок или не оставляет запаса для этих условий, снизьте параллелизм либо проверьте более крупную конфигурацию.
Выберите между изменением настроек и повышением мощности

Если контейнер достигает лимита памяти, а на хосте остаётся свободная ОЗУ, проверьте лимит до обновления VPS. При нехватке ресурсов на самом хосте сравните снижение параллелизма с увеличением выделенных ресурсов. Выберите следующий шаг по таблице, повторите то же извлечение и сравните готовые результаты, ошибки и время.
| Наблюдение | Следующая проверка или действие | Критерий приёмки после изменения |
|---|---|---|
| Доступная память хоста сокращается, а длительная подкачка сопровождается ухудшением результатов | Сопоставьте всю нагрузку и сопутствующие службы. Оцените снижение параллелизма или увеличение ОЗУ | Повторное извлечение укладывается в срок с обоснованным резервом |
| Контейнер приближается к настроенному пределу памяти, хотя на хосте есть запас | До изменения лимита проверьте действующий предел и данные об ошибках или записи журналов | Повторите тест нагрузки. Добавление ОЗУ хосту само по себе не подтверждает, что проблема решена |
| Сбои браузера требуют проверки настроек общей памяти | Отличайте /dev/shm от всей ОЗУ и изучите рекомендации для Docker IPC при работе с Chromium |
Повторите тест с нужной конфигурацией. Текст ошибки сам по себе не устанавливает, что память закончилась |
| ЦП остаётся загружен или есть признаки ограничения ЦП, и срок нарушен | Проверьте квоту, нагрузку и задержки ввода-вывода. Оцените лимит параллелизма или выделение ЦП | В срок успешно завершается больше работы. Не рассчитывайте на пропорциональное ускорение |
| Рост параллелизма увеличивает число ошибок или время без прироста полезных завершений | Снизьте лимит и проверьте поведение нагрузки и ожидания внешних операций | Необходимые данные успешно извлечены в отведённое время |
Механизм общей памяти Chromium зависит от сборки и настроек запуска. Для конфигураций с /dev/shm проверьте файловую систему общей памяти контейнера. Справочник по запуску контейнеров Docker указывает, что --shm-size задаёт размер /dev/shm и без явного значения используется 64m. Этот параметр задаёт размер файловой системы, а не всю ОЗУ контейнера. Увеличение лимита памяти Docker для Playwright и изменение общей памяти — разные меры.
В рекомендациях по настройке Docker Playwright предлагает --ipc=host для Chromium и --init для управления процессами. Для сканирования недоверенных сайтов рекомендованы отдельный пользователь и профиль seccomp. Запуск браузера от root отключает песочницу Chromium. Применяйте подходящую конфигурацию сканирования целиком. Отдельный параметр IPC не является общей рекомендацией по безопасности, а пример сквозного тестирования доверенного сайта не подходит как инструкция для сканирования недоверенных сайтов.
Храните результаты проверки нагрузки вместе с настройками задачи. Повторите проверку после изменений набора страниц, версий, действующих лимитов или пересечений в расписании.
Если измерения обосновывают переход на другой хост Linux для развёртывания контейнеров, у нас есть установка Docker в один клик. Выберите ресурсы по проверенным измерениям и перенесите протестированные настройки контейнера в новую конфигурацию.
Часто задаваемые вопросы
Устраняет ли удалённый браузер потребность скрейпера в локальной ОЗУ?
При удалённом браузере всё равно нужны ресурсы для локальной среды выполнения или клиента, логики извлечения и обработки результатов там, где эти компоненты работают. Документация Playwright об удалённом подключении описывает сервер, выполняющийся отдельно от вызывающего кода. Измеряйте нагрузку клиента и удалённой службы по отдельности. Такая архитектура сама по себе не устанавливает размер экономии локальной памяти.
Снижает ли асинхронное выполнение потребление ОЗУ в Playwright?
Не обязательно. Сравните асинхронную и текущую реализации при одинаковом лимите параллелизма, на тех же страницах и с теми же требованиями к результатам. Запишите потребление ОЗУ, число завершённых извлечений и время, прежде чем делать вывод об экономии. Рекомендации Docker по ограничениям ресурсов предлагают проверить требования приложения к памяти до эксплуатации.
Можно ли подобрать VPS для скрейпинга по ориентиру ОЗУ Selenium Grid?
Документация по размеру Selenium Grid приводит приблизительный ориентир: 1 ЦП и 1 ГБ ОЗУ на браузер. Она прямо предупреждает, что он может не подойти вашему случаю, и рекомендует непрерывно измерять производительность. Используйте ориентир Grid с этой оговоркой. Он не даёт ни формулы мощности для скрейпера, ни минимума для локального WebDriver.
Обсуждение
Комментарии
Войдите, чтобы присоединиться к обсуждению.