Se seu scraper com Playwright ou Selenium ficar lento em um VPS ou perder o prazo, mais RAM pode ajudar. Um tempo limite excedido, por si só, não diz qual recurso ampliar. Dimensione o VPS para web scraping medindo a tarefa completa, inclusive os processos do navegador, a gravação dos resultados e os serviços que compartilham o host. Depois, ajuste a concorrência e verifique se os dados exigidos são obtidos a tempo.
Teste uma configuração de VPS com sua carga de trabalho
Para uma tarefa de navegador com concorrência controlada e poucos serviços auxiliares, eu começaria testando 4 GB de RAM e 2 vCPU. Avalie 8 GB de RAM e 4 vCPU se a configuração menor não concluir a tarefa a tempo ou deixar pouca margem para outros serviços. São pontos de partida para testes, sem representar requisitos mínimos oficiais do Playwright ou Selenium nem garantir um número de navegadores.
| Ponto de partida | Quando testar |
|---|---|
| 4 GB RAM / 2 vCPU | Tarefa de navegador com concorrência controlada e poucos serviços auxiliares |
| 8 GB RAM / 4 vCPU | As medições mostram que a configuração menor não tem capacidade para a tarefa ou para os serviços auxiliares |
| Outra proporção entre RAM e CPU | As medições identificam uma necessidade que as duas primeiras configurações não atendem |
| Menos concorrência ou menos trabalho no navegador | Trabalho paralelo adicional prejudica a conclusão, ou os dados necessários estão disponíveis sem renderização |
Mantenha o host atual entre as opções. Se ele já concluir a extração necessária nas condições de operação exigidas, as medições podem justificar mantê-lo. Ao testar um host novo, veja nossos planos de VPS Linux para encontrar uma configuração de RAM e vCPU adequada à carga. Fornecemos acesso root para que você instale Playwright ou Selenium e configure o ambiente do navegador e os limites de recursos necessários para o teste.
Verifique também se a obtenção dos dados exige uma página renderizada. Se um caminho HTTP ou API autorizado retornar os dados necessários, avalie essa carga separadamente. Mantenha os mesmos requisitos de saída na comparação. Retornar menos campos ou pular páginas difíceis altera a tarefa. Comparar a capacidade de uma extração completa com a de uma incompleta não é útil.
Considere toda a carga do navegador

Quando um scraper roda junto a um banco de dados, seu ambiente de execução, os processos do navegador, as páginas ativas e as operações do banco precisam caber no orçamento disponível. A arquitetura multiprocesso do Chromium separa o processo do navegador dos renderizadores e de outros tipos de processo. Recomendo considerar a carga inteira antes de interpretar a leitura de um processo individual.
Uma instância de navegador é um navegador em execução controlado pelo código de automação. No Playwright, um contexto isola o estado do navegador, e as páginas pertencem a um contexto. A documentação de contextos de navegador do Playwright descreve um isolamento semelhante ao modo anônimo e permite vários contextos em um navegador. Ela descreve a criação de contextos como barata, mas não indica uma quantidade de RAM. Considere as páginas que trabalham dentro deles.
A mesma documentação distingue os contextos criados manualmente com a biblioteca dos criados automaticamente pelo Playwright Test. Um scraper que usa a biblioteca precisa de um limite próprio de concorrência. As configurações dos processos de trabalho do executor de testes não definem esse limite. Registre separadamente as quantidades de instâncias do navegador, contextos e páginas ativas. Não substitua uma contagem por outra nem presuma uma proporção fixa entre abas e processos do Chromium.
No Selenium, registre as sessões do driver e seus processos de navegador. A documentação de sessões do driver distingue a execução local da remota e recomenda quit para encerrar uma sessão. Fechar uma janela é outra operação. No Playwright, a API de fechamento do contexto fecha as páginas do contexto. Mantenha o mesmo procedimento de limpeza entre execuções e encerre sessões de tarefas concluídas antes do próximo teste.
Registre a configuração antes de coletar os valores dos recursos:
- Sistema operacional, arquitetura e versões do ambiente de execução, do pacote de automação e dos navegadores.
- Execução nativa ou em contêineres e onde rodam o ambiente de execução, o navegador e os serviços que tratam os resultados.
- Instâncias do navegador, contextos do Playwright e páginas ativas, ou sessões do Selenium, além do limite de concorrência e do procedimento de limpeza.
- Composição dos alvos e páginas, operações de extração, gravação de resultados, downloads, logs e requisitos de armazenamento.
- Serviços auxiliares que compartilham o host, incluindo bancos de dados, filas e monitoramento.
- Configurações de memória, CPU e IPC do contêiner, quando aplicável.
- Agenda, sobreposições previstas, duração normal e prazo de conclusão.
Registre qualquer dependência de um ambiente gráfico. Operar sem supervisão e operar sem interface gráfica são questões distintas. Um fluxo que interage com a interface da área de trabalho ainda precisa de uma sessão gráfica. A distinção entre interface gráfica e modo headless é relevante quando a automação vai além das páginas do navegador. Inclua esse trabalho adicional no registro para evitar atribuir seu consumo de recursos ao Playwright ou ao Selenium.
Meça uma execução representativa antes de aumentar a concorrência
Comece com uma extração ativa e meça o número de conclusões bem-sucedidas e o tempo decorrido. Depois, eleve o limite de concorrência gradualmente com a mesma carga. Recomendo registrar as observações do host junto com as dos contêineres, quando aplicável. Valide o limite em operação normal e durante as sobreposições programadas antes de adotá-lo como limite operacional da implantação.
Use sua tarefa de extração autorizada existente. Os comandos abaixo observam a máquina e o contêiner. Eles não iniciam um scraper nem definem um benchmark. Você precisa de acesso ao shell do host Linux. Para observar o Docker, também é necessário acessar o daemon e ter um contêiner existente. Substitua scraper pelo nome desse contêiner.
-
Registre a configuração e a linha de base. Complete o registro e observe a memória e a CPU do host antes de iniciar a extração. Mantenha os serviços auxiliares em seu estado normal. Na execução nativa, use as observações de processos para contabilizar o ambiente de execução e toda a árvore de processos do navegador. Ignore os comandos Docker e os campos de contêiner. Se usar contêineres, identifique quais processos rodam dentro de cada um e quais permanecem fora.
-
Observe o host e os limites efetivos do contêiner. Execute os comandos do host no próprio host e deixe os monitores contínuos em terminais separados enquanto a tarefa é executada:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h imprime uma leitura instantânea em unidades legíveis. O manual do free do procps define available como uma estimativa da memória utilizável por novos aplicativos sem recorrer a swap. Interprete essa estimativa junto com a carga. A coluna free contabiliza a memória sem uso e responde a uma questão mais específica. Repita as leituras durante a execução e guarde o menor valor disponível observado.
vmstat -y 1 emite leituras de um em um segundo. O manual do vmstat do procps informa que -y omite o primeiro relatório, que de outra forma inclui estatísticas desde a inicialização. Os campos si e so mostram a memória lida e gravada no swap a cada segundo. Nos campos de CPU, id é o tempo ocioso, wa é a espera de E/S e st é o tempo de CPU retirado da máquina virtual. Correlacione as observações com o progresso e os erros da tarefa. Elas não diagnosticam a causa por si sós.
A referência do comando inspect do Docker descreve a saída de configuração em JSON e o filtro de tipo de contêiner. Registre a configuração efetiva de memória, CPU e IPC. Antes de compartilhar a saída, verifique se ela contém segredos de variáveis de ambiente. A documentação sobre restrições de recursos do Docker distingue o limite --memory das restrições de CPU, como --cpus e a cota de CPU. A cota limita o tempo de execução na CPU. O número de vCPU do host não basta para saber quanto o contêiner pode usar. Registre também os limites não definidos e confira a configuração de swap.
A referência do comando stats do Docker explica as leituras em tempo real de CPU, uso e limite de memória, rede e E/S de blocos. No Linux, a CLI subtrai o cache do uso de memória, então a leitura pode diferir da de outra fonte. PIDS inclui processos e threads do kernel e não conta navegadores. As observações do host já incluem a atividade do contêiner. Não some os valores de memória como se fossem orçamentos independentes. Preserve as unidades exibidas, como GiB ou MiB, GB ou bytes brutos. Encerre o monitoramento contínuo com Ctrl-C.
-
Rode uma extração ativa com a variedade de páginas prevista. Inclua páginas leves e pesadas representativas, a inicialização, a navegação, a extração e a gravação dos resultados. Registre extrações concluídas e falhas e o tempo total. Defina a conclusão pelo resultado exigido já gravado. Conte uma repetição bem-sucedida uma vez como trabalho concluído e mantenha as tentativas falhas no registro de erros. Esse é um critério proposto de contagem, não um padrão da ferramenta.
-
Aumente o limite aos poucos. Mantenha versões, topologia, páginas, saída e outros ajustes fixos. Use um registro separado para cada limite. Pare de aumentar se as conclusões úteis deixarem de melhorar, os erros subirem, o prazo for perdido ou a margem restante for insuficiente. São limites recomendados para o teste, não faixas universais de utilização. Ter mais trabalho em andamento não conta como melhora por si só.
-
Valide a operação contínua e a sobreposição. Teste o limite escolhido durante o tempo habitual da tarefa e durante a sobreposição prevista com serviços auxiliares ou outra extração programada. Repita a execução antes de aceitar a configuração. Ao comparar outro host, mantenha a mesma tarefa e altere um recurso por vez quando praticável. Aumentar RAM e vCPU juntas não isola o efeito da RAM nem comprova ganho proporcional.
Para cada configuração de VPS e limite de concorrência, registre os limites de recursos, as leituras de memória e CPU, a atividade de swap, as extrações concluídas e falhas, o tempo decorrido e a decisão final.
Chame o maior valor das amostras de maior valor observado nas amostras. A amostragem pode perder picos curtos. A opção --no-stream do Docker devolve apenas o primeiro resultado e não determina o pico da execução. Deixe valores não observados como desconhecidos. Preencher uma lacuna com estimativa enfraquece a comparação.
A margem operacional é a capacidade que sobra para páginas mais pesadas, variações entre execuções e trabalho sobreposto. Baseie a margem nas condições testadas em vez de usar uma porcentagem fixa. Se a tarefa mal cumprir o prazo ou não deixar espaço para essas condições, reduza o limite de concorrência ou teste uma configuração maior.
Escolha entre ajustar a configuração e ampliar a capacidade

Se um contêiner atingir o limite de memória enquanto o host ainda tiver RAM disponível, verifique o limite antes de ampliar o VPS. Se o próprio host estiver sob pressão, compare uma redução da concorrência com uma alocação maior. Use a tabela para escolher a próxima mudança e depois repita a mesma extração. Compare os resultados concluídos, os erros e o tempo decorrido.
| Padrão observado | Próxima verificação ou ação | Critério de aceitação após a mudança |
|---|---|---|
| A memória disponível do host cai e há atividade persistente de swap com piora nas conclusões | Compare a carga completa e os serviços auxiliares. Avalie reduzir a concorrência ou adicionar RAM | A extração repetida cumpre o prazo com uma margem justificada |
| O contêiner se aproxima do limite configurado de memória enquanto o host tem capacidade livre | Confira o limite efetivo e os indícios de falhas ou logs antes de alterar o limite deliberadamente | Teste novamente a carga. Mais RAM no host, por si só, não demonstra que o problema foi resolvido |
| Falhas do navegador justificam conferir a configuração de memória compartilhada | Diferencie /dev/shm da RAM total e consulte a orientação de IPC do Docker para Chromium |
Teste novamente a configuração relevante. Uma mensagem de erro isolada não comprova falta de memória |
| A CPU permanece ocupada ou há indícios de que o limite de CPU está envolvido, e a tarefa perde o prazo | Verifique a cota, a carga e o contexto de E/S e espera. Avalie o limite de concorrência ou a alocação de CPU | Mais trabalho é concluído com sucesso dentro do prazo, sem pressupor ganho proporcional |
| A concorrência maior aumenta os erros ou o tempo decorrido sem melhorar a quantidade de trabalho útil concluído | Reduza o limite e investigue o comportamento da carga e as esperas externas | Os dados necessários são extraídos com sucesso dentro do prazo |
O mecanismo de memória compartilhada do Chromium depende da compilação e da configuração de inicialização. Para configurações que usam /dev/shm, examine o sistema de arquivos de memória compartilhada do contêiner. A referência de execução de contêineres do Docker indica que --shm-size controla o tamanho de /dev/shm e usa 64m por padrão. Esse ajuste dimensiona o sistema de arquivos de memória compartilhada e não define a RAM total do contêiner. Elevar o limite de memória do Docker para Playwright e ajustar a memória compartilhada são ações diferentes.
O guia de configuração do Docker do Playwright recomenda --ipc=host para Chromium e --init para gerenciar processos. Para rastrear sites não confiáveis, recomenda um usuário separado e um perfil seccomp. Rodar navegadores como root desativa o sandbox do Chromium. Aplique a configuração de rastreamento apropriada como um todo. Um ajuste de IPC não é uma recomendação geral de segurança, e um exemplo de teste de ponta a ponta em site confiável não é uma receita para rastrear sites não confiáveis.
Guarde o registro da carga validada junto com a configuração da tarefa. Verifique novamente após mudanças nas páginas, versões, limites efetivos ou sobreposições de agenda.
Se as medições justificarem outro host Linux para implantar contêineres, oferecemos implantação de Docker em um clique. Use o registro da carga validada para escolher a alocação e transferir os ajustes do contêiner testados para o novo ambiente.
Perguntas frequentes
A execução assíncrona reduz o uso de RAM do Playwright?
Não necessariamente. Compare a implementação assíncrona com a atual usando o mesmo limite de concorrência, páginas e requisitos de saída. Registre o uso de RAM, as extrações concluídas e o tempo decorrido antes de afirmar que houve economia. O guia de restrições de recursos do Docker recomenda testar os requisitos de memória da aplicação antes da produção.
Posso usar a referência de RAM do Selenium Grid para dimensionar um VPS de scraping?
A documentação de dimensionamento do Selenium Grid indica uma referência aproximada de 1 CPU e 1 GB de RAM por navegador e avisa que ela pode não se aplicar ao seu contexto. Recomenda medir o desempenho continuamente. Use a referência específica do Grid com essa ressalva, pois ela não estabelece uma fórmula de capacidade para scrapers nem um requisito mínimo para execução local do WebDriver.
Discussão
Comentários
Inicie sessão para participar na discussão.