Se il tuo scraper Playwright o Selenium rallenta su un VPS o supera la scadenza, più RAM può aiutare, ma un timeout da solo non indica quale risorsa aumentare. Dimensiona il VPS misurando l'intero lavoro, inclusi i processi del browser, la scrittura dei risultati e i servizi sullo stesso host. Poi regola la concorrenza e verifica che i dati richiesti vengano salvati in tempo.
Prova una configurazione VPS con il tuo carico di lavoro
Per un'attività nel browser con concorrenza controllata e pochi servizi ausiliari, partirei da 4 GB di RAM e 2 vCPU. Valuta 8 GB di RAM e 4 vCPU se la configurazione minore non conclude il lavoro in tempo o lascia poco margine agli altri servizi. Sono punti di partenza per le prove. Non costituiscono requisiti minimi ufficiali di Playwright o Selenium e non garantiscono un numero di browser.
| Punto di partenza | Quando provarlo |
|---|---|
| 4 GB RAM / 2 vCPU | Attività nel browser con concorrenza controllata e pochi servizi ausiliari |
| 8 GB RAM / 4 vCPU | Le misurazioni indicano che la configurazione minore non ha capacità sufficiente per il lavoro o i servizi ausiliari |
| Un diverso rapporto tra RAM e CPU | Le misurazioni rivelano un'esigenza che le prime due configurazioni non soddisfano |
| Concorrenza inferiore o meno lavoro nel browser | Aggiungere lavoro in parallelo peggiora i risultati, oppure i dati richiesti sono disponibili senza rendering |
Tieni l'host attuale tra le opzioni. Se completa già l'estrazione nelle condizioni operative necessarie, le misure possono giustificare la scelta di tenerlo. Se provi un host nuovo, consulta i nostri piani VPS Linux per trovare una configurazione RAM e vCPU adatta al carico. Forniamo accesso root per installare Playwright o Selenium e configurare l'ambiente del browser e i limiti di risorse da provare.
Controlla anche se serve una pagina renderizzata. Se un percorso HTTP o API autorizzato restituisce i dati richiesti, valuta quel carico separatamente. Mantieni invariati i requisiti dei risultati durante il confronto. Restituire meno campi o saltare le pagine difficili cambia l'attività. Confrontare la capacità per un'estrazione completa con quella per un'estrazione incompleta non dà indicazioni utili.
Considera l'intero carico del browser

Quando uno scraper opera insieme a un database, l'ambiente di esecuzione, i processi del browser, le pagine attive e le operazioni del database devono rientrare nelle risorse disponibili. L'architettura multiprocesso di Chromium separa il processo del browser dai processi di rendering e di altro tipo. Per dimensionare il VPS, consiglio di considerare tutto il carico prima di interpretare la misura di un singolo processo.
Un'istanza del browser è un browser in esecuzione controllato dal codice di automazione. In Playwright, un contesto isola lo stato del browser, e le pagine appartengono a un contesto. La documentazione sui contesti del browser di Playwright descrive un isolamento simile alla navigazione in incognito e consente più contesti nello stesso browser. La creazione dei contesti è descritta come poco onerosa, ma non viene indicato un valore di RAM. Includi le pagine attive in ciascun contesto.
La stessa documentazione distingue i contesti creati manualmente con la libreria da quelli creati automaticamente da Playwright Test. Uno scraper che usa la libreria richiede un proprio limite di concorrenza. Le impostazioni dei worker del runner di test non fissano quel limite. Registra separatamente il numero di istanze del browser, contesti e pagine attive. I conteggi non sono intercambiabili, e il rapporto tra schede e processi Chromium non è fisso.
Per Selenium, registra le sessioni del driver e i rispettivi processi del browser. La documentazione sulle sessioni del driver distingue esecuzione locale e remota e raccomanda quit per terminare una sessione. Chiudere una finestra è un'operazione distinta. In Playwright, l'API di chiusura del contesto chiude le pagine del contesto. Adotta la stessa procedura di pulizia tra le esecuzioni e chiudi le sessioni terminate prima della prova successiva.
Annota la configurazione prima di misurare le risorse:
- Sistema operativo, architettura e versioni dell'ambiente di esecuzione, del pacchetto di automazione e dei browser.
- Esecuzione nativa o in container e posizione dell'ambiente di esecuzione, del browser e dei servizi che elaborano l'output.
- Istanze del browser, contesti Playwright e pagine attive oppure sessioni Selenium, oltre al limite di concorrenza e alla procedura di pulizia.
- Combinazione di destinazioni e pagine, operazioni di estrazione, scrittura dei risultati, download, log e requisiti di archiviazione.
- Servizi ausiliari che condividono l'host, inclusi database, code e monitoraggio.
- Impostazioni di memoria, CPU e IPC dei container, se applicabili.
- Pianificazione, sovrapposizioni previste, durata normale e scadenza.
Registra le dipendenze da un ambiente desktop. Esecuzione senza supervisione ed esecuzione senza interfaccia sono aspetti diversi. Un flusso che opera sull'interfaccia del desktop richiede la sua sessione grafica. La distinzione tra GUI e modalità headless è rilevante se l'automazione va oltre le pagine del browser. Registra quel lavoro aggiuntivo per evitare di attribuirne il fabbisogno a Playwright o Selenium.
Misura un'esecuzione rappresentativa prima di aumentare la concorrenza
Inizia con una sola estrazione attiva e misura il numero di attività concluse con successo e il tempo trascorso. Alza gradualmente il limite di concorrenza mantenendo invariato il carico. Consiglio di affiancare alle misure dell'host quelle dei container, se applicabili. Verifica il limite scelto durante il funzionamento normale e le sovrapposizioni pianificate prima di adottarlo come limite operativo.
Usa l'attività di estrazione autorizzata che hai già. I comandi qui sotto osservano l'host e il container. Non avviano uno scraper né stabiliscono un benchmark. Serve l'accesso alla shell dell'host Linux. Le osservazioni di Docker richiedono anche l'accesso al daemon e un container esistente. Sostituisci scraper con il nome di quel container.
-
Registra la configurazione e i valori di riferimento. Completa il registro e nota il comportamento di memoria e CPU sull'host prima di avviare l'estrazione. Mantieni i servizi ausiliari nel loro stato normale. Nell'esecuzione nativa, osserva i processi per contare l'ambiente di esecuzione e tutto l'albero dei processi del browser. Ometti comandi Docker e campi dei container. Se usi container, determina quali processi si eseguono dentro ciascuno e quali rimangono fuori.
-
Osserva l'host e i limiti effettivi dei container. Esegui i comandi per l'host sull'host stesso, usando terminali separati per i monitor in tempo reale durante l'attività:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h stampa una lettura istantanea in unità leggibili. Il manuale di free di procps definisce available come stima della memoria utilizzabile da nuove applicazioni senza swap. Interpreta il dato nel contesto del carico. La colonna free conta la memoria inutilizzata e risponde a una domanda più circoscritta. Ripeti le letture durante l'esecuzione e conserva il valore minimo di memoria disponibile osservato.
vmstat -y 1 fornisce letture ogni secondo. Il manuale di vmstat di procps indica che -y omette il primo rapporto, che altrimenti contiene le statistiche dall'avvio. I campi si e so indicano la memoria letta dallo swap e scritta nello swap al secondo. Tra i campi CPU, id indica il tempo di inattività, wa l'attesa I/O e st il tempo sottratto alla macchina virtuale. Metti queste osservazioni in relazione con l'avanzamento e gli errori. Da sole non identificano la causa.
Il riferimento del comando inspect di Docker descrive l'output di configurazione JSON e il filtro per il tipo di container. Registra i parametri effettivi di memoria, CPU e IPC. Prima di condividere l'output, verifica che non contenga segreti nelle variabili di ambiente. La documentazione sui limiti delle risorse distingue il limite --memory dalle restrizioni della CPU come --cpus e la quota CPU. La quota limita il tempo di esecuzione della CPU. Il numero di vCPU dell'host non basta a stabilire quanto spetta al container. Registra anche i limiti non impostati e controlla la configurazione dello swap.
Il riferimento del comando stats di Docker descrive le letture in tempo reale di CPU, uso e limite di memoria, rete e I/O a blocchi. Su Linux, la CLI sottrae la cache dalla memoria usata, quindi la cifra può differire da quella di altre fonti. PIDS include processi e thread del kernel e non conta i browser. Le misure dell'host includono già l'attività dei container. Non sommare i valori come se fossero quote di memoria separate. Mantieni le unità visualizzate, come GiB, MiB, GB o byte non convertiti. Ferma i monitor in tempo reale con Ctrl-C.
-
Esegui un'estrazione attiva sulle varie pagine. Includi pagine leggere e pesanti rappresentative e le fasi di avvio, navigazione, estrazione e scrittura. Registra estrazioni riuscite e fallite e il tempo totale. Considera concluso il lavoro quando l'output richiesto è stato salvato. Conta una sola volta il risultato di un nuovo tentativo riuscito e conserva nel registro degli errori i tentativi falliti. È un metodo di conteggio proposto e non un'impostazione predefinita dello strumento.
-
Alza il limite gradualmente. Mantieni costanti versioni, topologia, pagine, output e altre impostazioni. Usa un registro separato per ogni limite. Smetti di aumentare quando il lavoro utile concluso smette di crescere, gli errori aumentano, la scadenza viene superata o il margine residuo non basta. Sono criteri consigliati per fermare una prova, non soglie universali di utilizzo. Più lavoro in corso, da solo, non è un miglioramento.
-
Verifica l'operatività prolungata e le sovrapposizioni. Prova il limite selezionato per la durata normale del lavoro e durante le sovrapposizioni attese con servizi ausiliari o con un'altra estrazione programmata. Ripeti il test prima di accettare la configurazione. Nel confronto con un host diverso, mantieni il carico invariato e cambia una risorsa alla volta, se possibile. Aumentare insieme RAM e vCPU non isola l'effetto della RAM né dimostra un'accelerazione proporzionale.
Per ogni configurazione VPS e limite di concorrenza registra i limiti delle risorse, le letture di memoria e CPU, l'attività di swap, le estrazioni riuscite e fallite, il tempo trascorso e la decisione finale.
Chiama il valore più alto nei campioni massimo osservato nei campioni. Il campionamento può perdere picchi brevi. L'opzione --no-stream di Docker restituisce solo il primo risultato e non permette di stabilire il picco dell'esecuzione. Lascia indeterminati i valori non osservati. Sostituire un dato mancante con una stima indebolirebbe il confronto.
Il margine operativo è la capacità disponibile per pagine più pesanti, variazioni tra esecuzioni e attività sovrapposte. Calcolalo in base alle condizioni provate invece di usare una percentuale fissa. Se il lavoro rispetta a malapena la scadenza o non lascia margine per queste condizioni, riduci il limite di concorrenza o prova una configurazione più grande.
Scegli tra modificare la configurazione e aumentare la capacità

Se un container raggiunge il limite di memoria mentre l'host ha ancora RAM disponibile, controlla il limite prima di ampliare il VPS. Se è l'host a essere sotto pressione, confronta una concorrenza minore con un'allocazione maggiore. Usa la tabella per scegliere la prossima modifica, quindi ripeti la stessa estrazione e confronta i risultati completi, gli errori e il tempo trascorso.
| Comportamento osservato | Prossima verifica o azione | Criterio di accettazione dopo la modifica |
|---|---|---|
| La memoria disponibile sull'host diminuisce e lo swap prolungato si accompagna a risultati peggiori | Confronta il carico totale e i servizi ausiliari. Valuta meno concorrenza o più RAM | L'estrazione ripetuta rispetta la scadenza con un margine motivato |
| Il container si avvicina al limite di memoria configurato, mentre l'host ha risorse libere | Controlla il limite effettivo e gli indizi di errore o nei log prima di modificare il limite | Ripeti il test sul carico. Avere più RAM sull'host non basta a dimostrare che il problema è risolto |
| Gli arresti del browser giustificano un controllo della memoria condivisa | Distingui /dev/shm dalla RAM totale e consulta le indicazioni sull'IPC di Docker per Chromium |
Ripeti la prova con la configurazione pertinente. Un messaggio di errore da solo non diagnostica una condizione di memoria esaurita |
| La CPU resta occupata o un limite di CPU sembra coinvolto, e la scadenza viene superata | Verifica quota, carico e contesto di I/O e attesa. Valuta il limite di concorrenza o l'allocazione di CPU | Più lavoro viene completato con successo entro la scadenza, senza dare per scontata un'accelerazione proporzionale |
| Maggior concorrenza aumenta gli errori o il tempo senza aumentare il lavoro utile completato | Riduci il limite ed esamina il comportamento del carico e le attese esterne | I dati richiesti vengono estratti con successo entro il tempo previsto |
Il meccanismo di memoria condivisa di Chromium dipende dalla compilazione e dalle opzioni di avvio. Nelle configurazioni con /dev/shm, controlla il file system della memoria condivisa del container. Il riferimento sull'esecuzione dei container di Docker indica che --shm-size imposta le dimensioni di /dev/shm e che il valore predefinito è 64m. L'impostazione dimensiona il file system condiviso e non stabilisce la RAM complessiva del container. Aumentare il limite di memoria Docker per Playwright e regolare la memoria condivisa sono interventi differenti.
La guida alla configurazione di Docker di Playwright raccomanda --ipc=host per Chromium e --init per gestire i processi. Per esplorare siti non attendibili, consiglia un utente separato e un profilo seccomp. L'esecuzione del browser come root disattiva la sandbox di Chromium. Applica integralmente la configurazione pertinente per il crawling. Un'impostazione IPC non è una raccomandazione generale di sicurezza. Un esempio di test end-to-end su un sito attendibile non è una guida per esplorare siti non attendibili.
Conserva i risultati della verifica del carico con la configurazione dell'attività. Ripeti i controlli quando cambiano le pagine, le versioni, i limiti effettivi o le sovrapposizioni di pianificazione.
Se le misurazioni giustificano un altro host Linux per distribuire container, offriamo la distribuzione di Docker in un clic. Usa il carico convalidato per scegliere l'allocazione e trasferire le impostazioni del container già testate.
Domande frequenti
Un browser remoto elimina la necessità di RAM locale per lo scraper?
Anche con un browser remoto, occorre prevedere risorse per l'ambiente di esecuzione o client locale, la logica di estrazione e la gestione dell'output, ovunque siano eseguiti. La documentazione sulle connessioni remote di Playwright descrive un server separato dal codice chiamante. Misura separatamente il client e il servizio remoto. Questa architettura non quantifica da sola il risparmio di memoria locale.
L'esecuzione asincrona riduce la RAM usata da Playwright?
Non necessariamente. Confronta l'implementazione asincrona e quella corrente con lo stesso limite di concorrenza, le stesse pagine e gli stessi requisiti di output. Registra la RAM usata, le estrazioni concluse e la durata prima di dichiarare un risparmio. Le indicazioni sui limiti delle risorse di Docker raccomandano di provare i requisiti di memoria dell'applicazione prima della produzione.
Posso usare il riferimento di RAM di Selenium Grid per dimensionare un VPS di scraping?
La documentazione sul dimensionamento di Selenium Grid indica approssimativamente 1 CPU e 1 GB di RAM per browser e avverte esplicitamente che il riferimento potrebbe non applicarsi al tuo caso. Raccomanda misurazioni di prestazioni continue. Usa il riferimento specifico di Grid tenendo presente questa condizione. Non fornisce una formula di capacità per gli scraper né un minimo per WebDriver locale.
Discussione
Commenti
Accedi per partecipare alla discussione.