Als je Playwright- of Selenium-scraper op een VPS trager wordt of de deadline mist, kan extra RAM helpen. Een time-out alleen vertelt je niet wat je moet uitbreiden. Meet de volledige taak, inclusief browserprocessen, het wegschrijven van resultaten en diensten op dezelfde host. Stel daarna het aantal gelijktijdige taken bij en controleer of de vereiste gegevens op tijd zijn opgeslagen.
Test een kandidaat-VPS met je werkbelasting
Bij een browsertaak met begrensde gelijktijdigheid en weinig ondersteunende diensten zou ik beginnen met 4 GB RAM en 2 vCPU. Test 8 GB RAM en 4 vCPU als de kleinere configuratie de taak niet op tijd afrondt of andere diensten te weinig ruimte laat. Dit zijn startpunten voor tests. Het zijn geen officiële minimumvereisten van Playwright of Selenium en ze garanderen geen bepaald aantal browsers.
| Startpunt | Wanneer testen |
|---|---|
| 4 GB RAM / 2 vCPU | Een browsertaak met begrensde gelijktijdigheid en weinig ondersteunende diensten |
| 8 GB RAM / 4 vCPU | Metingen tonen aan dat de kleinere configuratie onvoldoende capaciteit biedt voor de taak of ondersteunende diensten |
| Een andere verhouding tussen RAM en CPU | Metingen wijzen op een behoefte die de eerste twee configuraties niet dekken |
| Minder gelijktijdige taken of minder browserwerk | Extra parallelle taken verslechteren de afronding, of de vereiste gegevens zijn zonder rendering beschikbaar |
Houd de huidige host als optie aan. Als die de vereiste extractie onder de gewenste omstandigheden al voltooit, kunnen de metingen rechtvaardigen dat je hem behoudt. Test je een nieuwe host, bekijk dan onze Linux VPS-abonnementen voor een RAM- en vCPU-configuratie die bij de belasting past. Je krijgt roottoegang om Playwright of Selenium te installeren en de te testen browseromgeving en resourcelimieten in te stellen.
Controleer ook of de gegevens een gerenderde pagina vereisen. Als je de vereiste gegevens via een toegestane HTTP- of API-route kunt ophalen, meet die werkbelasting afzonderlijk. Houd bij de vergelijking dezelfde uitvoereisen aan. Met minder velden of door lastige pagina's over te slaan verander je de taak. Een vergelijking tussen volledige en onvolledige extractie geeft geen bruikbare informatie over de benodigde capaciteit.
Breng de volledige browserbelasting in kaart

Bij een scraper naast een database moeten de runtime, browserprocessen, actieve pagina's en databasetaken binnen de beschikbare capaciteit passen. De multiprocesarchitectuur van Chromium scheidt het browserproces van renderers en andere procestypen. Ik raad aan eerst de volledige belasting te bepalen en daarna pas een meting van een afzonderlijk proces te interpreteren.
Een browserinstantie is een draaiende browser onder beheer van de automatiseringscode. In Playwright isoleert een context de browserstatus en behoren pagina's tot een context. De documentatie over browsercontexten beschrijft isolatie zoals in de incognitomodus en ondersteunt meerdere contexten in één browser. Volgens de documentatie kost het aanmaken van een context weinig resources, maar er staat geen hoeveelheid RAM bij. Reken de actieve pagina's in die contexten mee.
Dezelfde documentatie onderscheidt contexten die je handmatig met de bibliotheek maakt van contexten die Playwright Test automatisch maakt. Een scraper met de bibliotheek heeft een eigen maximumaantal gelijktijdige taken nodig. De workerinstellingen van de testrunner bepalen dat maximum niet. Tel browserinstanties, contexten en actieve pagina's afzonderlijk. Gebruik de aantallen niet als vervanging voor elkaar en ga niet uit van een vaste verhouding tussen tabbladen en Chromium-processen.
Registreer bij Selenium de driversessies en bijbehorende browserprocessen. De documentatie over driversessies maakt onderscheid tussen lokale en externe uitvoering en raadt quit aan om een sessie te beëindigen. Een venster sluiten is een andere actie. In Playwright sluit de API voor het sluiten van contexten de pagina's van die context. Ruim na elke uitvoering op dezelfde manier op. Begin de volgende test zonder sessies van voltooid werk.
Leg de configuratie vast voordat je het resourcegebruik meet:
- Besturingssysteem, architectuur en versies van de runtime, het automatiseringspakket en de browsers.
- Native uitvoering of uitvoering in containers, en waar de runtime, browser en uitvoerdiensten draaien.
- Browserinstanties, Playwright-contexten en actieve pagina's, of Selenium-sessies, plus het maximumaantal gelijktijdige taken en de manier van opruimen.
- Combinatie van doelen en pagina's, extractiebewerkingen, het wegschrijven van resultaten, downloads, logs en opslagvereisten.
- Ondersteunende diensten die de host delen, zoals databases, wachtrijen en monitoring.
- De geheugen-, CPU- en IPC-instellingen van de container, waar van toepassing.
- Planning, verwachte overlap tussen uitvoeringen, normale duur en uiterste eindtijd.
Leg eventuele afhankelijkheid van een desktop vast. Onbeheerde uitvoering en uitvoering zonder grafische interface zijn verschillende zaken. Een workflow die een desktopinterface bedient, heeft nog steeds een grafische sessie nodig. Het onderscheid tussen GUI en headless is relevant wanneer de automatisering verder gaat dan browserpagina's. Voeg dat extra werk toe aan je configuratielijst, zodat je het bijbehorende resourceverbruik niet aan Playwright of Selenium toeschrijft.
Meet een representatieve uitvoering voordat je meer taken tegelijk uitvoert
Begin met één actieve extractie en meet het aantal succesvolle afrondingen en de verstreken tijd. Verhoog het maximumaantal gelijktijdige taken daarna geleidelijk met dezelfde belasting. Ik raad aan observaties van de host en, indien van toepassing, de container samen vast te leggen. Valideer het gekozen maximum tijdens normaal gebruik en geplande overlap voordat je het als operationele limiet gebruikt.
Gebruik je bestaande, toegestane extractietaak. De opdrachten hieronder observeren de machine en container. Ze starten geen scraper en maken geen benchmark. Je hebt shelltoegang tot de Linux-host nodig. Voor Docker-metingen heb je ook toegang tot de daemon en een bestaande container nodig. Vervang scraper door de naam van die container.
-
Leg de configuratie en uitgangswaarden vast. Vul de configuratielijst in en noteer het geheugen- en CPU-gedrag van de host vóór de extractie. Laat ondersteunende diensten normaal draaien. Gebruik bij native uitvoering procesobservaties om de runtime en de volledige browserprocesboom mee te tellen. Sla Docker-opdrachten en containervelden over. Bepaal bij containers welke processen binnen elke container draaien en welke erbuiten blijven.
-
Observeer de host en de effectieve containerlimieten. Voer de hostopdrachten op de host uit en laat de continue metingen tijdens de taak in afzonderlijke terminals lopen:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h geeft een momentopname in leesbare eenheden. De handleiding van free van procps definieert available als een schatting van het geheugen dat nieuwe applicaties zonder swap kunnen gebruiken. Lees die schatting in samenhang met de belasting. De kolom free telt ongebruikt geheugen en beantwoordt een beperktere vraag. Herhaal de momentopnamen tijdens de uitvoering en bewaar de laagste waargenomen waarde voor beschikbaar geheugen.
vmstat -y 1 rapporteert elke seconde. Volgens de handleiding van vmstat van procps laat -y het eerste rapport weg, dat anders statistieken vanaf het opstarten bevat. De velden si en so geven de hoeveelheid geheugen aan die per seconde uit swap wordt gelezen en ernaar wordt geschreven. Bij de CPU-velden is id inactieve tijd, wa I/O-wachttijd en st CPU-tijd die de virtuele machine misloopt. Leg een verband met de voortgang en fouten van de taak. Deze observaties geven op zichzelf geen diagnose.
De referentie voor de opdracht inspect van Docker beschrijft de JSON-uitvoer en het filter op containertype. Noteer de effectieve geheugen-, CPU- en IPC-configuratie. Controleer voor het delen of de uitvoer geheimen uit omgevingsvariabelen bevat. De documentatie over resourcelimieten onderscheidt het maximum --memory van CPU-beperkingen zoals --cpus en een CPU-quotum. Zo'n quotum beperkt de CPU-uitvoeringstijd. Het aantal vCPU op de host geeft niet vanzelf de ruimte van de container aan. Noteer ook niet-ingestelde limieten en controleer de swapconfiguratie.
De referentie voor de opdracht stats van Docker verklaart livewaarden voor CPU, geheugengebruik en -limiet, netwerk en blok-I/O. Onder Linux trekt de CLI cache van het geheugengebruik af. Daardoor kan de waarde afwijken van een andere bron. PIDS omvat processen en kernelthreads, geen telling van browsers. De hostmetingen omvatten de containeractiviteit al. Tel de geheugenmetingen niet op als aparte budgetten. Houd de getoonde eenheden aan, zoals GiB, MiB, GB of onbewerkte bytes. Stop continue monitoring met Ctrl-C.
-
Voer één actieve extractie uit op de verschillende pagina's. Neem representatieve lichte en zware pagina's op, evenals het opstarten, navigeren, extraheren en wegschrijven. Noteer succesvolle en mislukte extracties en de totale looptijd. Het werk is af als de vereiste uitvoer is opgeslagen. Tel het uiteindelijke resultaat van een geslaagde herpoging één keer en houd mislukte pogingen in het foutenlogboek. Deze telregel is een voorstel, geen standaard van de tool.
-
Verhoog het maximum stapsgewijs. Houd versies, topologie, paginamix, uitvoer en overige instellingen gelijk. Maak per maximum een afzonderlijke registratie. Stop met verhogen als nuttige afrondingen niet toenemen, fouten oplopen, de deadline wordt gemist of er te weinig reserve overblijft. Dit zijn voorgestelde testgrenzen, geen universele gebruiksdrempels. Meer actief werk op zichzelf telt niet als verbetering.
-
Valideer langdurige werking en overlap. Test het gekozen maximum gedurende de gewone looptijd en bij verwachte overlap met ondersteunende diensten of een andere geplande extractie. Herhaal de test vóór acceptatie. Houd bij een vergelijking met een andere host het werk gelijk en verander waar mogelijk één resource per keer. RAM en vCPU tegelijk verhogen isoleert het effect van RAM niet en bewijst geen evenredige versnelling.
Noteer per VPS-configuratie en maximumaantal gelijktijdige taken de resourcelimieten, geheugen- en CPU-metingen, swapactiviteit, voltooide en mislukte extracties, verstreken tijd en het uiteindelijke besluit.
Noem de hoogste waarde in de metingen het hoogste gemeten steekproefresultaat. Steekproeven kunnen korte pieken missen. De Docker-optie --no-stream geeft alleen het eerste resultaat terug en kan de piek van een uitvoering niet bepalen. Laat niet-gemeten waarden onbekend. Een schatting op de lege plek maakt de vergelijking minder betrouwbaar.
De bedrijfsreserve is de capaciteit voor zwaardere pagina's, verschillen tussen uitvoeringen en overlappende taken. Baseer die op de geteste omstandigheden in plaats van op een vast percentage. Als de taak de deadline maar net haalt of geen ruimte laat voor die omstandigheden, verlaag dan het maximumaantal gelijktijdige taken of test een grotere configuratie.
Kies tussen een aanpassing van de configuratie en meer capaciteit

Bereikt een container zijn geheugenlimiet terwijl de host nog RAM over heeft, controleer de limiet dan voordat je de VPS uitbreidt. Staat de host zelf onder druk, vergelijk dan minder gelijktijdige taken met een grotere toewijzing. Kies de volgende wijziging met de tabel en herhaal dezelfde extractie. Vergelijk opgeslagen resultaten, fouten en verstreken tijd.
| Waarneming | Volgende controle of actie | Acceptatiecriterium na wijziging |
|---|---|---|
| Beschikbaar hostgeheugen daalt en aanhoudende swapactiviteit gaat samen met slechte resultaten | Vergelijk de volledige belasting en ondersteunende diensten. Overweeg minder gelijktijdige taken of meer RAM | De herhaalde extractie haalt de deadline met een onderbouwde reserve |
| De container nadert zijn ingestelde geheugenlimiet terwijl de host capaciteit over heeft | Controleer de daadwerkelijke limiet en informatie uit fouten of logs voordat je de limiet bewust aanpast | Test dezelfde belasting opnieuw. Meer RAM op de host bewijst op zichzelf niet dat het probleem is opgelost |
| Browsercrashes geven aanleiding om de configuratie van gedeeld geheugen te controleren | Onderscheid /dev/shm van totaal RAM en bekijk de Docker IPC-richtlijnen voor Chromium |
Test de betreffende configuratie opnieuw. Een foutmelding alleen wijst niet uit of het geheugen is uitgeput |
| De CPU blijft druk of een ingestelde CPU-limiet lijkt een rol te spelen, en de deadline wordt gemist | Controleer quota, belasting, I/O en wachttijden. Beoordeel de limiet voor gelijktijdige taken of de CPU-toewijzing | Meer werk wordt op tijd succesvol afgerond. Ga niet uit van een evenredige versnelling |
| Meer gelijktijdige taken leidt tot meer fouten of een langere looptijd zonder extra nuttige afrondingen | Verlaag het maximum en bekijk het gedrag van de werkbelasting en wachttijden bij externe diensten | De vereiste gegevens worden binnen het tijdvenster succesvol opgehaald |
Hoe Chromium gedeeld geheugen gebruikt, hangt af van de build en startconfiguratie. Controleer bij gebruik van /dev/shm het bestandssysteem voor gedeeld geheugen van de container. Volgens de referentie voor het starten van containers bepaalt --shm-size de grootte van /dev/shm. De standaardwaarde is 64m. Deze instelling bepaalt de bestandssysteemgrootte en niet de totale hoeveelheid RAM van de container. De Docker-geheugenlimiet voor Playwright verhogen en gedeeld geheugen aanpassen zijn verschillende ingrepen.
De Docker-configuratierichtlijnen van Playwright raden --ipc=host aan voor Chromium en --init voor procesbeheer. Bij het crawlen van niet-vertrouwde sites raden ze een aparte gebruiker en een seccomp-profiel aan. Een browser als root draaien schakelt de Chromium-sandbox uit. Pas de relevante crawlconfiguratie volledig toe. Een IPC-instelling is geen algemeen beveiligingsadvies en een end-to-end-testvoorbeeld voor vertrouwde sites dient niet als recept voor het crawlen van niet-vertrouwde sites.
Bewaar de gegevens van de goedgekeurde belasting bij de taakconfiguratie. Controleer opnieuw wanneer de paginamix, versies, effectieve limieten of overlap in de planning veranderen.
Als de metingen een andere Linux-host voor het draaien van containers rechtvaardigen, bieden we installatie van Docker met één klik. Kies de toewijzing op basis van de aanvaarde metingen en neem de geteste containerinstellingen mee naar de nieuwe omgeving.
Veelgestelde vragen
Maakt een externe browser lokaal RAM voor de scraper overbodig?
Ook met een externe browser zijn resources nodig voor de lokale runtime of client, extractielogica en uitvoerverwerking, waar die ook draaien. De documentatie over externe verbindingen van Playwright beschrijft een server die los van de aanroepende code draait. Meet de client en de externe dienst afzonderlijk. De architectuur geeft geen numerieke besparing van lokaal geheugen.
Gebruikt Playwright minder RAM bij asynchrone uitvoering?
Niet per se. Vergelijk de asynchrone en huidige implementatie met hetzelfde maximumaantal gelijktijdige taken, dezelfde pagina's en dezelfde uitvoereisen. Noteer het RAM-gebruik, de voltooide extracties en de verstreken tijd voordat je een besparing claimt. De richtlijnen over resourcelimieten van Docker raden aan de geheugenvereisten vóór productie te testen.
Kan ik de RAM-richtwaarde van Selenium Grid gebruiken om een VPS voor scraping te dimensioneren?
De documentatie over dimensionering van Selenium Grid noemt ongeveer 1 CPU en 1 GB RAM per browser als referentie. Ze waarschuwt expliciet dat deze waarde mogelijk niet voor jouw situatie geldt en raadt aan prestaties voortdurend te meten. Gebruik de Grid-referentie met dat voorbehoud. Zij geeft geen algemene capaciteitsformule voor scrapers of minimum voor lokale WebDriver.
Discussie
Reacties
Log in om mee te praten.