Hvis din Playwright- eller Selenium-scraper bliver langsommere på en VPS eller overskrider tidsfristen, kan mere RAM hjælpe. En timeout alene viser dog ikke, hvad du bør opgradere. Mål hele opgaven, inklusive browserprocesser, skrivning af resultater og tjenester på samme vært, før du dimensionerer en VPS til webscraping. Justér derefter antallet af samtidige opgaver, og kontrollér, at de nødvendige data bliver gemt til tiden.
Test en VPS-konfiguration med din arbejdsbelastning
Til en browseropgave med begrænset samtidighed og få hjælpetjenester ville jeg begynde med 4 GB RAM og 2 vCPU. Prøv 8 GB RAM og 4 vCPU, hvis den mindre konfiguration ikke bliver færdig til tiden eller efterlader for lidt plads til de andre tjenester. Det er udgangspunkter for testen. De er hverken officielle minimumskrav for Playwright eller Selenium eller garantier for et bestemt antal browsere.
| Udgangspunkt | Hvornår du bør teste det |
|---|---|
| 4 GB RAM / 2 vCPU | En browseropgave med begrænset samtidighed og få hjælpetjenester |
| 8 GB RAM / 4 vCPU | Målinger viser, at den mindre konfiguration mangler kapacitet til opgaven eller hjælpetjenesterne |
| En anden fordeling mellem RAM og CPU | Målinger viser et behov, de to første konfigurationer ikke dækker |
| Færre samtidige opgaver eller mindre arbejde i browseren | Flere parallelle opgaver forringer gennemførelsen, eller dataene kan hentes uden at gengive siden |
Behold den nuværende vært som mulighed. Hvis den allerede gennemfører udtrækningen under de krævede driftsforhold, kan målingerne tale for at beholde den. Tester du en ny vært, kan du se vores Linux VPS-abonnementer og finde en RAM- og vCPU-konfiguration, der passer til belastningen. Vi giver root-adgang, så du kan installere Playwright eller Selenium og konfigurere browsermiljøet og de ressourcegrænser, du vil teste.
Kontrollér også, om dataene kræver en gengivet side. Hvis en godkendt HTTP- eller API-adgang leverer de nødvendige data, så vurder den belastning separat. Hold kravene til resultatet uændrede ved sammenligningen. Færre felter eller udeladelse af vanskelige sider ændrer opgaven. En sammenligning mellem fuldstændig og ufuldstændig udtrækning giver ikke et brugbart kapacitetsgrundlag.
Medregn hele browserbelastningen

Når en scraper kører sammen med en database, skal kørselsmiljøet, browserprocesserne, de aktive sider og databasearbejdet passe inden for de tilgængelige ressourcer. Chromiums flerprocesarkitektur adskiller browserprocessen fra gengivelsesprocesser og andre procestyper. Jeg anbefaler at medregne hele belastningen, før du fortolker et enkelt procesmålepunkt.
En browserinstans er en kørende browser, som styres af automatiseringskoden. I Playwright isolerer en kontekst browserens tilstand, og siderne tilhører en kontekst. Playwrights dokumentation om browserkontekster beskriver en isolation som i inkognitotilstand og tillader flere kontekster i én browser. Den beskriver kontekstoprettelse som ressourcelet uden at angive et bestemt RAM-forbrug. Medregn de sider, som arbejder i konteksterne.
Den samme dokumentation skelner mellem kontekster, der oprettes manuelt med biblioteket, og kontekster, som Playwright Test opretter automatisk. En scraper, der bruger biblioteket, skal have sit eget loft for samtidige opgaver. Testkørerens workerindstillinger fastlægger ikke det loft. Registrér browserinstanser, kontekster og aktive sider hver for sig. Brug ikke et tal i stedet for et andet, og antag ikke et fast forhold mellem faner og Chromium-processer.
Registrér Seleniums driversessioner og deres browserprocesser. Dokumentationen om driversessioner skelner mellem lokal kørsel og fjernkørsel og anbefaler quit til at afslutte sessionen. At lukke et vindue er en anden handling. I Playwright lukker API'et til lukning af en kontekst kontekstens sider. Brug samme oprydningsmetode efter hver kørsel. Lad ikke afsluttede sessioner stå åbne ved næste test.
Notér konfigurationen, før du måler ressourcerne:
- Operativsystem, arkitektur samt versioner af kørselsmiljø, automatiseringspakke og browsere.
- Direkte kørsel eller containerkørsel samt placering af kørselsmiljø, browser og tjenester, der håndterer resultater.
- Browserinstanser, Playwright-kontekster og aktive sider eller Selenium-sessioner samt samtidighedsloftet og metoden til oprydning.
- Fordeling af mål og sider, udtræksoperationer, skrivning af resultater, downloads, logfiler og lagerbehov.
- Hjælpetjenester på værten, herunder databaser, køer og overvågning.
- Containerens hukommelses-, CPU- og IPC-indstillinger, hvis det er relevant.
- Tidsplan, forventet overlap mellem kørsler, sædvanlig varighed og tidsfrist.
Notér alle afhængigheder af et skrivebordsmiljø. Uovervåget kørsel og kørsel uden grafik er forskellige forhold. En arbejdsgang, der styrer en skrivebordsgrænseflade, kræver stadig en grafisk session. Forskellen mellem GUI og headless kørsel er relevant, hvis automatiseringen går ud over browsersider. Medtag ekstraarbejdet i konfigurationsoversigten, så du ikke tilskriver Playwright eller Selenium dets ressourcebehov.
Mål en repræsentativ kørsel, før du øger samtidigheden
Start én aktiv udtrækning, og mål antallet af gennemførte udtrækninger og den forløbne tid. Hæv derefter loftet for samtidige opgaver gradvist med uændret belastning. Jeg anbefaler at registrere målinger fra værten sammen med eventuelle containermålinger. Afprøv loftet under normal drift og planlagt overlap, før du gør det til driftsgrænsen.
Brug din eksisterende, tilladte udtræksopgave. Kommandoerne nedenfor observerer maskinen og containeren. De starter ikke en scraper og fastlægger ikke en benchmark. Du skal have shell-adgang til Linux-værten. Til Docker-målinger skal du også have adgang til daemonen og en eksisterende container. Erstat scraper med containerens navn.
-
Registrér konfiguration og udgangspunkt. Udfyld konfigurationsoversigten, og notér værtens hukommelses- og CPU-adfærd, før udtrækningen starter. Behold hjælpetjenesterne i deres normale tilstand. Ved direkte kørsel skal du observere processerne og medregne kørselsmiljøet og hele browserens procestræ. Spring Docker-kommandoer og containerfelter over. For containere skal du fastslå, hvilke processer der kører inden i hver container og udenfor.
-
Observér værten og de faktiske containergrænser. Kør værtskommandoerne på selve værten, og lad de løbende målinger køre i separate terminaler under opgaven:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h viser et øjebliksbillede i læsbare enheder. Procps' manual til free beskriver available som et skøn over den hukommelse, nye programmer kan bruge uden swap. Fortolk skønnet sammen med belastningen. Kolonnen free tæller ubrugt hukommelse og besvarer et snævrere spørgsmål. Gentag målingerne under kørslen, og gem den laveste observerede tilgængelige værdi.
vmstat -y 1 giver en måling hvert sekund. Procps' manual til vmstat siger, at -y springer første rapport over, som ellers indeholder statistik siden opstart. Felterne si og so viser hukommelse læst fra og skrevet til swap pr. sekund. CPU-felterne omfatter id for inaktiv tid, wa for I/O-ventetid og st for CPU-tid taget fra den virtuelle maskine. Sammenhold observationerne med opgavens forløb og fejl. De afgør ikke årsagen alene.
Dockers reference til inspect beskriver konfigurationsoutput i JSON og filteret for containertype. Registrér den faktiske hukommelses-, CPU- og IPC-konfiguration. Kontrollér, om outputtet indeholder hemmeligheder fra miljøvariabler, før du deler det. Dockers dokumentation om ressourcegrænser skelner mellem loftet --memory og CPU-grænser som --cpus og CPU-kvoter. En kvote begrænser CPU-kørselstiden. Værtens vCPU-antal fortæller ikke alene, hvor meget containeren kan bruge. Notér også grænser, der ikke er indstillet, og kontrollér swapkonfigurationen.
Dockers reference til stats forklarer de løbende målinger af CPU, hukommelsesforbrug og -grænse, netværk og blok-I/O. På Linux trækker CLI'en cache fra hukommelsesforbruget, så tallet kan afvige fra andre kilder. PIDS omfatter processer og kernetråde og tæller ikke browsere. Værtens målinger omfatter allerede containeraktiviteten. Læg ikke hukommelsesmålingerne sammen som adskilte budgetter. Behold de viste enheder såsom GiB, MiB, GB eller rå bytes. Stop den løbende overvågning med Ctrl-C.
-
Kør én aktiv udtrækning på tværs af sidefordelingen. Medtag repræsentative lette og tunge sider samt opstart, navigation, udtrækning og skrivning af resultater. Registrér gennemførte og mislykkede udtrækninger og samlet tid. En opgave er færdig, når det krævede resultat er gemt. Tæl et vellykket nyt forsøg én gang, og behold de mislykkede forsøg i fejlloggen. Det er en foreslået optællingsmetode, ikke en standard i værktøjet.
-
Hæv loftet gradvist. Hold versioner, topologi, sidefordeling, output og øvrige indstillinger faste. Før en separat protokol for hvert loft. Stop med at hæve, når antallet af nyttige resultater ikke forbedres, fejl stiger, tidsfristen overskrides, eller reserven ikke længere er tilstrækkelig. Det er foreslåede testgrænser og ikke universelle tærskler for ressourceforbrug. Mere igangværende arbejde er ikke i sig selv en forbedring.
-
Validér vedvarende drift og overlap. Kør med det valgte loft i opgavens normale varighed og ved forventet overlap med hjælpetjenester eller en anden planlagt udtrækning. Gentag kørslen før accept. Hold arbejdet konstant ved sammenligning med en anden vært, og ændr om muligt én ressource ad gangen. Samtidig stigning i RAM og vCPU isolerer ikke RAM-effekten og dokumenterer ikke proportional hastighedsforbedring.
For hver VPS-konfiguration og hvert samtidighedsloft skal du registrere ressourcegrænser, målinger af hukommelse og CPU, swapaktivitet, gennemførte og mislykkede udtrækninger, forløbet tid og den endelige beslutning.
Kald den højeste værdi i stikprøverne den højeste observerede stikprøveværdi. Stikprøver kan overse korte udsving. Dockers indstilling --no-stream giver kun det første resultat og kan ikke bestemme kørslens topværdi. Lad ikke-observerede værdier stå som ukendte. Udfyldning med skøn gør sammenligningen mindre pålidelig.
Driftsreserven er den resterende kapacitet til tungere sider, variationer mellem kørsler og overlappende arbejde. Beregn den ud fra de afprøvede forhold frem for en fast procentsats. Hvis opgaven kun lige når sin tidsfrist eller ikke giver plads til disse forhold, så sænk samtidighedsloftet eller afprøv en større konfiguration.
Vælg mellem en konfigurationsændring og mere kapacitet

Hvis en container rammer sin hukommelsesgrænse, mens værten stadig har RAM til overs, så kontrollér grænsen, før du opgraderer VPS'en. Hvis værten selv er presset, så sammenlign lavere samtidighed med større tildeling. Vælg næste ændring ud fra tabellen, gentag samme udtrækning, og sammenlign gennemførte resultater, fejl og forløbet tid.
| Observeret mønster | Næste kontrol eller handling | Acceptkriterium efter ændringen |
|---|---|---|
| Værtens tilgængelige hukommelse falder, og vedvarende swapaktivitet følges af dårligere gennemførelse | Sammenlign hele belastningen og hjælpetjenesterne. Vurdér lavere samtidighed eller mere RAM | Den gentagne udtrækning holder tidsfristen med en begrundet reserve |
| Containeren nærmer sig sin konfigurerede hukommelsesgrænse, mens værten har plads | Kontrollér den faktiske grænse og oplysninger fra fejl eller logfiler, inden du justerer grænsen | Gentest belastningen. Mere RAM på værten beviser ikke i sig selv, at problemet er løst |
| Browsernedbrud giver anledning til at kontrollere indstillinger for delt hukommelse | Skeln mellem /dev/shm og samlet RAM, og se Dockers IPC-vejledning for Chromium |
Gentest den relevante konfiguration. Én fejlmeddelelse kan ikke afgøre, om hukommelsen er opbrugt |
| CPU'en er vedvarende belastet, eller en konfigureret CPU-grænse ser ud til at spille ind, og tidsfristen overskrides | Kontrollér kvote, belastning, I/O og ventetid. Vurdér samtidighedsloftet eller CPU-tildelingen | Mere nyttigt arbejde gennemføres inden tidsfristen. Forvent ikke en proportional hastighedsforbedring |
| Højere samtidighed giver flere fejl eller længere tid uden flere nyttige resultater | Sænk loftet, og undersøg belastningens adfærd og ekstern ventetid | De krævede data udtrækkes inden for tidsvinduet |
Hvordan Chromium bruger delt hukommelse, afhænger af buildet og startkonfigurationen. For konfigurationer med /dev/shm skal du inspicere containerens filsystem til delt hukommelse. Dockers reference til containerkørsel angiver, at --shm-size fastsætter størrelsen på /dev/shm, og at standarden er 64m. Indstillingen dimensionerer det delte filsystem og ikke containerens samlede RAM. En højere Docker-hukommelsesgrænse for Playwright og en ændring af delt hukommelse er forskellige tiltag.
Playwrights vejledning til Docker-konfiguration anbefaler --ipc=host til Chromium og --init til processtyring. Til crawling af websteder, der ikke er betroede, anbefales en særskilt bruger og en seccomp-profil. Kørsel af browseren som root deaktiverer Chromiums sandkasse. Brug hele den relevante crawlingkonfiguration. En IPC-indstilling er ikke en generel sikkerhedsanbefaling, og et eksempel på ende-til-ende-test for betroede websteder er ikke en opskrift på crawling af websteder, der ikke er betroede.
Gem den godkendte måleprotokol sammen med opgavekonfigurationen. Kontrollér igen ved ændringer i sidefordeling, versioner, faktiske grænser eller overlappende tidsplaner.
Hvis målingerne taler for en anden Linux-vært til containerdrift, tilbyder vi installation af Docker med ét klik. Vælg ressourcetildeling ud fra de godkendte målinger, og overfør de afprøvede containerindstillinger til den nye installation.
Ofte stillede spørgsmål
Fjerner en fjernbrowser scraperens behov for lokal RAM?
Med en fjernbrowser skal du stadig afsætte ressourcer til det lokale kørselsmiljø eller klienten, udtrækslogikken og behandlingen af resultater, hvor hvert led kører. Playwrights dokumentation om fjernforbindelser beskriver en server, som kører adskilt fra den kaldende kode. Mål klienten og fjerntjenesten hver for sig. Arkitekturen angiver ikke i sig selv, hvor meget lokal hukommelse du sparer.
Bruger Playwright mindre RAM ved asynkron kørsel?
Ikke nødvendigvis. Sammenlign den asynkrone og den nuværende implementering med samme samtidighedsloft, sider og outputkrav. Registrér RAM-forbrug, gennemførte udtrækninger og tid, før du konkluderer, at der er en besparelse. Dockers vejledning om ressourcegrænser anbefaler at teste programmets hukommelseskrav før produktion.
Kan jeg bruge RAM-referencen fra Selenium Grid til at dimensionere en VPS til scraping?
Seleniums dokumentation om dimensionering af Grid angiver cirka 1 CPU og 1 GB RAM pr. browser og advarer udtrykkeligt om, at tallet måske ikke passer til dine forhold. Dokumentationen anbefaler løbende ydelsesmåling. Brug den Grid-specifikke reference med dette forbehold. Den giver hverken en formel for scraperkapacitet eller et minimum for lokal WebDriver.
Diskussion
Kommentarer
Log ind for at deltage i diskussionen.