Ugrás a fő tartalomra
50% kedvezmény minden csomagra, korlátozott ideig. Már $2.48/mo
Hátralévő idő: 11 perc
Felhőarchitektúra és IT

VPS webes adatkinyeréshez: RAM és CPU méretezése Playwright vagy Selenium használatához

B Szerző: Brendan 11 perc olvasás
A RAM és a processzor mellett látható böngészőablakok egy webes adatkinyeréshez használt VPS méretezését szemléltetik.

Ha a Playwright vagy a Selenium segítségével futó adatkinyerés lelassul a VPS-en vagy túllépi a határidőt, több RAM segíthet. Az időtúllépés önmagában nem árulja el, melyik erőforrást érdemes bővíteni. A VPS méretezéséhez mérd a teljes feladatot, beleértve a böngészőfolyamatokat, az eredmények írását és a gazdagépen futó szolgáltatásokat. Utána állítsd be a párhuzamosságot, és ellenőrizd, hogy időben mentésre kerülnek-e a szükséges adatok.

Teszteld a kiszemelt VPS-konfigurációt a saját terheléseddel

Korlátozott párhuzamosságú és kevés kísérő szolgáltatással futó böngészős feladatnál 4 GB RAM-mal és 2 vCPU-val kezdeném a tesztet. Próbálj ki 8 GB RAM-ot és 4 vCPU-t, ha a kisebb konfiguráció nem végez időben, vagy túl kevés erőforrást hagy a többi szolgáltatásnak. Ezek kiindulópontok a teszteléshez. Nem hivatalos Playwright- vagy Selenium-minimumok, és nem garantálnak meghatározott böngészőszámot.

Kiindulópont Mikor érdemes kipróbálni
4 GB RAM / 2 vCPU Böngészős feladat szabályozott párhuzamossággal és kevés kísérő szolgáltatással
8 GB RAM / 4 vCPU A mérések szerint a kisebb konfiguráció kevés a feladathoz vagy a kísérő szolgáltatásokhoz
Más RAM- és CPU-arány A mérések olyan igényt mutatnak, amelyet az első két konfiguráció nem fedez
Kevesebb párhuzamos feladat vagy kevesebb böngészőmunka A további párhuzamos munka rontja a teljesítést, vagy a szükséges adatok renderelés nélkül elérhetők

A meglévő gazdagép is maradjon a lehetőségek között. Ha a kívánt üzemi feltételek mellett már teljesíti az adatkinyerést, az adatok indokolhatják a megtartását. Új gép tesztelésekor nézd meg Linux VPS-csomagjainkat, és válassz a terheléshez megfelelő RAM-ot és vCPU-t. Root hozzáférést biztosítunk, így telepítheted a Playwright vagy a Selenium csomagot, és beállíthatod a tesztelendő böngészőkörnyezetet és erőforráskorlátokat.

Ellenőrizd azt is, hogy az adatokhoz kell-e renderelt oldal. Ha egy engedélyezett HTTP- vagy API-útvonal visszaadja a szükséges adatokat, külön mérd fel azt a terhelést. Az összehasonlításnál tartsd meg a kimeneti követelményeket. Kevesebb mező visszaadása vagy a nehéz oldalak kihagyása módosítja a feladatot. A teljes és hiányos adatkinyerés kapacitásigényének összevetése nem ad használható eredményt.

Számolj a teljes böngészőterheléssel

Ábra a VPS erőforráskeretébe tartozó adatkinyerő konténerről, kísérő szolgáltatásokról és szabad kapacitásról

Ha az adatkinyerő egy adatbázis mellett fut, a futtatókörnyezetnek, a böngészőfolyamatoknak, az aktív oldalaknak és az adatbázis munkájának együtt kell beleférnie a rendelkezésre álló erőforrásba. A Chromium többfolyamatos architektúrája elkülöníti a böngészőfolyamatot a renderelő és más típusú folyamatoktól. Egyetlen folyamat mérésének értelmezése előtt érdemes számba venni a teljes terhelést.

A böngészőpéldány egy futó böngésző, amelyet az automatizálási kód vezérel. A Playwrightban a kontextus elkülöníti a böngésző állapotát, az oldalak pedig egy kontextushoz tartoznak. A Playwright böngészőkontextusokról szóló dokumentációja az inkognitómódhoz hasonló elkülönítést ír le, és több kontextust enged egy böngészőben. A kontextusok létrehozásának kis erőforrásigényét említi, de nem ad meg RAM-értéket. Számolj a kontextusokban dolgozó oldalakkal.

Ugyanez a dokumentáció megkülönbözteti a könyvtárral kézzel létrehozott kontextusokat a Playwright Test által automatikusan létrehozottaktól. A könyvtárat használó adatkinyerőnek saját párhuzamossági korlát kell. A tesztfuttató munkafolyamatainak beállításai ezt nem adják meg. Külön rögzítsd a böngészőpéldányok, kontextusok és aktív oldalak számát. Ne helyettesítsd az egyik számot a másikkal, és ne tételezz fel állandó arányt a lapok és a Chromium-folyamatok között.

A Seleniumnál rögzítsd az illesztőprogram-munkameneteket és böngészőfolyamataikat. A munkamenetek dokumentációja külön tárgyalja a helyi és a távoli futást, és a munkamenet végéhez a quit használatát javasolja. Egy ablak bezárása más művelet. A Playwright kontextuszáró API-ja bezárja a kontextus oldalait. Minden futás után azonos módon takaríts, és ne hagyj befejezett munkameneteket a következő próba kezdetére.

Az erőforrások mérése előtt írd össze a konfigurációt:

  • Operációs rendszer, architektúra, valamint a futtatókörnyezet, az automatizálási csomag és a böngészők verziója.
  • Natív vagy konténeres végrehajtás, valamint a futtatókörnyezet, a böngésző és a kimenetet feldolgozó szolgáltatások futási helye.
  • Böngészőpéldányok, Playwright-kontextusok és aktív oldalak vagy Selenium-munkamenetek, a párhuzamossági korlát és a lezárás módja.
  • A célok és oldalak összetétele, adatkinyerési műveletek, eredmények írása, letöltések, naplók és tárhelyigények.
  • A gazdagépet megosztó kísérő szolgáltatások, például adatbázisok, várólisták és megfigyelés.
  • A konténer memória-, CPU- és IPC-beállításai, ha relevánsak.
  • Ütemezés, várható átfedések, szokásos futásidő és befejezési határidő.

Rögzíts minden asztali környezettől való függést. A felügyelet nélküli és a grafikus felület nélküli működés két külön feltétel. Az asztali felületet kezelő folyamatnak továbbra is grafikus munkamenet kell. A grafikus és a headless működés közötti határ akkor számít, ha az automatizálás túlnyúlik a böngészőoldalakon. Vedd fel ezt a pluszmunkát a konfiguráció leírásába, hogy az erőforrásigényét ne a Playwrightnak vagy a Seleniumnak tulajdonítsd.

Mérj reprezentatív futást a párhuzamosság növelése előtt

Kezdj egyetlen aktív adatkinyeréssel, és mérd a sikeres befejezések számát és az eltelt időt. Ezután fokozatosan emeld a párhuzamossági korlátot változatlan terhelés mellett. Javaslom, hogy a gazdagép megfigyeléseivel együtt rögzítsd a konténer adatait is, ha van ilyen. Mielőtt üzemi korlátként alkalmazod, ellenőrizd normál működés és ütemezett átfedés közben.

A meglévő, engedélyezett adatkinyerési feladatot használd. Az alábbi parancsok a gépet és a konténert figyelik. Nem indítanak adatkinyerőt és nem állítanak fel teljesítménytesztet. A Linux-gazdagéphez parancssori hozzáférés kell. A Docker megfigyeléséhez a démonhoz is hozzá kell férni, és meglévő konténer szükséges. A scraper helyére írd a konténer nevét.

  1. Rögzítsd a beállításokat és az alapértékeket. Egészítsd ki a konfiguráció leírását, és az adatkinyerés előtt jegyezd fel a gazdagép memória- és CPU-viselkedését. Hagyd a kísérő szolgáltatásokat a szokásos állapotukban. Natív futásnál folyamatmegfigyeléssel vedd számba a futtatókörnyezetet és a teljes böngészőfolyamat-fát. Hagyd ki a Docker-parancsokat és a konténermezőket. Konténereknél állapítsd meg, mely folyamatok futnak az egyes konténerekben és melyek azokon kívül.

  2. Figyeld a gazdagépet és a tényleges konténerkorlátokat. A gazdagép parancsait a gazdagépen futtasd, a folyamatos megfigyelést pedig a feladat közben külön terminálokban végezd:

free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper

A free -h pillanatfelvételt mutat könnyen olvasható egységekben. A procps free kézikönyve szerint az available a becsült memória, amelyet új alkalmazások lapozás nélkül használhatnak. A terheléssel együtt értékeld a becslést. A free oszlop csak a nem használt memóriát számolja, így szűkebb kérdésre válaszol. Futtatás közben ismételd meg a mérést, és jegyezd fel a legalacsonyabb mért elérhető értéket.

A vmstat -y 1 másodpercenként közöl adatokat. A procps vmstat kézikönyve szerint a -y kihagyja az első jelentést, amely egyébként az indulás óta gyűjtött statisztikát tartalmazza. A si és so mezők a másodpercenként be- és kilapozott memória mennyiségét mutatják. A CPU-mezők között az id a tétlen idő, a wa az I/O-várakozás, a st pedig a virtuális géptől elvont CPU-idő. Vesd össze az adatokat a feladat haladásával és hibáival. Önmagukban nem azonosítják a kiváltó okot.

A Docker inspect parancsreferenciája leírja a JSON-konfigurációs kimenetet és a konténertípus szűrőjét. Rögzítsd a tényleges memória-, CPU- és IPC-beállításokat. Megosztás előtt ellenőrizd, hogy a kimenet nem tartalmaz-e bizalmas környezeti változókat. A Docker erőforráskorlátokról szóló dokumentációja megkülönbözteti a --memory felső határt az olyan CPU-korlátoktól, mint a --cpus és a CPU-kvóta. A kvóta a CPU-futásidőt korlátozza. A gazdagép vCPU-inak száma önmagában nem mutatja meg a konténernek jutó erőforrást. Jegyezd fel a be nem állított korlátokat, és ellenőrizd a swap beállításait.

A Docker stats parancsreferenciája elmagyarázza a CPU, a memóriahasználat és -korlát, a hálózat és a blokkos I/O élő értékeit. Linuxon a CLI levonja a gyorsítótárat a memóriahasználatból, így más forrás eltérhet. A PIDS a folyamatokat és kernelszálakat tartalmazza, nem a böngészők számát. A gazdagép megfigyelései már tartalmazzák a konténer tevékenységét. Ne add össze a memóriaértékeket külön erőforráskeretként. Hagyd meg a kijelzett egységeket, például GiB, MiB, GB vagy nyers bájt. A folyamatos megfigyelést a Ctrl-C billentyűkkel állítsd le.

  1. Futtass egyetlen aktív adatkinyerést az oldaltípusok teljes körén. Vegyél bele jellemző könnyebb és nehezebb oldalakat, valamint indítást, navigációt, adatkinyerést és eredményírást. Rögzítsd a sikeres és sikertelen feladatokat és a teljes időt. A feladat akkor fejeződött be, amikor a szükséges kimenet mentésre került. A végül sikeres újrapróbálkozást egyszer számold késznek, a sikertelen kísérleteket pedig őrizd meg a hibanaplóban. Ez javasolt számlálási módszer, nem az eszköz alapértelmezése.

  2. Fokozatosan emeld a korlátot. Ne változtasd a verziókat, topológiát, oldaltípusokat, kimenetet és egyéb beállításokat. Minden korlátról külön feljegyzést vezess. Állj meg, ha nem nő a hasznos teljesítések száma, több a hiba, túlléped a határidőt, vagy elfogy a tartalék. Ezek ajánlott teszthatárok, nem általános kihasználtsági küszöbök. Önmagában a több folyamatban lévő munka nem javulás.

  3. Ellenőrizd a tartós működést és az átfedéseket. A választott korláttal futtass a szokásos feladatidőn át, valamint a kísérő szolgáltatásokkal vagy más ütemezett adatkinyeréssel várható átfedésben. A konfiguráció elfogadása előtt ismételd meg a futást. Másik géppel való összevetéskor tartsd azonosnak a feladatot, és lehetőség szerint egyszerre egy erőforrást változtass. A RAM és a vCPU együttes növelése nem különíti el a RAM hatását, és nem bizonyít arányos gyorsulást.

Minden VPS-konfiguráció és párhuzamossági korlát esetén rögzítsd az erőforráskorlátokat, a memória- és CPU-adatokat, a swaptevékenységet, a sikeres és sikertelen adatkinyeréseket, az eltelt időt és a végső döntést.

A minták legnagyobb értékét nevezd a mintákban mért legmagasabb értéknek. A mintavétel kihagyhat rövid csúcsokat. A Docker --no-stream kapcsolója csak az első adatot adja vissza, és nem határozhatja meg a futás csúcsértékét. A nem mért értékeket hagyd ismeretlenül. A hiányok becsléssel való feltöltése gyengíti az összevetést.

Az üzemi tartalék a nehezebb oldalakra, a futások közti eltérésekre és az átfedő feladatokra megmaradó kapacitás. Rögzített százalék helyett a kipróbált körülményekből indulj ki. Ha a feladat éppen csak belefér a határidőbe, vagy nem marad tartalék a fenti helyzetekre, csökkentsd a párhuzamossági korlátot, vagy próbálj nagyobb konfigurációt.

Dönts a beállítás módosítása és a kapacitás növelése között

Hibakeresési táblázat a memóriaterheléshez, a böngészőleállásokhoz és a CPU-szűk keresztmetszetekhez tartozó következő tesztekkel

Ha a konténer eléri a memóriakorlátot, miközben a gazdagépen még van szabad RAM, a VPS bővítése előtt ellenőrizd a korlátot. Ha a gazdagépen szűkösek az erőforrások, vesd össze a kevesebb párhuzamos feladatot a nagyobb erőforráskerettel. A táblázatból válaszd ki a következő módosítást, ismételd meg ugyanazt az adatkinyerést, és hasonlítsd össze a teljes eredményeket, a hibákat és az időt.

Megfigyelt jelenség Következő ellenőrzés vagy beavatkozás Elfogadási feltétel módosítás után
Csökken a gazdagép elérhető memóriája, tartós a swaptevékenység, és romlanak az eredmények Vesd össze a teljes terhelést és a kísérő szolgáltatásokat. Vizsgáld meg a párhuzamosság csökkentését vagy a RAM növelését A megismételt adatkinyerés indokolt tartalékkal teljesíti a határidőt
A konténer közelít a beállított memóriakorláthoz, pedig a gazdagépen van még kapacitás A korlát módosítása előtt ellenőrizd a tényleges értéket, valamint a hibák és naplók bizonyítékait Teszteld újra a terhelést. Több RAM a gazdagépen önmagában nem bizonyítja a hiba javítását
A böngésző összeomlása indokolja a megosztott memória beállításainak ellenőrzését Különböztesd meg a /dev/shm méretét a teljes RAM-tól, és nézd meg a Chromiumhoz szóló Docker IPC-útmutatót Ismételd meg a tesztet az érintett konfigurációval. Egyetlen hibaüzenet nem igazolja a memória kifogyását
A CPU tartósan terhelt, vagy CPU-korlát gyanítható, és a feladat nem készül el időre Ellenőrizd a kvótát, a terhelést, az I/O-t és a várakozást. Mérd fel a párhuzamossági korlátot vagy a CPU-hozzárendelést Több feladat fejeződik be sikeresen időben. Ne feltételezz arányos gyorsulást
Nagyobb párhuzamosság mellett nő a hibák száma vagy az idő, de nincs több hasznos eredmény Csökkentsd a korlátot, és vizsgáld meg a terhelés viselkedését és a külső várakozást A szükséges adatok sikeresen kinyerhetők az időablakon belül

A megosztott memória használata a Chromium buildjétől és indítási beállításaitól függ. Ha a konfiguráció /dev/shm-et használ, vizsgáld meg a konténer megosztott memóriájának fájlrendszerét. A Docker konténerfuttatási referenciája szerint a --shm-size a /dev/shm méretét szabályozza, és alapértéke 64m. A beállítás a megosztott fájlrendszert méretezi, nem a konténer teljes RAM-keretét. A Playwright Docker-memóriakorlátjának emelése és a megosztott memória módosítása külön beavatkozás.

A Playwright Docker-konfigurációs útmutatója a Chromiumhoz a --ipc=host, a folyamatok kezeléséhez a --init beállítást javasolja. Nem megbízható webhelyek bejárásához külön felhasználót és seccomp-profilt ajánl. Ha rootként futtatod a böngészőt, a Chromium elkülönített környezete kikapcsol. A bejáráshoz megfelelő konfigurációt egészében alkalmazd. Egy IPC-beállítás nem általános biztonsági ajánlás, és a megbízható webhelyre szóló végponttól végpontig teszt nem útmutató a nem megbízható oldalak bejárásához.

A bevált terhelés mérési jegyzőkönyvét őrizd meg a feladat beállításaival együtt. Ha az oldalak összetétele, a verziók, a tényleges korlátok vagy az ütemezési átfedések változnak, ellenőrizd újra.

Ha a mérések másik Linux-gazdagépet indokolnak a konténerekhez, egykattintásos Docker-telepítést kínálunk. A bevált terhelés adatai alapján válassz erőforráskeretet, és vidd át a kipróbált konténerbeállításokat.

Gyakori kérdések

Megszünteti a távoli böngésző az adatkinyerő helyi RAM-igényét?

A távoli böngésző mellett is kell erőforrás a helyi futtatókörnyezethez vagy klienshez, az adatkinyeréshez és a kimenet feldolgozásához ott, ahol működnek. A Playwright távoli kapcsolatról szóló dokumentációja a hívó kódtól független szervert ír le. Külön mérd a klienst és a távoli szolgáltatást. Az architektúra önmagában nem ad számszerű becslést a helyi memória megtakarítására.

Kevesebb RAM-ot használ a Playwright aszinkron futtatással?

Nem feltétlenül. Azonos párhuzamossági korlát, oldalak és kimeneti követelmények mellett hasonlítsd össze az aszinkron megvalósítást a jelenlegivel. Rögzítsd a RAM-használatot, a befejezett adatkinyeréseket és az időt, mielőtt megtakarítást állapítasz meg. A Docker erőforráskorlátozási útmutatója szerint az éles üzem előtt érdemes tesztelni az alkalmazás memóriaigényét.

Méretezhetem az adatkinyeréshez használt VPS-t a Selenium Grid RAM-irányértéke alapján?

A Selenium Grid méretezési dokumentációja böngészőnként hozzávetőleg 1 CPU-t és 1 GB RAM-ot ad meg irányértékként, és kifejezetten jelzi, hogy ez nem minden környezetre érvényes. Folyamatos teljesítménymérést javasol. A Gridre vonatkozó támpontot ezzel a fenntartással használd. Az érték nem általános képlet az adatkinyerő méretezésére és nem helyi WebDriver-minimum.

Megosztás

Beszélgetés

Hozzászólások

Jelentkezzen be a beszélgetéshez.

Több a blogról

Folytassa az olvasást.

Készen áll a telepítésre? Már 2,48 $/hó-tól.

Független felhő 2008 óta. AMD EPYC, NVMe, 40 Gbps. 14 napos pénzvisszafizetési garancia.