Přejít na hlavní obsah
Sleva 50% všechny plány, omezený čas. Od $2.48/mo
Zbývající čas: 11 min
Cloudová architektura a IT

VPS pro web scraping: jak zvolit RAM a CPU pro Playwright nebo Selenium

B Autor: Brendan 11 min čtení
Okna prohlížeče vedle paměti RAM a procesoru znázorňují volbu kapacity VPS pro web scraping.

Pokud se scraper s Playwright nebo Selenium na VPS zpomaluje nebo nestíhá termín, může pomoci více RAM. Samotné vypršení časového limitu ale neukáže, který zdroj navýšit. Kapacitu VPS pro web scraping určete měřením celého úkolu včetně procesů prohlížeče, zápisu výsledků a služeb na stejném hostiteli. Pak upravte souběh a ověřte, zda se požadovaná data uloží včas.

Vyzkoušejte konfiguraci VPS se svou zátěží

U úlohy v prohlížeči s omezeným souběhem a několika doprovodnými službami bych začal s 4 GB RAM a 2 vCPU. Otestujte 8 GB RAM a 4 vCPU, pokud menší konfigurace úkol včas nezvládne nebo neposkytne dost prostoru ostatním službám. Jde o výchozí body pro zkoušky. Nejsou to oficiální minima Playwright ani Selenium a nezaručují určitý počet prohlížečů.

Výchozí konfigurace Kdy ji zkusit
4 GB RAM / 2 vCPU Úloha v prohlížeči s omezeným souběhem a několika doprovodnými službami
8 GB RAM / 4 vCPU Měření ukazuje, že menší konfigurace nestačí pro úlohu nebo doprovodné služby
Jiný poměr RAM a CPU Měření odhalí požadavek, který první dvě konfigurace nesplňují
Menší souběh nebo méně práce v prohlížeči Více paralelní práce zhoršuje dokončování, nebo jsou data dostupná bez vykreslení

Stávajícího hostitele ponechte mezi možnostmi. Pokud již zvládá požadovanou extrakci v potřebných podmínkách, měření může odůvodnit jeho ponechání. Pokud testujete nového hostitele, projděte si naše tarify VPS s Linuxem a vyberte RAM a vCPU podle zátěže. Poskytujeme přístup root, abyste mohli nainstalovat Playwright nebo Selenium a nastavit prostředí prohlížeče a zkoušené limity zdrojů.

Ověřte také, zda data vyžadují vykreslenou stránku. Pokud potřebná data poskytne povolený přístup přes HTTP nebo API, posuďte tuto zátěž samostatně. Při porovnání zachovejte stejné požadavky na výstup. Menší počet polí nebo vynechání obtížných stránek mění úlohu. Srovnávat kapacitu pro úplnou a neúplnou extrakci nemá smysl.

Započítejte celou zátěž prohlížeče

Schéma kontejneru scraperu, doprovodných služeb a volné kapacity v rámci zdrojů VPS

Běží-li scraper vedle databáze, musí se jeho běhové prostředí, procesy prohlížeče, aktivní stránky i databázová práce vejít do dostupných zdrojů. Víceprocesová architektura Chromium odděluje hlavní proces prohlížeče od vykreslovacích a jiných procesů. Před výkladem hodnot jednotlivého procesu doporučuji zahrnout celou zátěž.

Instance prohlížeče je spuštěný prohlížeč řízený automatizačním kódem. V Playwright kontext izoluje stav prohlížeče a stránky jsou součástí kontextu. Dokumentace kontextů prohlížeče popisuje izolaci podobnou anonymnímu režimu a umožňuje více kontextů v jediném prohlížeči. Vytváření kontextů popisuje jako nenáročné, neuvádí však množství RAM. Započítejte stránky, které v nich pracují.

Stejná dokumentace rozlišuje kontexty vytvářené ručně pomocí knihovny od těch, které automaticky vytváří Playwright Test. Scraper využívající knihovnu potřebuje vlastní horní mez souběhu. Nastavení pracovních procesů nástroje pro spouštění testů ji neurčuje. Zaznamenávejte zvlášť počet instancí prohlížeče, kontextů a aktivních stránek. Počty nezaměňujte a nepředpokládejte pevný poměr mezi kartami a procesy Chromium.

U Selenium zaznamenejte relace ovladače a jejich procesy prohlížeče. Dokumentace relací ovladače rozlišuje místní a vzdálené spuštění a k ukončení relace doporučuje quit. Zavření okna je jiná operace. V Playwright API pro zavření kontextu zavře stránky v daném kontextu. Mezi zkouškami uklízejte stejným způsobem a nenechávejte dokončené relace do začátku dalšího testu.

Před sběrem hodnot si zapište konfiguraci:

  • Operační systém, architektura a verze běhového prostředí, automatizačního balíčku a prohlížečů.
  • Nativní běh nebo běh v kontejneru a umístění běhového prostředí, prohlížeče a služeb pro zpracování výstupu.
  • Instance prohlížeče, kontexty Playwright a aktivní stránky nebo relace Selenium, mez souběhu a postup úklidu.
  • Složení cílů a stránek, extrakční operace, zápis výsledků, stahování, protokoly a požadavky na úložiště.
  • Doprovodné služby na stejném hostiteli včetně databází, front a monitorování.
  • Nastavení paměti, CPU a IPC kontejneru, pokud se používá.
  • Harmonogram, očekávané překryvy běhů, běžná doba trvání a termín dokončení.

Zaznamenejte případné závislosti na prostředí plochy. Běh bez dozoru a běh bez grafického rozhraní jsou různé věci. Postup, který ovládá pracovní plochu, stále potřebuje grafickou relaci. Rozlišení mezi GUI a režimem headless je důležité, pokud automatizace sahá mimo stránky prohlížeče. Zahrňte tuto práci do záznamu, aby se její spotřeba nepřipsala Playwright nebo Selenium.

Před zvýšením souběhu změřte reprezentativní běh

Začněte jednou aktivní extrakcí a změřte počet úspěšných dokončení a uplynulý čas. Pak postupně zvyšujte mez souběhu při stejné zátěži. Doporučuji zapisovat pozorování hostitele a podle potřeby i kontejnerů. Zvolenou mez ověřte při běžném provozu a plánovaném překryvu, než ji přijmete pro nasazení.

Použijte stávající povolenou extrakční úlohu. Níže uvedené příkazy pozorují stroj a kontejner, nespouštějí scraper ani neurčují výkonnostní test. Potřebujete přístup k shellu hostitele s Linuxem. Pro sledování Docker potřebujete také přístup k démonu a existující kontejner. Nahraďte scraper názvem kontejneru.

  1. Zaznamenejte konfiguraci a výchozí hodnoty. Doplňte záznam a sledujte chování paměti a CPU hostitele před spuštěním extrakce. Nechte doprovodné služby v běžném stavu. U nativního běhu využijte pozorování procesů k započtení běhového prostředí a celého stromu procesů prohlížeče. Vynechte příkazy Docker a údaje o kontejnerech. U kontejnerů zjistěte, které procesy běží uvnitř každého kontejneru a které zůstávají venku.

  2. Sledujte hostitele a skutečné limity kontejneru. Příkazy pro hostitele spusťte přímo na něm. Průběžné sledování nechte během práce běžet v samostatných terminálech:

free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper

free -h vypíše snímek ve čitelných jednotkách. Příručka free z procps definuje available jako odhad paměti, kterou mohou nové aplikace využít bez swapu. Vyhodnoťte odhad spolu se zátěží. Sloupec free počítá pouze nepoužitou paměť. Odpovídá tedy na užší otázku. Pořizujte snímky i během běhu a uchovejte nejnižší pozorovanou hodnotu dostupné paměti.

vmstat -y 1 vypisuje měření každou sekundu. Podle příručky vmstat z procps volba -y vynechá první sestavu, která jinak zahrnuje statistiky od startu. Pole si a so zobrazují množství paměti načtené ze swapu a zapsané do něj za sekundu. Mezi poli CPU je id pro dobu nečinnosti, wa pro čekání na I/O a st pro čas CPU odebraný virtuálnímu stroji. Srovnávejte údaje s postupem úlohy a chybami. Samy neurčují příčinu.

Referenční dokumentace k příkazu inspect Docker popisuje výstup konfigurace v JSON a filtr typu kontejneru. Zapište účinné nastavení paměti, CPU a IPC. Před sdílením zkontrolujte, zda výstup neobsahuje tajné hodnoty z proměnných prostředí. Dokumentace omezení zdrojů Docker rozlišuje strop --memory od omezení CPU, jako jsou --cpus a kvóta CPU. Kvóta omezuje čas vykonávání na CPU. Počet vCPU hostitele sám nepopisuje příděl kontejneru. Zapište i nenastavené limity a zkontrolujte nastavení swapu.

Referenční dokumentace k příkazu stats Docker vysvětluje průběžné hodnoty CPU, využití a limitu paměti, sítě a blokového I/O. V Linuxu CLI odečítá mezipaměť od využité paměti, takže se výsledky mohou lišit od jiného zdroje. PIDS zahrnuje procesy a vlákna jádra, nikoli počet prohlížečů. Měření hostitele už zahrnuje aktivitu kontejneru. Nesčítejte údaje o paměti jako dvě nezávislé kapacity. Zachovejte zobrazené jednotky včetně GiB, MiB, GB a nepřepočtených bajtů. Průběžné sledování ukončete pomocí Ctrl-C.

  1. Spusťte jednu aktivní extrakci na různých typech stránek. Zahrňte reprezentativní lehčí i těžší stránky, spuštění, navigaci, extrakci a zápis výsledků. Zaznamenejte dokončené a neúspěšné extrakce a celkový čas. Úloha je dokončena po uložení požadovaného výstupu. Výsledek úspěšného opakovaného pokusu započtěte jednou a neúspěšné pokusy ponechte v protokolu chyb. Jde o navržený způsob počítání, ne o výchozí nastavení nástroje.

  2. Zvyšujte mez postupně. Neměňte verze, topologii, skladbu stránek, výstup ani další nastavení. Veďte samostatný záznam pro každou mez. Přestaňte zvyšovat, když se nezlepšuje počet užitečných dokončení, rostou chyby, nestíhá se termín nebo zbývá malá rezerva. Jsou to doporučené hranice pro test, ne univerzální prahy vytížení. Pouhý nárůst rozpracované práce není zlepšení.

  3. Ověřte trvalý provoz a překryvy. Otestujte vybranou mez po běžnou dobu úlohy a při očekávaném překryvu s doprovodnými službami nebo jinou naplánovanou extrakcí. Před přijetím konfigurace test zopakujte. Při porovnání jiného hostitele držte práci stejnou a měňte pokud možno jediný zdroj najednou. Společné navýšení RAM a vCPU neoddělí účinek RAM ani neprokáže úměrné zrychlení.

U každé konfigurace VPS a meze souběhu zaznamenejte limity zdrojů, hodnoty paměti a CPU, aktivitu swapu, dokončené a neúspěšné extrakce, uplynulý čas a konečné rozhodnutí.

Nejvyšší hodnotu ze vzorků nazývejte nejvyšší pozorovanou hodnotou ve vzorcích. Vzorkování může vynechat krátké špičky. Volba Docker --no-stream vrátí jen první výsledek a nemůže určit špičku celého běhu. Neměřené hodnoty ponechte jako neznámé. Doplnění odhadu by porovnání oslabilo.

Provozní rezerva je zbývající kapacita pro náročnější stránky, rozdíly mezi běhy a překrývající se práci. Odvoďte ji z testovaných podmínek místo pevného procenta. Pokud úloha jen těsně stíhá termín nebo pro tyto podmínky nezbývá kapacita, snižte mez souběhu nebo otestujte větší konfiguraci.

Rozhodněte mezi změnou nastavení a zvýšením kapacity

Diagnostická tabulka, která přiřazuje další test k tlaku na paměť, pádům prohlížeče a omezením CPU

Pokud kontejner dosáhne limitu paměti a hostitel má ještě volnou RAM, zkontrolujte limit před rozšířením VPS. Pokud zdroje chybějí samotnému hostiteli, porovnejte menší souběh s větším přídělem. Zvolte další změnu pomocí tabulky, opakujte stejnou extrakci a porovnejte hotové výsledky, chyby a uplynulý čas.

Pozorovaný jev Další kontrola nebo krok Podmínka přijetí po změně
Dostupná paměť hostitele klesá a dlouhodobá aktivita swapu provází horší výsledky Porovnejte celou zátěž a doprovodné služby. Zvažte menší souběh nebo více RAM Opakovaná extrakce stihne termín s odůvodněnou rezervou
Kontejner se blíží nastavenému limitu paměti a hostitel má rezervu Než limit upravíte, prověřte jeho skutečnou hodnotu a důkazy z chyb nebo protokolů Otestujte zátěž znovu. Více RAM na hostiteli samo o sobě řešení nepotvrzuje
Pády prohlížeče dávají důvod zkontrolovat sdílenou paměť Rozlišujte /dev/shm a celkovou RAM a projděte pokyny Docker IPC pro Chromium Znovu vyzkoušejte příslušné nastavení. Samotné chybové hlášení neprokazuje vyčerpání paměti
CPU zůstává vytížený nebo se projevuje jeho nastavený limit a úloha nestihne termín Zkontrolujte kvótu, zátěž, I/O a čekání. Posuďte mez souběhu nebo příděl CPU Do termínu se úspěšně dokončí více práce. Nepředpokládejte úměrné zrychlení
Vyšší souběh prodlužuje čas nebo zvyšuje počet chyb bez zvýšení užitečných výsledků Snižte mez a prověřte chování zátěže a čekání na vnější operace Potřebná data se úspěšně vytěží ve stanoveném čase

Využití sdílené paměti v Chromium závisí na sestavení a nastavení spuštění. U sestav s /dev/shm zkontrolujte souborový systém sdílené paměti kontejneru. Dokumentace ke spouštění kontejneru v Docker uvádí, že --shm-size řídí velikost /dev/shm a bez uvedení platí 64m. Jde o velikost tohoto souborového systému, nikoli o celkovou RAM kontejneru. Zvýšit limit paměti Docker pro Playwright a upravit sdílenou paměť jsou rozdílné zásahy.

Doporučení pro nastavení Docker od Playwright uvádí --ipc=host pro Chromium a --init pro správu procesů. Pro procházení nedůvěryhodných webů doporučuje zvláštního uživatele a profil seccomp. Spuštění prohlížeče jako root vypne sandbox Chromium. Použijte celé nastavení vhodné pro dané procházení. Volba IPC není obecné bezpečnostní doporučení a ukázka koncového testu na důvěryhodném webu neslouží jako návod pro nedůvěryhodné weby.

Uchovejte záznam o přijaté zátěži s konfigurací úlohy. Změní-li se skladba stránek, verze, skutečné limity nebo překryvy harmonogramu, proveďte kontrolu znovu.

Pokud měření odůvodní použití jiného hostitele s Linuxem pro kontejnery, nabízíme nasazení Docker jedním kliknutím. Vyberte příděl podle ověřené zátěže a přeneste otestovaná nastavení do nasazení.

Časté dotazy

Odstraní vzdálený prohlížeč potřebu místní RAM pro scraper?

U vzdáleného prohlížeče stále potřebujete zdroje pro místní běhové prostředí či klienta, extrakční logiku a zpracování výstupu tam, kde běží. Dokumentace ke vzdálenému připojení Playwright popisuje server, který běží odděleně od volajícího kódu. Měřte klienta a vzdálenou službu samostatně. Tato architektura sama neurčuje číselnou úsporu místní paměti.

Spotřebuje Playwright při asynchronním běhu méně RAM?

Ne nutně. Porovnejte asynchronní a současnou implementaci při stejné mezi souběhu, stejných stránkách a požadavcích na výstup. Zaznamenejte RAM, dokončené extrakce a uplynulý čas, než prohlásíte úsporu. Pokyny pro omezení zdrojů Docker doporučují vyzkoušet paměťové nároky aplikace před provozem.

Lze použít orientační požadavek Selenium Grid na RAM k dimenzování VPS pro scraping?

Dokumentace k dimenzování Selenium Grid uvádí přibližně 1 CPU a 1 GB RAM na prohlížeč a výslovně upozorňuje, že tento údaj nemusí odpovídat vašemu použití. Doporučuje průběžné měření výkonu. Použijte tento orientační údaj pro Grid s uvedenou výhradou. Nejde o vzorec kapacity scraperu ani o minimum pro místní WebDriver.

Sdílet

Diskuse

Komentáře

Přihlaste se a zapojte se do diskuse.

Další z blogu

Pokračuj ve čtení.

Hotov k nasazení? Od 2,48 $/měs.

Nezávislý cloud od roku 2008. AMD EPYC, NVMe, 40 Gbps. Vrácení peněz do 14 dnů.