Rotující proxy: jak funguje střídání IP a kdy naruší vaši úlohu

Skript na sledování cen měsíce bez problémů kontroloval každou noc stovky produktových stránek. Pak vzrostla četnost, přibyl druhý obchod a logy zaplnily odpovědi 429 a CAPTCHA. Fóra doporučují rotující proxy. Představa více IP a méně blokací je správná jen napůl.

Proxy posílá požadavky přes proměnlivé IP za pevnou bránou. Rozděluje provoz pod limit na IP, ale adresa se může změnit během přihlašování a ověřená relace to často nepřežije. Řeší jeden problém a vytváří další.

Zkrácená verze

• Rotující proxy nabízí jednu bránu s hostitelem a portem, předává požadavky přes IP z poolu a pravidlem určuje okamžik změny.
• Rotace po každém požadavku se hodí pro bezstavové načítání veřejných stránek. Pro přihlášení a košíky volte trvalou relaci nebo statickou proxy, zvlášť při kontrole stálosti IP.
• Pool může správně rotovat a přesto selhat, protože ostatní zákazníci poškozují pověst sdílených IP. Čerstvost a malé sdílení adres vypovídají více než velikost poolu.
• Rotace nepomůže proti limitům účtu, tokenu či cookie. U malého objemu nejprve zpomalte a dodržte čekání z hlavičky Retry-After.

Co je rotující proxy?

Brána předává požadavky přes vybrané IP. Pravidlo je mění po požadavku, podle času či relace. Hostitel a port zůstávají stejné; brána vybírá adresu viditelnou cíli.

Sledujte jeden požadavek:

1. Klient vždy posílá na stejný hostitel a port brány.
2. Brána uplatní pravidlo a vybere výstupní IP.
3. Požadavek odejde z této IP na cílový web.
4. Cíl vidí výstupní IP. Vaše zůstane skrytá, pokud ji brána nepředá například hlavičkou X-Forwarded-For.

Pool, kontroly stavu a přepnutí při výpadku spravuje poskytovatel; skript zná jen hostitel a port. Toto pohodlí vysvětluje službu. Vlastní proxy nezajišťuje rotaci zdarma: obvykle dává jednu stabilní výstupní IP. Platili byste právě za správu poolu.

Bránu s poolem dodavatelé nazývají backconnect proxy. Průvodce proxy servery MDN uvádí bránu jako jednodušší název pro forward proxy. Zda jde o rezidenční, datacentrové či mobilní IP, nesouvisí s četností změn.

Co určuje okamžik změny IP?

Záleží na pravidle a poskytovateli: změna po požadavku nebo spojení, pevné časové okno či výslovný příkaz. Klient nebo správce proxy může rotovat i před opakováním neúspěšného požadavku. Ověřte význam „po požadavku“: více HTTPS požadavků může sdílet tunel a IP. Brána předávající šifrované HTTPS obvykle nevidí stavový kód cíle, aby sama spustila rotaci.

Jde o rozdělení prostředků. Rozptyl udržuje každou IP pod limitem; stálost umožňuje poznat návštěvníka. Rotace po požadavku sází na rozptyl. Rotace při selhání vypadá jako odolný kompromis, ale skrývá náklady: logy ukazují úspěšná opakování, dokud nefunguje nic. Trvalá relace obrací kompromis a drží jednu IP v časovém okně.

Jak se trvalá relace liší od rotace a statické proxy?

Trvalá relace dočasně rezervuje IP poolu, aby požadavky vypadaly jako jeden návštěvník, pak ji uvolní. Statická proxy drží IP, dokud ji používáte. Rotace po požadavku nic nerezervuje. Rozhoduje potřeba rozpoznání mezi požadavky.

Pro bezstavové načítání je běžná rotace. Přihlášení potřebuje jednu ze dvou stabilních variant, podle délky úlohy. Trvalá relace IP vypůjčí a vrátí; statická zůstává přidělena. Denní přihlášení ze stejné adresy připomíná vracejícího se uživatele. Porovnejte okno poskytovatele s nejdelším procesem. Při výpadku někteří IP předčasně změní, přísný režim jedné IP nechá požadavek selhat. Dlouhé okno samo stálost nezaručuje.

Kdy rotace naruší úlohu?

Změna během přihlášení, 2FA, košíku, platby či vícekrokového formuláře může proces narušit. Cookie neztrácí platnost automaticky, ale weby vážící relaci na IP nebo sledující změny sítě kvůli podvodům mohou odhlásit, vyžádat ověření či označit relaci.

Nevnímám to jako cílení na proxy, nýbrž práci webu. Cookie tvrdí, že jde o stejný prohlížeč jako před minutou; IP je ověřitelná indicie. Změna sítě v ověřené relaci připomíná použití ukradené cookie jinde, což odhalují protipodvodové systémy. Odhlášení a 2FA jsou přiměřené reakce.

Doporučení OWASP ke správě relací popisuje kontrolu změn IP a User-Agent. Podle zabezpečení může nečekaná změna vyvolat poplach nebo ukončení relace.

Musí si vás web mezi požadavky pamatovat? Pak držte jednu IP, jinak rotujte. Noční kontrola veřejných cen to nepotřebuje. Přihlášení do panelu pro export zpráv ano, od začátku do konce.

Praktický tip: Smíšené úlohy rozdělte: rotující pool pro bezstavová data, trvalá nebo statická IP pro přihlášení a ověřenou práci. Opačné potřeby nemají sdílet pravidlo.

Proč pool po několika dnech přestane fungovat?

I správná rotace může selhat: mění IP, nikoli pověst. Sdílené adresy dědí předchozí činnost; intenzivní používání proti stejným webům může vést k označení a poklesu úspěšnosti.

Pool je omezený společný zdroj. Každý zákazník spotřebovává jeho pověst u webů. Používají-li ostatní stejné IP proti vašim cílům, zaplatíte CAPTCHA a blokacemi. V podpoře jsem viděl pověst jako ekosystém webů a blokovacích seznamů reagujících na pozorovanou činnost.

Velikost poolu se snadno propaguje, ale předpovídá méně, než se zdá. Rozhoduje:

• Nedávné použití proti stejnému cíli: adresa použitá jiným zákazníkem před hodinou už je započtená.
• Počet sdílejících zákazníků: více úloh adresu rychleji opotřebuje.
• Rozmanitost sítí: adresy v několika rozsazích lze blokovat společně.
• Existující označení: pool ponechávající zneužívané IP je stále rozdává.

Velký opotřebovaný pool může být horší než malý s adresami novými pro vaše cíle. Srovnávejte úspěšnost v čase; první úspěšný test neprokazuje trvalý výkon.

Potřebujete vůbec rotující proxy?

Může rozdělit požadavky pod IP limity, nenahrazuje ale dodržování limitů a pokynů. Podle reference MDN pro 429 bývají limity podle IP, při ověření či cookie však podle uživatele nebo aplikace. Limit účtu nové IP ignoruje; malá úloha má nejprve dodržet Retry-After.

Normou je RFC 6585, která definovala kód 429. Povoluje Retry-After s dobou čekání a neurčuje identifikaci ani počítání. Jako příklad uvádí přihlašovací údaje nebo stavovou cookie.

Tři nevhodné nákupy: limit účtu, API tokenu či cookie, kde všechny IP čerpají stejnou kvótu a 429 pokračuje; malá úloha, která může zdarma rozložit stovky nočních stránek, počkat na Retry-After a opakovat s exponenciálním odstupem; ověřená úloha vyžadující stálou identitu a pevnou IP.

Rotace se hodí pro IP limity, hodnotu závislou na objemu a samostatné požadavky v povoleném použití. Podmínky webu stále platí. Web hodnotí i identifikaci klienta na úrovni spojení a tempo; rotace přístup nezaručuje.

Před nákupem čtěte dokumentaci a hlavičky. Pokud srovnatelné ověřené požadavky dostávají 429 a anonymní ze stejné IP uspějí, naznačuje to limit účtu či ověření, ale nedokazuje jej. Selžou-li oba, může být limit podle IP, prostředku nebo serveru. Zachovejte srovnatelný endpoint a tempo a před dalším testem respektujte Retry-After.

Časté dotazy