Wenn dein Playwright- oder Selenium-Scraper auf einem VPS langsamer wird oder seine Frist verfehlt, kann mehr RAM helfen. Eine Zeitüberschreitung allein zeigt aber nicht, welche Ressource du aufrüsten solltest. Miss zur Dimensionierung des VPS den gesamten Auftrag, einschließlich Browserprozessen, Ergebnisausgabe und Diensten auf demselben Host. Passe danach die Parallelität an und prüfe, ob die benötigten Daten rechtzeitig vorliegen.
Eine VPS-Konfiguration mit deiner Arbeitslast testen
Für einen Browserauftrag mit begrenzter Parallelität und wenigen Begleitdiensten würde ich mit 4 GB RAM und 2 vCPU beginnen. Teste 8 GB RAM und 4 vCPU, wenn der kleinere VPS den Auftrag nicht rechtzeitig abschließt oder anderen Diensten zu wenig Spielraum lässt. Das sind Ausgangspunkte für Tests. Sie sind weder offizielle Mindestanforderungen von Playwright oder Selenium noch garantierte Browserzahlen.
| Ausgangspunkt | Wann sich ein Test lohnt |
|---|---|
| 4 GB RAM / 2 vCPU | Ein Browserauftrag mit begrenzter Parallelität und wenigen Begleitdiensten |
| 8 GB RAM / 4 vCPU | Messungen zeigen, dass die kleinere Konfiguration zu wenig Kapazität für den Auftrag oder die Begleitdienste bietet |
| Ein anderes Verhältnis von RAM zu CPU | Messungen zeigen einen Bedarf, den die ersten beiden Konfigurationen nicht decken |
| Weniger parallele Aufgaben oder weniger Browserarbeit | Zusätzliche parallele Aufgaben verschlechtern den Abschluss, oder die benötigten Daten sind ohne Rendering verfügbar |
Behalte den aktuellen Host als Option bei. Wenn er die erforderliche Extraktion unter den gewünschten Betriebsbedingungen bereits abschließt, können die Messwerte dafür sprechen, ihn zu behalten. Wenn du einen neuen Host testest, findest du unter unseren Linux-VPS-Tarifen eine RAM- und vCPU-Konfiguration für deine Arbeitslast. Wir bieten Root-Zugriff, damit du Playwright oder Selenium installieren sowie Browserumgebung und Ressourcenlimits für den Test einrichten kannst.
Prüfe auch, ob die Daten eine gerenderte Seite erfordern. Wenn ein autorisierter HTTP- oder API-Zugriff die erforderlichen Daten liefert, prüfe diese Arbeitslast separat. Verwende beim Vergleich dieselben Ausgabeanforderungen. Weniger Felder zurückzugeben oder schwierige Seiten zu überspringen verändert den Auftrag. Ein Kapazitätsvergleich zwischen vollständiger und unvollständiger Extraktion ist nicht aussagekräftig.
Die gesamte Browserlast berücksichtigen

Läuft ein Scraper neben einer Datenbank, müssen seine Laufzeitumgebung, Browserprozesse, aktiven Seiten und die Datenbankarbeit in das verfügbare Ressourcenbudget passen. Chromiums Mehrprozessarchitektur trennt den Browserprozess von Renderern und anderen Prozesstypen. Für die Dimensionierung empfehle ich, die gesamte Arbeitslast zu berücksichtigen, bevor du einzelne Prozessmesswerte auswertest.
Eine Browserinstanz ist ein laufender Browser, den der Automatisierungscode steuert. In Playwright isoliert ein Kontext den Browserzustand, und Seiten gehören zu einem Kontext. Die Dokumentation zu Browserkontexten von Playwright beschreibt eine Isolation ähnlich dem Inkognitomodus und erlaubt mehrere Kontexte in einem Browser. Sie beschreibt die Kontexterstellung als ressourcenschonend, nennt aber keinen RAM-Richtwert. Berücksichtige die Seiten, die in den jeweiligen Kontexten arbeiten.
Dieselbe Dokumentation unterscheidet manuell mit der Bibliothek erzeugte Kontexte von den automatisch durch Playwright Test erstellten. Ein Scraper, der die Bibliothek nutzt, braucht eine eigene Obergrenze für parallele Aufgaben. Worker-Einstellungen des Test-Runners legen diese Grenze nicht fest. Erfasse die Zahl der Browserinstanzen, Kontexte und aktiven Seiten getrennt. Die Zahlen sind nicht austauschbar, und zwischen Tabs und Chromium-Prozessen gibt es kein festes Verhältnis.
Erfasse bei Selenium die WebDriver-Sitzungen und deren Browserprozesse. Die Dokumentation zu WebDriver-Sitzungen unterscheidet zwischen lokaler und entfernter Ausführung und empfiehlt quit zum Beenden einer Sitzung. Das Schließen eines Fensters ist ein anderer Vorgang. In Playwright schließt die API zum Schließen eines Kontexts alle Seiten dieses Kontexts. Räume nach jedem Lauf auf dieselbe Weise auf. Sitzungen abgeschlossener Aufgaben sollen beim nächsten Test nicht mehr laufen.
Halte vor der Ressourcenerfassung die Konfiguration fest:
- Betriebssystem, Architektur, Version der Laufzeitumgebung, des Automatisierungspakets und der Browser.
- Native Ausführung oder Container-Ausführung sowie der Ausführungsort der Laufzeitumgebung, des Browsers und der Ausgabedienste.
- Browserinstanzen, Playwright-Kontexte und aktive Seiten oder Selenium-Sitzungen sowie die Parallelitätsgrenze und das Aufräumverhalten.
- Zusammensetzung der Ziele und Seiten, Extraktionsschritte, Ergebnisausgabe, Downloads, Logs und Speicherbedarf.
- Begleitdienste auf demselben Host, darunter Datenbanken, Warteschlangen und Monitoring.
- Speicher-, CPU- und IPC-Einstellungen der Container, sofern relevant.
- Zeitplan, erwartete Überschneidungen, normale Dauer und Frist.
Erfasse alle Abhängigkeiten von einer Desktopumgebung. Unbeaufsichtigte Ausführung und Headless-Betrieb sind unterschiedliche Fragen. Ein Ablauf, der eine Desktop-Oberfläche bedient, braucht weiterhin eine grafische Sitzung. Die Abgrenzung zwischen GUI und Headless-Betrieb ist relevant, wenn die Automatisierung über Browserseiten hinausgeht. Halte diese Arbeit in deiner Konfigurationsübersicht fest, damit du ihren Ressourcenbedarf nicht Playwright oder Selenium zuschreibst.
Vor höherer Parallelität einen repräsentativen Lauf messen
Beginne mit einer aktiven Extraktion und miss erfolgreiche Abschlüsse und verstrichene Zeit. Erhöhe anschließend die Parallelitätsgrenze schrittweise bei gleichbleibender Arbeitslast. Ich empfehle, Messwerte des Hosts und gegebenenfalls des Containers zu erfassen. Prüfe die gewählte Grenze im normalen Betrieb und bei geplanten Überschneidungen, bevor du sie in den Produktivbetrieb übernimmst.
Verwende deinen bestehenden autorisierten Extraktionsauftrag. Die folgenden Befehle beobachten den Host und den Container. Sie starten keinen Scraper und legen keinen Benchmark fest. Du benötigst Shell-Zugriff auf den Linux-Host. Für Docker-Messungen brauchst du außerdem Zugriff auf den Daemon und einen vorhandenen Container. Ersetze scraper durch den Namen des Containers.
-
Konfiguration und Ausgangswerte erfassen. Vervollständige die Konfigurationsübersicht und notiere das Speicher- und CPU-Verhalten des Hosts vor der Extraktion. Belasse Begleitdienste in ihrem normalen Zustand. Nutze bei nativer Ausführung Prozessmessungen, um die Laufzeitumgebung und den gesamten Browserprozessbaum zu erfassen. Überspringe dann Docker-Befehle und Containerfelder. Kläre bei Containern, welche Prozesse innerhalb des jeweiligen Containers laufen und welche außerhalb bleiben.
-
Host und effektive Containerlimits beobachten. Führe die Hostbefehle auf dem Host aus. Lass die laufenden Monitore während des Auftrags in getrennten Terminals laufen:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h zeigt eine Momentaufnahme in gut lesbaren Einheiten. Das Handbuch zu free von procps beschreibt available als Schätzung des Speichers, den neue Anwendungen ohne Auslagerung nutzen können. Werte die Schätzung zusammen mit der Arbeitslast aus. Die Spalte free zählt ungenutzten Speicher und beantwortet damit eine enger gefasste Frage. Wiederhole die Momentaufnahmen während des Laufs und halte den niedrigsten beobachteten Wert für verfügbaren Speicher fest.
vmstat -y 1 gibt im Sekundentakt Messwerte aus. Laut Handbuch zu vmstat von procps überspringt -y den ersten Bericht, der sonst Statistiken seit dem Systemstart enthält. Die Felder si und so zeigen den pro Sekunde ein- und ausgelagerten Speicher. Bei den CPU-Feldern steht id für Leerlauf, wa für E/A-Wartezeit und st für der VM entzogene CPU-Zeit. Setze diese Beobachtungen mit Auftragsfortschritt und Fehlern in Beziehung. Für sich genommen belegen sie keine Ursache.
Die Referenz zum Befehl inspect von Docker beschreibt die JSON-Konfigurationsausgabe und den Filter für den Containertyp. Zeichne die effektive Speicher-, CPU- und IPC-Konfiguration auf. Prüfe die Ausgabe vor dem Weitergeben auf Geheimnisse in der Umgebung. Die Dokumentation zu Ressourcenlimits unterscheidet die Obergrenze --memory von CPU-Einschränkungen wie --cpus und CPU-Kontingenten. Ein Kontingent beschränkt die CPU-Ausführungszeit. Die Zahl der vCPU des Hosts allein beschreibt die Zuteilung des Containers nicht. Erfasse auch nicht gesetzte Limits und prüfe die Swap-Konfiguration.
Die Referenz zum Befehl stats von Docker erklärt die Livewerte für CPU, Speichernutzung und -limit, Netzwerk und Block-E/A. Unter Linux zieht die CLI den Cache von der Speichernutzung ab. Deshalb kann der Wert von anderen Messquellen abweichen. PIDS umfasst Prozesse und Kernel-Threads und ist kein Browserzähler. Da Hostmesswerte die Containeraktivität bereits enthalten, addiere die Speicherwerte nicht als getrennte Budgets. Behalte die angezeigten Einheiten wie GiB, MiB, GB oder Byte bei. Beende laufende Monitore mit Strg+C.
-
Eine aktive Extraktion über den Seitenmix ausführen. Berücksichtige repräsentative leichte und aufwendige Seiten sowie Start, Navigation, Extraktion und Ergebnisausgabe. Erfasse erfolgreiche und fehlgeschlagene Extraktionen und die gesamte Laufzeit. Als abgeschlossen gilt eine Extraktion, sobald die benötigte Ausgabe gespeichert ist. Zähle das Ergebnis eines erfolgreichen Wiederholungsversuchs einmal und halte fehlgeschlagene Versuche im Fehlerprotokoll fest. Das ist eine vorgeschlagene Zählregel für den Vergleich und kein Standardverhalten der Tools.
-
Die Grenze schrittweise erhöhen. Halte Versionen, Topologie, Seitenmix, Ausgabe und andere Einstellungen konstant. Führe für jede Grenze einen eigenen Datensatz. Erhöhe sie nicht weiter, sobald die Zahl nützlicher Abschlüsse nicht mehr steigt, Fehler zunehmen, die Frist verfehlt wird oder die verbleibende Reserve nicht ausreicht. Das sind Empfehlungen für das Ende des Tests und keine universellen Auslastungsschwellen. Mehr laufende Arbeit allein zählt nicht als Verbesserung.
-
Dauerbetrieb und Überschneidungen prüfen. Führe den Auftrag mit der gewählten Grenze für die normale Laufzeit und bei erwarteten Überschneidungen mit Begleitdiensten oder einer anderen geplanten Extraktion aus. Wiederhole den Lauf vor der Abnahme. Verwende beim Vergleich mit einem anderen Host dieselbe Arbeitslast und ändere nach Möglichkeit jeweils eine Ressource. Eine gleichzeitige Erhöhung von RAM und vCPU isoliert die Wirkung von RAM nicht und belegt keine proportionale Beschleunigung.
Erfasse für jede VPS-Konfiguration und Parallelitätsgrenze die Ressourcenlimits, Speicher- und CPU-Messwerte, Swap-Aktivität, erfolgreiche und fehlgeschlagene Extraktionen, die verstrichene Zeit und die Entscheidung.
Bezeichne den höchsten Wert in den Stichproben als höchsten gemessenen Stichprobenwert. Stichproben können kurze Spitzen verpassen. Die Docker-Option --no-stream liefert nur den ersten Wert und kann den Spitzenwert eines Laufs nicht bestimmen. Lass nicht beobachtete Werte offen. Eine Schätzung anstelle eines Messwerts würde den Vergleich schwächen.
Die Betriebsreserve ist die verfügbare Kapazität für aufwendigere Seiten, Schwankungen zwischen Läufen und überlappende Aufgaben. Leite sie aus den getesteten Bedingungen ab, statt einen festen Prozentsatz zu verwenden. Wenn der Auftrag seine Frist nur knapp einhält oder keine Reserve für diese Bedingungen lässt, senke die Parallelitätsgrenze oder teste eine größere Konfiguration.
Zwischen einer Einstellungsänderung und mehr Kapazität entscheiden

Wenn ein Container sein Speicherlimit erreicht und der Host noch RAM frei hat, prüfe zuerst das Limit. Steht der Host selbst unter Ressourcendruck, vergleiche geringere Parallelität mit einer größeren Zuteilung. Wähle die nächste Änderung anhand der Tabelle. Wiederhole dann dieselbe Extraktion und vergleiche vollständige Ergebnisse, Fehler und Laufzeit.
| Beobachtung | Nächste Prüfung oder Maßnahme | Abnahmekriterium nach der Änderung |
|---|---|---|
| Der verfügbare Hostspeicher sinkt, und anhaltende Swap-Aktivität tritt zusammen mit schlechteren Ergebnissen auf | Vergleiche die Gesamtlast und die Begleitdienste. Prüfe weniger Parallelität oder mehr RAM | Die wiederholte Extraktion hält ihre Frist mit begründeter Reserve ein |
| Der Container nähert sich seiner eingestellten Speicherobergrenze, während auf dem Host Kapazität frei ist | Prüfe die tatsächliche Obergrenze und Hinweise in Fehlermeldungen oder Logs, bevor du das Limit änderst | Teste die Arbeitslast erneut. Mehr RAM auf dem Host allein belegt keine Lösung |
| Browserabstürze geben Anlass, die Einstellungen für gemeinsam genutzten Speicher zu prüfen | Unterscheide /dev/shm vom gesamten RAM und prüfe die Empfehlungen zu Chromium und Docker-IPC |
Teste die betreffende Konfiguration erneut. Eine Fehlermeldung allein reicht zur Diagnose von Speichermangel nicht aus |
| Die CPU bleibt ausgelastet oder ein CPU-Limit ist möglicherweise beteiligt, und der Auftrag verfehlt die Frist | Prüfe das Kontingent, die Arbeitslast sowie E/A und Wartezeiten. Bewerte die Parallelitätsgrenze oder CPU-Zuteilung | Mehr Arbeit wird rechtzeitig erfolgreich abgeschlossen. Setze dabei keine proportionale Beschleunigung voraus |
| Höhere Parallelität verursacht mehr Fehler oder längere Laufzeiten, ohne die Zahl nützlicher Abschlüsse zu erhöhen | Senke die Grenze und untersuche das Verhalten der Arbeitslast sowie externe Wartezeiten | Die erforderlichen Daten werden innerhalb des Zeitfensters erfolgreich extrahiert |
Welche gemeinsame Speicherressource Chromium nutzt, hängt vom Build und von den Startparametern ab. Prüfe bei Konfigurationen, die /dev/shm nutzen, das Dateisystem für gemeinsam genutzten Speicher im Container. Laut Referenz zur Containerausführung von Docker legt --shm-size die Größe von /dev/shm fest. Ohne Angabe gilt 64m. Die Einstellung bemisst dieses Dateisystem und nicht die gesamte RAM-Zuteilung des Containers. Das Docker-Speicherlimit für Playwright zu erhöhen und die Einstellungen für gemeinsam genutzten Speicher zu ändern sind zwei unterschiedliche Maßnahmen.
Die Empfehlungen zur Docker-Konfiguration von Playwright nennen --ipc=host für Chromium und --init für die Prozessverwaltung. Für das Crawlen nicht vertrauenswürdiger Websites empfehlen sie einen separaten Benutzer und ein seccomp-Profil. Die Ausführung des Browsers als Root deaktiviert die Chromium-Sandbox. Wende die für das Crawling passende Konfiguration vollständig an. Eine IPC-Einstellung ist keine allgemeine Sicherheitsempfehlung, und Beispiele für End-to-End-Tests auf vertrauenswürdigen Sites sind keine Anleitung für das Crawlen nicht vertrauenswürdiger Sites.
Bewahre die Aufzeichnungen zur akzeptierten Arbeitslast zusammen mit der Auftragskonfiguration auf. Prüfe erneut, wenn sich Seitenmix, Versionen, effektive Limits oder Zeitplanüberschneidungen ändern.
Wenn die Messungen einen anderen Linux-Host für die Containerbereitstellung rechtfertigen, bieten wir Docker zur Ein-Klick-Bereitstellung an. Wähle die Zuteilung anhand der validierten Aufzeichnungen und übernimm die getesteten Containereinstellungen.
Häufig gestellte Fragen
Entfällt mit einem entfernten Browser der lokale RAM-Bedarf des Scrapers?
Auch bei einem entfernten Browser musst du Ressourcen für die lokale Laufzeitumgebung oder den Client, die Extraktionslogik und die Ergebnisausgabe einplanen, und zwar dort, wo sie jeweils ausgeführt werden. Die Dokumentation zu entfernten Verbindungen von Playwright beschreibt einen Server, der getrennt vom aufrufenden Code läuft. Miss Client und entfernten Dienst separat. Aus der Architektur allein lässt sich keine konkrete lokale Speicherersparnis ableiten.
Verbraucht Playwright bei asynchroner Ausführung weniger RAM?
Nicht unbedingt. Vergleiche die asynchrone und die bestehende Implementierung mit derselben Parallelitätsgrenze, denselben Seiten und denselben Ausgabeanforderungen. Erfasse RAM-Verbrauch, erfolgreiche Extraktionen und Laufzeit, bevor du auf eine Ersparnis schließt. Die Hinweise zu Ressourcenlimits von Docker empfehlen, den Speicherbedarf der Anwendung vor dem Produktionsbetrieb zu testen.
Kann ich den RAM-Richtwert von Selenium Grid zur Dimensionierung eines Scraping-VPS nutzen?
Die Dokumentation zur Dimensionierung von Selenium Grid nennt ungefähr 1 CPU und 1 GB RAM pro Browser als Richtwert und warnt ausdrücklich, dass dies möglicherweise nicht auf deinen Einsatzfall zutrifft. Sie empfiehlt laufende Leistungsmessungen. Berücksichtige diesen Vorbehalt beim Grid-spezifischen Richtwert. Er liefert weder eine Kapazitätsformel für Scraper noch eine Mindestanforderung für lokales WebDriver.
Diskussion
Kommentare
Melden Sie sich an, um mitzudiskutieren.