Si votre scraper Playwright ou Selenium ralentit sur un VPS ou dépasse le délai prévu, davantage de RAM peut aider, mais un délai d’attente dépassé ne suffit pas à déterminer quoi mettre à niveau. Pour dimensionner un VPS destiné au scraping web, mesurez la tâche dans son ensemble, y compris les processus du navigateur, l’écriture des résultats et les services qui partagent l’hôte. Ajustez ensuite le nombre de tâches simultanées et vérifiez que toutes les données requises sont enregistrées dans les temps.
Tester une configuration de VPS avec votre charge de travail
Pour une tâche dans un navigateur, avec un nombre maîtrisé d’exécutions simultanées et peu de services auxiliaires, je commencerais par tester 4 Go de RAM et 2 vCPU. Évaluez une configuration de 8 Go de RAM et 4 vCPU si la plus petite ne permet pas de terminer à temps ou laisse trop peu de ressources aux autres services. Ces configurations servent de points de départ pour vos essais. Elles ne représentent ni des minima officiels de Playwright ou Selenium ni une garantie quant au nombre de navigateurs pris en charge.
| Point de départ | Quand le tester |
|---|---|
| 4 GB RAM / 2 vCPU | Tâche dans un navigateur avec un nombre maîtrisé d’exécutions simultanées et peu de services auxiliaires |
| 8 GB RAM / 4 vCPU | Les mesures indiquent que la plus petite configuration manque de capacité pour la tâche ou les services auxiliaires |
| Une autre répartition entre RAM et CPU | Les mesures révèlent un besoin auquel les deux premières configurations ne répondent pas |
| Moins d’exécutions simultanées ou moins de travail dans le navigateur | Ajouter des tâches en parallèle dégrade l’exécution, ou les données requises sont accessibles sans rendu |
Gardez l’hôte actuel parmi les options. S’il mène déjà à bien l’extraction requise dans vos conditions de fonctionnement, les mesures peuvent justifier de le conserver. Si vous testez un nouvel hôte, consultez nos offres de VPS Linux pour trouver une configuration de RAM et de vCPU adaptée à votre charge. Nous fournissons un accès root pour installer Playwright ou Selenium et configurer l’environnement du navigateur et les limites de ressources à tester.
Vérifiez aussi si les données exigent une page rendue. Si un accès HTTP ou API autorisé renvoie les données requises, évaluez cette charge séparément. Conservez les mêmes exigences de sortie pour la comparaison. Renvoyer moins de champs ou ignorer les pages difficiles change la tâche. Comparer les ressources d’une extraction complète à celles d’une extraction incomplète ne donne pas de résultat exploitable.
Tenir compte de toute la charge du navigateur

Un scraper qui s’exécute aux côtés d’une base de données doit faire tenir son environnement d’exécution, les processus du navigateur, les pages actives et les opérations de la base dans les ressources disponibles. L’architecture multiprocessus de Chromium sépare le processus du navigateur des moteurs de rendu et des autres types de processus. Pour dimensionner le VPS, je recommande de tenir compte de toute la charge avant d’interpréter les mesures d’un processus particulier.
Une instance de navigateur est un navigateur en cours d’exécution, piloté par le code d’automatisation. Dans Playwright, chaque contexte isole l’état du navigateur, et les pages appartiennent à un contexte. La documentation des contextes de navigateur de Playwright décrit un isolement comparable à la navigation privée et permet d’utiliser plusieurs contextes dans un même navigateur. Elle indique que leur création demande peu de ressources, mais ne chiffre pas leurs besoins en RAM. Tenez compte des pages actives dans chaque contexte.
La même documentation distingue les contextes créés manuellement par le biais de la bibliothèque de ceux que Playwright Test crée automatiquement. Un scraper qui utilise la bibliothèque a besoin de son propre plafond d’exécutions simultanées. Les paramètres des processus de travail du lanceur de tests ne fixent pas ce plafond. Notez séparément le nombre d’instances du navigateur, de contextes et de pages actives. Ces nombres ne sont pas interchangeables, et le rapport entre onglets et processus Chromium n’est pas fixe.
Pour Selenium, relevez les sessions du pilote et les processus de navigateur associés. La documentation des sessions du pilote distingue l’exécution locale de l’exécution distante et recommande quit pour terminer une session. Fermer une fenêtre est une opération différente. Dans Playwright, l’API de fermeture du contexte ferme les pages de ce contexte. Appliquez la même procédure de nettoyage entre les exécutions et fermez les sessions des tâches terminées avant le test suivant.
Décrivez la configuration avant de relever les mesures de ressources :
- Système d’exploitation, architecture, version de l’environnement d’exécution, version du paquet d’automatisation et versions des navigateurs.
- Exécution native ou en conteneur, et emplacement de l’environnement d’exécution, du navigateur et des services qui traitent les résultats.
- Instances du navigateur, contextes Playwright et pages actives, ou sessions Selenium, ainsi que le plafond d’exécutions simultanées et le mode de nettoyage.
- Types de cibles et de pages, opérations d’extraction, mode d’écriture des résultats, téléchargements, journaux et besoins de stockage.
- Services auxiliaires qui partagent l’hôte, notamment les bases de données, les files d’attente et les outils de supervision.
- Paramètres de mémoire, de CPU et d’IPC du conteneur, le cas échéant.
- Planification, chevauchements attendus, durée habituelle et échéance.
Indiquez toute dépendance à un environnement de bureau. Le fonctionnement sans surveillance et le fonctionnement sans interface graphique sont deux questions distinctes : un flux qui manipule une interface de bureau a encore besoin de sa session graphique. La distinction entre interface graphique et mode headless devient pertinente si l’automatisation dépasse le cadre des pages du navigateur. Notez ce travail supplémentaire dans le relevé de configuration pour éviter d’attribuer ses besoins en ressources à Playwright ou Selenium.
Mesurer une exécution représentative avant d’augmenter le nombre de tâches simultanées
Commencez par une seule extraction active. Mesurez le nombre d’extractions réussies et le temps écoulé, puis augmentez progressivement le plafond d’exécutions simultanées en gardant la même charge. Je recommande de consigner les observations de l’hôte et, le cas échéant, celles des conteneurs. Avant de retenir le plafond pour le déploiement, validez-le en fonctionnement normal et pendant les chevauchements planifiés.
Utilisez votre tâche d’extraction autorisée existante. Les commandes ci-dessous observent la machine et le conteneur. Elles ne lancent aucun scraper et ne constituent pas un test de référence. Il vous faut un accès shell à l’hôte Linux. Pour les observations Docker, il vous faut aussi un accès au démon et un conteneur existant. Remplacez scraper par le nom du conteneur.
-
Consignez la configuration et les mesures de référence. Complétez le relevé de configuration et observez la mémoire et le CPU de l’hôte avant de lancer l’extraction. Laissez les services auxiliaires fonctionner normalement. En exécution native, appuyez-vous sur vos observations pour tenir compte de l’environnement d’exécution et de tout l’arbre des processus du navigateur. Ignorez alors les commandes Docker et les champs propres aux conteneurs. En mode conteneurisé, déterminez quels processus s’exécutent dans chaque conteneur et lesquels restent à l’extérieur.
-
Observez l’hôte et les limites effectives du conteneur. Exécutez les commandes de l’hôte sur l’hôte lui-même, en plaçant les outils de suivi en continu dans des terminaux distincts pendant l’exécution :
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h affiche un instantané dans des unités lisibles. Le manuel de free de procps définit available comme une estimation de la mémoire que de nouvelles applications peuvent utiliser sans recourir au swap. Interprétez cette estimation dans le contexte de la charge. La colonne free compte uniquement la mémoire inutilisée et répond donc à une question plus précise. Répétez les mesures pendant l’exécution et conservez la valeur disponible la plus basse que vous observez.
vmstat -y 1 affiche des mesures toutes les secondes. Le manuel de vmstat de procps indique que -y supprime le premier relevé, qui inclurait sinon les statistiques depuis le démarrage. Les champs si et so indiquent les volumes de mémoire lus et écrits dans le swap chaque seconde. Parmi les champs CPU, id indique le temps d’inactivité, wa l’attente d’entrées-sorties et st le temps soustrait à la machine virtuelle. Rapprochez ces observations de la progression et des erreurs de la tâche. Elles ne permettent pas à elles seules d’établir un diagnostic.
La référence de la commande inspect de Docker documente la sortie JSON de la configuration et le filtre par type de conteneur. Relevez les paramètres effectifs de mémoire, de CPU et d’IPC. Vérifiez si la sortie contient des secrets dans les variables d’environnement avant de la partager. La documentation sur les limites de ressources de Docker distingue le plafond --memory des limites CPU telles que --cpus et le quota CPU. Un quota limite le temps d’exécution CPU. Le nombre de vCPU de l’hôte ne suffit donc pas à connaître l’allocation du conteneur. Notez aussi les limites qui ne sont pas définies et vérifiez la configuration du swap.
La référence de la commande stats de Docker explique les mesures en temps réel du CPU, de l’usage et de la limite mémoire, du réseau et des entrées-sorties par blocs. Sous Linux, la CLI retranche le cache de l’utilisation mémoire, de sorte que sa mesure peut différer de celle d’une autre source. PIDS inclut les processus et les threads du noyau. Ce champ ne compte pas les navigateurs. Les mesures de l’hôte englobent déjà l’activité du conteneur : ne cumulez pas leurs mesures de mémoire comme s’il s’agissait de budgets distincts. Conservez les unités affichées, qu’il s’agisse de GiB, de MiB, de GB ou d’octets bruts. Arrêtez le suivi en continu avec Ctrl-C.
-
Exécutez une extraction active sur l’ensemble des types de pages. Incluez des pages légères et lourdes représentatives, le démarrage, la navigation, l’extraction et l’écriture des résultats. Relevez le nombre d’extractions réussies et échouées ainsi que le temps total écoulé. Une tâche est terminée lorsque les résultats requis ont été enregistrés. Si une nouvelle tentative aboutit, comptez une seule réussite et consignez les tentatives infructueuses dans le journal d’erreurs. Cette convention de comptage est proposée pour la comparaison et ne correspond pas à une valeur par défaut de l’outil.
-
Relevez progressivement le plafond. Gardez les mêmes versions, la même topologie, les mêmes types de pages, les mêmes exigences de sortie et les mêmes autres paramètres. Tenez un relevé distinct pour chaque plafond. Arrêtez d’augmenter le plafond si le nombre d’extractions utiles n’augmente plus, si les erreurs deviennent plus fréquentes, si l’échéance est dépassée ou si la marge restante est insuffisante. Ce sont des critères d’arrêt conseillés pour votre essai. Ils ne représentent pas des seuils d’utilisation universels. Le seul fait d’avoir davantage de tâches en cours ne constitue pas un progrès.
-
Validez le fonctionnement sur la durée et en cas de chevauchement. Testez le plafond retenu pendant la durée normale de la tâche et lors des chevauchements attendus avec les services auxiliaires ou une autre extraction planifiée. Répétez l’essai avant de valider la configuration. Si vous comparez avec un autre hôte, conservez la même charge et ne changez qu’une ressource à la fois si possible. Si vous augmentez conjointement la RAM et les vCPU, vous ne pouvez ni isoler l’effet de la RAM ni établir un gain de vitesse proportionnel.
Pour chaque configuration de VPS et chaque plafond d’exécutions simultanées, consignez les limites de ressources, les mesures de mémoire et de CPU, l’activité de swap, les extractions réussies et échouées, le temps écoulé et la décision finale.
Appelez la valeur la plus élevée de vos échantillons maximum observé dans les échantillons. L’échantillonnage peut manquer des pics brefs. L’option --no-stream de Docker ne renvoie que la première mesure et ne permet pas d’établir le pic de l’exécution. Laissez les valeurs non observées indéterminées. Remplacer une donnée manquante par une estimation affaiblirait la comparaison.
La marge de fonctionnement correspond à la capacité réservée aux pages plus lourdes, aux variations entre exécutions et aux tâches qui se chevauchent. Déterminez-la à partir des conditions testées plutôt que d’un pourcentage fixe. Si la tâche respecte tout juste son échéance ou ne laisse aucune marge dans ces conditions, abaissez le plafond d’exécutions simultanées ou testez une configuration plus grande.
Choisir entre un réglage de configuration et davantage de capacité

Si un conteneur atteint sa limite de mémoire alors que l’hôte dispose encore de RAM, vérifiez cette limite avant de mettre à niveau le VPS. Si l’hôte lui-même manque de ressources, comparez une réduction du nombre de tâches simultanées à une augmentation de l’allocation. Choisissez la prochaine modification à l’aide du tableau, puis répétez la même extraction et comparez les résultats effectivement produits, les erreurs et le temps écoulé.
| Situation observée | Prochaine vérification ou action | Critère de validation après modification |
|---|---|---|
| La mémoire disponible sur l’hôte diminue, et une activité de swap prolongée accompagne de mauvais résultats | Comparez la charge complète et les services auxiliaires, puis évaluez une baisse du nombre de tâches simultanées ou une augmentation de la RAM | L’extraction répétée respecte son échéance avec une marge justifiée |
| Le conteneur approche de son plafond de mémoire alors que l’hôte dispose encore de ressources | Vérifiez le plafond effectif et les indices dans les erreurs ou les journaux avant de réviser la limite | Testez de nouveau la charge. Davantage de RAM sur l’hôte ne suffit pas à démontrer que le problème est réglé |
| Les plantages du navigateur justifient une vérification de la configuration de la mémoire partagée | Distinguez /dev/shm de la RAM totale et consultez les recommandations Docker pour l’IPC avec Chromium |
Testez de nouveau la configuration concernée. Un message d’erreur seul ne permet pas de diagnostiquer un manque de mémoire |
| L’échéance est dépassée, et le CPU reste chargé ou une limite CPU configurée semble en cause | Vérifiez le quota, la charge et le contexte des entrées-sorties et des attentes. Évaluez le plafond d’exécutions simultanées ou l’allocation CPU | Davantage de tâches aboutissent avant l’échéance, sans présumer d’un gain proportionnel |
| Augmenter le nombre de tâches simultanées accroît les erreurs ou le temps écoulé sans améliorer les résultats utiles | Abaissez le plafond et examinez le comportement de la charge ainsi que les attentes liées à des services externes | L’extraction des données requises réussit dans le délai imparti |
La manière dont Chromium gère la mémoire partagée dépend de sa compilation et de sa configuration de lancement. Si la configuration utilise /dev/shm, inspectez le système de fichiers en mémoire partagée du conteneur. La référence de la commande de lancement d’un conteneur de Docker indique que --shm-size règle la taille de /dev/shm et vaut 64m par défaut. Ce paramètre dimensionne le système de fichiers en mémoire partagée sans définir l’allocation totale de RAM du conteneur. Augmenter la limite mémoire Docker de Playwright et modifier la configuration de la mémoire partagée sont deux interventions différentes.
Les recommandations de configuration Docker de Playwright préconisent --ipc=host pour Chromium et --init pour la gestion des processus. Pour explorer des sites non fiables, elles recommandent un utilisateur distinct et un profil seccomp. L’exécution des navigateurs en tant que root désactive le bac à sable de Chromium. Appliquez dans son ensemble la configuration adaptée à l’exploration. Un réglage IPC ne constitue pas une recommandation de sécurité générale. Un exemple de test de bout en bout sur un site de confiance ne fournit pas de configuration adaptée à l’exploration de sites non fiables.
Conservez le relevé de la charge validée avec la configuration de la tâche. Faites une nouvelle vérification si les types de pages, les versions, les limites effectives ou les chevauchements planifiés changent.
Si les mesures justifient un autre hôte Linux pour le déploiement de conteneurs, nous proposons un déploiement de Docker en un clic. Utilisez le relevé de la charge validée pour choisir l’allocation et reprendre les réglages de conteneur déjà testés.
Questions fréquentes
L’exécution asynchrone réduit-elle la consommation de RAM de Playwright ?
Pas nécessairement. Comparez l’implémentation asynchrone à l’implémentation actuelle avec le même plafond d’exécutions simultanées, les mêmes pages et les mêmes exigences de sortie. Relevez la consommation de RAM, le nombre d’extractions réussies et le temps écoulé avant de conclure à une économie. Les recommandations de Docker sur les limites de ressources préconisent de tester les besoins mémoire de l’application avant la mise en production.
Puis-je utiliser les recommandations de RAM de Selenium Grid pour dimensionner un VPS de scraping ?
La documentation de Selenium sur le dimensionnement de Grid donne comme référence approximative 1 CPU et 1 Go de RAM par navigateur, en précisant que cette valeur peut ne pas s’appliquer à votre contexte. Elle recommande de mesurer les performances en continu. Tenez compte de cette réserve lorsque vous utilisez la référence propre à Grid. Elle ne donne ni une formule de capacité pour un scraper ni un minimum pour WebDriver en local.
Discussion
Commentaires
Connectez-vous pour participer à la discussion.