VPS 上の Playwright や Selenium のスクレイパーが遅くなったり期限に間に合わなかったりする場合、RAM を増やすと改善することがあります。ただし、タイムアウトだけでは何を増強すべきか判断できません。ブラウザープロセス、結果の書き込み、同じホスト上のサービスまで含め、ジョブ全体を測定して VPS の規模を決めます。そのうえで同時実行数を調整し、必要なデータの取得が時間内に終わるか確認してください。
候補の VPS 構成を実際の負荷で試す
同時実行数を制御し、併用サービスが少ないブラウザージョブなら、まず 4 GB RAM と 2 vCPU で試します。小さい構成で期限に間に合わない場合や、他のサービスに十分な余裕が残らない場合は、8 GB RAM と 4 vCPU を評価します。これらはテストの出発点であり、Playwright や Selenium の公式最小要件でも、動作するブラウザー数の保証でもありません。
| 出発点 | 試す条件 |
|---|---|
| 4 GB RAM / 2 vCPU | 同時実行数を制御し、併用サービスが少ないブラウザージョブ |
| 8 GB RAM / 4 vCPU | 測定結果から、小さい構成ではジョブまたは併用サービスの容量が不足すると分かった場合 |
| RAM と CPU の配分を変える | 最初の 2 構成では満たせない要件が測定で判明した場合 |
| 同時実行数またはブラウザー内の処理量を減らす | 並列処理を増やすと完了状況が悪化するか、レンダリングせずに必要なデータを取得できる場合 |
既存ホストも候補に残してください。必要な運用条件で求められる抽出処理が完了するなら、測定結果は現状維持の根拠になります。新しいホストを検討する場合は、当社の Linux VPS プランから負荷に合う RAM と vCPU の構成を探してください。root アクセスを提供しているため、Playwright や Selenium を導入し、テストするブラウザー環境やリソース上限を設定できます。
データの取得にページのレンダリングが必要かどうかも確認します。許可された HTTP や API の経路で必要なデータを得られるなら、その負荷を別に評価します。比較時は出力要件をそろえてください。フィールドを減らしたり処理が難しいページを飛ばしたりすると、別のジョブになります。完全な抽出と不完全な抽出を比べても必要容量は判断できません。
ブラウザーの負荷を漏れなく数える

データベースと同じホストでスクレイパーを動かす場合、ランタイム、ブラウザープロセス、アクティブページ、データベース処理が使えるリソース内に収まる必要があります。Chromium のマルチプロセスアーキテクチャーでは、ブラウザープロセスとレンダラーなどのプロセスを分離しています。単一プロセスの測定値を解釈する前に、全体の負荷を把握することを勧めます。
ブラウザーインスタンスとは、自動化コードが制御する実行中のブラウザーです。Playwright ではコンテキストがブラウザーの状態を分離し、ページはコンテキストに属します。Playwright のブラウザーコンテキストのドキュメントでは、シークレットモードに似た分離について説明し、1 つのブラウザーで複数のコンテキストを使えることを示しています。コンテキストの作成コストが低いとはあっても、必要な RAM の数値は示されていません。内部で処理するページも計算に入れてください。
同資料では、ライブラリーで手動作成するコンテキストと、Playwright Test が自動作成するコンテキストを区別しています。ライブラリーを使うスクレイパーには独自の同時実行上限が必要です。テストランナーのワーカー設定ではその上限は決まりません。ブラウザーインスタンス、コンテキスト、アクティブなページを個別に数えて記録します。各数値を代用したり、タブ数と Chromium のプロセス数に固定の関係があると想定したりしないでください。
Selenium ではドライバーのセッションと対応するブラウザープロセスを記録します。ドライバーセッションのドキュメントは、ローカル実行とリモート実行を区別し、セッションを終了するには quit を勧めています。ウィンドウを閉じる操作とは異なります。Playwright ではコンテキストを閉じる APIがコンテキスト内のページを閉じます。毎回、同じ手順で後片付けをし、次のテスト開始時に完了済みのセッションを残さないでください。
リソースを測る前に、次の構成情報を記録します。
- OS、アーキテクチャー、ランタイム、オートメーションパッケージ、各ブラウザーのバージョン。
- ネイティブ実行かコンテナー実行か、ランタイム、ブラウザー、出力処理サービスがそれぞれ動く場所。
- ブラウザーインスタンス、Playwright のコンテキストとアクティブページ、または Selenium セッション。同時実行の上限と後片付けの方法。
- 対象とページの構成、抽出操作、結果の書き込み方法、ダウンロード、ログ、ストレージ要件。
- データベース、キュー、監視など、ホストを共有する併用サービス。
- 該当する場合は、コンテナーのメモリー、CPU、IPC の設定。
- スケジュール、想定される実行の重複、通常の所要時間、完了期限。
デスクトップ環境への依存も記録します。無人実行とヘッドレス実行は別の要件です。デスクトップ UI を操作する処理にはグラフィカルセッションが必要です。自動化がブラウザーページの外に及ぶ場合、GUI とヘッドレスの境界が問題になります。追加の処理は構成記録に含め、Playwright や Selenium のリソース消費に含めないようにします。
同時実行数を増やす前に代表的な実行を測る
まず抽出を 1 件だけ実行して、成功数と経過時間を測ります。次に負荷を一定に保ったまま同時実行上限を徐々に上げます。必要に応じてコンテナーの観測結果とホストの観測結果を併記することを勧めます。本番構成の運用上限として採用する前に、通常運用中と予定された実行の重複時に検証してください。
既存の許可済みデータ抽出ジョブを使ってください。以下のコマンドはホストやコンテナーを観測するもので、スクレイパーの起動やベンチマークの実施は行いません。Linux ホストへのシェルアクセスが必要です。Docker の観測にはデーモンへのアクセスと既存コンテナーも必要です。scraper は対象コンテナー名に置き換えてください。
-
構成と基準値を記録します。 構成記録を完成させ、抽出を始める前のホストのメモリーと CPU の挙動を控えます。併用サービスは通常の状態のままにします。ネイティブ実行では、プロセスの観測でランタイムとブラウザーのプロセスツリー全体を把握し、Docker コマンドとコンテナー関連の項目は省きます。コンテナー実行では、それぞれのコンテナー内外で動くプロセスを特定します。
-
ホストとコンテナーの実効上限を観測します。 ホスト用コマンドはホストで実行し、ジョブの実行中はストリーミング監視を別々のターミナルで動かしてください。
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h は人が読みやすい単位でスナップショットを表示します。procps の free マニュアルでは、available を新規アプリケーションがスワップせずに使えるメモリーの推定値と定義しています。負荷と合わせて解釈してください。free 列は未使用メモリーを数えるため、指標の範囲がより狭くなります。実行中は何度か値を取得し、観測した利用可能メモリーの最低値を記録します。
vmstat -y 1 は 1 秒間隔で測定値を表示します。procps の vmstat マニュアルでは、-y は通常起動時からの統計を含む初回レポートを省略すると説明しています。si と so は 1 秒あたりのスワップインとスワップアウトの量を示します。CPU の項目にはアイドル時間の id、I/O 待ちの wa、仮想マシンから奪われた CPU 時間の st があります。ジョブの進行状況やエラーと照らし合わせてください。これらの測定値だけでは根本原因は診断できません。
Docker の inspect コマンドリファレンスは JSON 形式の設定出力とコンテナー種別フィルターを説明しています。有効なメモリー、CPU、IPC の設定を記録し、出力を共有する前に環境変数のシークレットがないか確かめます。Docker のリソース制限のドキュメントは --memory による上限と --cpus や CPU クォータなどの制限を区別しています。クォータは CPU 実行時間を制限します。ホストの vCPU 数だけでは、コンテナーに許可される CPU 使用量は分かりません。未設定の制限も記録し、スワップ設定を確認します。
Docker の stats コマンドリファレンスは CPU、メモリー使用量と上限、ネットワーク、ブロック I/O のリアルタイム値を説明しています。Linux では CLI がメモリー使用量からキャッシュ分を引くので、他の集計値と異なることがあります。PIDS はプロセスとカーネルスレッドを含み、ブラウザーの台数を数えるものではありません。ホストの観測値にはコンテナーの活動がすでに含まれるので、別々のメモリー予算として足し合わせないでください。GiB、MiB、GB、未換算のバイトなど、表示された単位を保ちます。監視の停止には Ctrl-C を使います。
-
対象のページ構成で抽出を 1 件実行します。 代表的な軽いページと重いページ、起動、ページ遷移、抽出、結果の書き込みを含めます。成功した抽出と失敗した抽出、総経過時間を記録します。必要な出力が保存された時点を完了とします。再試行の末に保存できた結果は完了として一度だけ数え、失敗した試行はエラー記録に残します。これは比較用に提案する数え方で、ツールの既定動作ではありません。
-
上限を徐々に引き上げます。 バージョン、構成、ページの組み合わせ、出力などは一定にし、上限ごとに記録します。有効な完了件数が伸びなくなる、エラーが増える、期限を超える、残りの余裕が不足する場合は引き上げを止めます。これはテストを止める目安で、一般的な使用率の閾値ではありません。処理中の件数が増えるだけでは改善とは見なしません。
-
継続運用と処理の重複を検証します。 選んだ上限で通常のジョブ時間だけ動かし、併用サービスや別の定期抽出と重なる時間帯でも試します。構成を採用する前に、テストを繰り返します。別のホストを比較する際には同じ処理を使い、可能であれば一度に 1 つのリソースだけを変更します。RAM と vCPU を同時に増やしても、RAM の効果を切り分けたり、比例して速くなると判断したりはできません。
VPS 構成と同時実行上限の組み合わせごとに、リソース上限、メモリーと CPU の測定値、スワップの動き、成功および失敗した抽出、経過時間、最終判断を記録します。
取得したサンプルの最大値を観測したサンプル最大値と呼びます。サンプリングでは短いピークを取り逃すことがあります。Docker の --no-stream オプションは最初の結果のみを返すため、実行中のピークは確定できません。取得できなかった値は不明のままにします。推定値で埋めると比較の根拠が弱まります。
運用上の余裕とは、重いページ、実行ごとのばらつき、処理の重複に備えて残す容量です。固定の余裕率を当てはめず、テストした条件を基に決めます。期限ぎりぎりに終わる場合や、こうした条件に対応する余裕が残らない場合は、同時実行上限を下げるか、より大きな構成を試してください。
設定変更か容量追加かを判断する

ホストに空き RAM があるのにコンテナーがメモリー上限に達する場合は、VPS を増強する前に上限を確かめます。ホスト自体にリソースの余裕がない場合は、同時実行数を減らす案と割り当てを増やす案を比較します。表から次の変更を選び、同じ抽出を繰り返して、完成した出力、エラー、経過時間を比較します。
| 観測された傾向 | 次の確認または対処 | 変更後の合格条件 |
|---|---|---|
| ホストの利用可能メモリーが減り、継続的なスワップとともに完了状況が悪化する | 全体の負荷と併用サービスを比較し、同時実行数を減らすか RAM を増やすかを評価する | 繰り返した抽出が期限内に完了し、余裕の根拠を示せる |
| ホストに余裕があるのにコンテナーが設定済みのメモリー上限に近づく | 上限を変更する前に、実際の上限と失敗やログの証拠を確認する | 同じ負荷で再テストする。ホストの RAM を増やした事実だけでは修正を確認できない |
| ブラウザーのクラッシュが起き、共有メモリー設定の確認が必要になる | /dev/shm と総 RAM を区別し、Chromium の Docker IPC ガイダンスを確認する |
該当構成を再テストする。エラーメッセージだけではメモリー枯渇を診断できない |
| CPU の高負荷が続くか CPU 上限の影響が疑われ、期限に間に合わない | クォータ、負荷、I/O や待機状況を調べ、同時実行上限や CPU の割り当てを評価する | 期限内に成功する処理が増える。割り当てに比例して速くなるとは想定しない |
| 同時実行数を増やすとエラーや経過時間が増え、有効な完了件数は増えない | 上限を下げ、負荷の挙動と外部処理による待機を調べる | 必要なデータの取得が時間内に正常に完了する |
Chromium の共有メモリーの利用方式はビルドと起動設定によって異なります。/dev/shm を使う構成ではコンテナーの共有メモリーファイルシステムを調べます。Docker のコンテナー実行リファレンスによると、--shm-size は /dev/shm のサイズを指定し、省略時は 64m です。この設定は共有メモリーファイルシステム用で、コンテナー全体の RAM 割り当てではありません。Playwright の Docker メモリー上限の引き上げと共有メモリーの設定変更は別の対処です。
Playwright の Docker 構成ガイダンスでは、Chromium に --ipc=host、プロセス管理に --init を推奨しています。信頼できないサイトのクロールには別ユーザーと seccomp プロファイルを推奨しています。root でブラウザーを動かすと Chromium のサンドボックスが無効になります。クロール条件に適した構成を一式として適用してください。IPC の設定は一般的なセキュリティ推奨ではなく、信頼できるサイトのエンドツーエンドテスト例は信頼できないサイトのクロール手順にはなりません。
合格した負荷の記録はジョブの設定とともに保管します。ページの構成、バージョン、実効上限、スケジュールの重複が変わったら再確認してください。
測定結果からコンテナーのデプロイに別の Linux ホストが必要と判断した場合、Docker をワンクリックでデプロイできます。合格した負荷の記録を基にリソースを選び、テスト済みのコンテナー設定をデプロイ先に引き継ぎます。
よくある質問
リモートブラウザーを使えば、スクレイパーのローカル RAM は不要ですか?
リモートブラウザーを使っていても、ローカルのランタイムやクライアント、抽出ロジック、出力処理が実行される場所にはリソースが必要です。Playwright のリモート接続のドキュメントは呼び出し元コードとは別のサーバーを説明しています。クライアントとリモートサービスを個別に計測してください。この構成だけではローカルメモリーがいくら節約されるか分かりません。
Playwright を非同期で動かすと RAM 使用量は減りますか?
必ずしも減るわけではありません。同じ同時実行上限、同じページ、同じ出力要件で非同期実装と現行実装を比較します。RAM 使用量、成功した抽出数、経過時間を記録してから節約の有無を判断します。Docker のリソース制限のガイダンスでは、本番投入前にアプリケーションのメモリー要件をテストすることを勧めています。
Selenium Grid の RAM の目安でスクレイピング用 VPS の構成を決められますか?
Selenium の Grid のサイジングに関するドキュメントでは、ブラウザー 1 つにつき CPU 1 基と 1 GB RAM というおおよその参考値を示し、環境によっては当てはまらないと明記しています。パフォーマンスの継続測定も推奨しています。この条件付きの値は Grid 固有の参考値であり、スクレイパーの容量を求める式でも、ローカル WebDriver の最小要件でもありません。
ディスカッション
コメント
ログインしてディスカッションに参加してください。