Jika scraper Playwright atau Selenium melambat di VPS atau melewati tenggat, RAM tambahan mungkin membantu. Namun, timeout saja tidak menunjukkan sumber daya mana yang perlu ditambah. Tentukan kapasitas VPS untuk web scraping dengan mengukur seluruh tugas, termasuk proses browser, penulisan hasil, dan layanan yang berbagi host. Lalu sesuaikan batas tugas serentak dan periksa apakah data yang diperlukan tersimpan tepat waktu.
Uji konfigurasi VPS dengan beban kerja Anda
Untuk tugas browser dengan konkurensi terkendali dan sedikit layanan pendamping, saya akan mulai menguji RAM 4 GB dan 2 vCPU. Evaluasi RAM 8 GB dan 4 vCPU jika konfigurasi lebih kecil tidak sanggup menyelesaikan tugas tepat waktu atau menyisakan terlalu sedikit sumber daya untuk layanan lain. Ini titik awal pengujian, bukan persyaratan minimum resmi Playwright atau Selenium maupun jaminan jumlah browser.
| Titik awal | Kapan perlu diuji |
|---|---|
| 4 GB RAM / 2 vCPU | Tugas browser dengan konkurensi terkendali dan sedikit layanan pendamping |
| 8 GB RAM / 4 vCPU | Pengukuran menunjukkan konfigurasi lebih kecil kekurangan kapasitas untuk tugas atau layanan pendamping |
| Perbandingan RAM dan CPU yang berbeda | Pengukuran menunjukkan kebutuhan yang belum terpenuhi oleh dua konfigurasi awal |
| Lebih sedikit tugas serentak atau pekerjaan browser | Pekerjaan paralel tambahan menghambat penyelesaian, atau data yang diperlukan tersedia tanpa perenderan |
Pertahankan host saat ini sebagai pilihan. Jika sudah menuntaskan ekstraksi yang diperlukan dalam kondisi operasi yang diinginkan, pengukuran dapat mendukung keputusan untuk mempertahankannya. Jika sedang menguji host baru, lihat paket VPS Linux kami untuk mencari kombinasi RAM dan vCPU yang sesuai. Kami menyediakan akses root agar Anda dapat memasang Playwright atau Selenium serta mengatur lingkungan browser dan batas sumber daya yang diuji.
Periksa apakah data memerlukan halaman yang dirender. Jika jalur HTTP atau API yang diizinkan mengembalikan data tersebut, evaluasi bebannya secara terpisah. Pertahankan persyaratan keluaran saat membandingkan. Mengembalikan lebih sedikit kolom atau melewati halaman sulit akan mengubah tugas. Perbandingan kapasitas untuk hasil lengkap dan hasil tidak lengkap tidak berguna.
Hitung seluruh beban browser

Scraper yang berjalan bersama basis data harus menampung runtime, proses browser, halaman aktif, dan pekerjaan basis data dalam sumber daya yang tersedia. Arsitektur multiproses Chromium memisahkan proses browser dari perender dan jenis proses lain. Untuk menentukan kapasitas, saya menyarankan menghitung seluruh beban sebelum menafsirkan pembacaan proses tertentu.
Instans browser adalah browser yang sedang berjalan dan dikendalikan kode otomasi. Di Playwright, konteks mengisolasi status browser dan halaman menjadi bagian dari konteks. Dokumentasi konteks browser Playwright menjelaskan isolasi seperti mode samaran dan memungkinkan beberapa konteks dalam satu browser. Dokumen itu menyebut pembuatan konteks ringan tanpa memberikan angka kebutuhan RAM. Hitung halaman yang bekerja di dalamnya.
Dokumentasi yang sama membedakan konteks yang dibuat secara manual dengan pustaka dari konteks yang dibuat otomatis oleh Playwright Test. Scraper yang menggunakan pustaka perlu batas konkurensi sendiri. Pengaturan worker pada pelaksana pengujian tidak menetapkan batas itu. Catat jumlah instans browser, konteks, dan halaman aktif secara terpisah. Jangan saling menggantikan angka tersebut atau menganggap hubungan antara tab dan proses Chromium selalu sama.
Untuk Selenium, catat sesi driver dan proses browsernya. Dokumentasi sesi driver membedakan eksekusi lokal dan jarak jauh, serta menyarankan quit untuk mengakhiri sesi. Menutup jendela adalah operasi lain. Di Playwright, API penutupan konteks juga menutup halaman di konteks tersebut. Pertahankan prosedur pembersihan yang sama antarpercobaan. Jangan biarkan sesi yang selesai tetap aktif ketika pengujian berikutnya dimulai.
Catat rincian konfigurasi sebelum mengukur sumber daya:
- Sistem operasi, arsitektur, serta versi runtime, paket otomasi, dan browser.
- Eksekusi native atau di kontainer, serta lokasi runtime, browser, dan layanan pemrosesan keluaran.
- Instans browser, konteks Playwright dan halaman aktif, atau sesi Selenium, serta batas konkurensi dan cara pembersihan.
- Ragam target dan halaman, operasi ekstraksi, penulisan hasil, unduhan, log, serta kebutuhan penyimpanan.
- Layanan pendamping yang berbagi host, termasuk basis data, antrean, dan pemantauan.
- Pengaturan memori, CPU, dan IPC kontainer jika berlaku.
- Jadwal, eksekusi yang diperkirakan bertumpang tindih, durasi normal, dan tenggat.
Catat seluruh ketergantungan pada desktop. Berjalan tanpa pengawasan berbeda dengan berjalan tanpa antarmuka grafis. Alur yang memanipulasi antarmuka desktop tetap memerlukan sesi grafis. Perbedaan antara GUI dan mode headless relevan ketika otomasi melampaui halaman browser. Masukkan pekerjaan tambahan itu ke catatan konfigurasi agar kebutuhan sumber dayanya tidak dianggap berasal dari Playwright atau Selenium.
Ukur eksekusi yang mewakili beban sebelum menambah konkurensi
Mulailah dengan satu ekstraksi aktif dan ukur jumlah penyelesaian yang berhasil serta waktu yang dibutuhkan. Lalu naikkan batas konkurensi secara bertahap tanpa mengubah beban. Saya menyarankan pencatatan pengamatan host bersama pengamatan kontainer jika berlaku. Validasi batas yang dipilih saat operasi normal dan ketika jadwal bertumpang tindih sebelum menerapkannya sebagai batas operasional.
Gunakan tugas ekstraksi yang telah diizinkan. Perintah berikut mengamati mesin dan kontainer tanpa menjalankan scraper atau menetapkan tolok ukur. Anda membutuhkan akses shell ke host Linux. Pengamatan Docker juga membutuhkan akses daemon dan kontainer yang sudah ada. Ganti scraper dengan nama kontainer itu.
-
Catat konfigurasi dan kondisi awal. Lengkapi catatan konfigurasi dan amati memori serta CPU host sebelum mulai mengekstrak. Biarkan layanan pendamping beroperasi normal. Pada eksekusi native, gunakan pengamatan proses untuk mencakup runtime dan seluruh pohon proses browser. Lewati perintah Docker dan kolom kontainer. Jika menggunakan kontainer, tentukan proses mana yang berjalan di dalam tiap kontainer dan mana yang tetap di luar.
-
Amati host dan batas efektif kontainer. Jalankan perintah host pada host, dengan pemantau berkelanjutan di terminal terpisah saat tugas berlangsung:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h menampilkan keadaan sesaat dalam satuan yang mudah dibaca. Manual free dari procps mendefinisikan available sebagai estimasi memori yang bisa dipakai aplikasi baru tanpa swap. Tafsirkan estimasi bersama beban kerja. Kolom free menghitung memori yang tidak digunakan dan menjawab pertanyaan yang lebih sempit. Ulangi pembacaan saat tugas berjalan dan simpan nilai memori tersedia terendah yang terlihat.
vmstat -y 1 melaporkan pengamatan setiap detik. Manual vmstat dari procps menyatakan bahwa -y melewatkan laporan pertama, yang biasanya mencakup statistik sejak boot. Kolom si dan so menunjukkan memori yang dibaca dari dan ditulis ke swap per detik. Kolom CPU mencakup id untuk waktu menganggur, wa untuk tunggu I/O, dan st untuk waktu CPU yang diambil dari mesin virtual. Hubungkan pembacaan dengan kemajuan dan kesalahan tugas. Pembacaan itu tidak menunjukkan akar masalah dengan sendirinya.
Referensi perintah inspect Docker menjelaskan keluaran konfigurasi JSON dan filter jenis kontainer. Catat konfigurasi memori, CPU, dan IPC yang berlaku. Periksa apakah keluarannya memuat rahasia dari variabel lingkungan sebelum dibagikan. Dokumentasi batas sumber daya Docker membedakan batas --memory dari batas CPU seperti --cpus dan kuota CPU. Kuota membatasi waktu eksekusi CPU. Jumlah vCPU host saja tidak menjelaskan alokasi kontainer. Catat juga batas yang tidak ditetapkan dan periksa konfigurasi swap.
Referensi perintah stats Docker menjelaskan pembacaan langsung CPU, penggunaan dan batas memori, jaringan, serta I/O blok. Di Linux, CLI mengurangi cache dari penggunaan memori, sehingga angkanya bisa berbeda dari sumber lain. PIDS mencakup proses dan thread kernel, bukan jumlah browser. Pengamatan host telah mencakup aktivitas kontainer. Jangan jumlahkan pembacaan memori seolah-olah berasal dari anggaran terpisah. Pertahankan satuan asli seperti GiB, MiB, GB, atau byte mentah. Hentikan pemantau dengan Ctrl-C.
-
Jalankan satu ekstraksi aktif pada berbagai jenis halaman. Sertakan halaman ringan dan berat yang mewakili beban, serta proses mulai, navigasi, ekstraksi, dan penulisan hasil. Catat ekstraksi yang selesai dan gagal beserta waktu total. Anggap selesai saat keluaran yang diperlukan disimpan. Hitung hasil percobaan ulang yang akhirnya sukses satu kali dan pertahankan percobaan gagal dalam catatan kesalahan. Ini konvensi penghitungan usulan, bukan bawaan alat.
-
Naikkan batas bertahap. Pertahankan versi, topologi, ragam halaman, keluaran, dan pengaturan lain. Buat catatan terpisah untuk setiap batas. Berhenti ketika jumlah penyelesaian yang bermanfaat tidak bertambah, kesalahan meningkat, tenggat terlewati, atau sisa cadangan tidak cukup. Ini batas pengujian yang disarankan, bukan ambang pemakaian universal. Bertambahnya pekerjaan aktif saja tidak terhitung sebagai peningkatan.
-
Validasi operasi berkelanjutan dan tumpang tindih. Uji batas terpilih sepanjang durasi tugas yang normal serta saat diperkirakan bertumpang tindih dengan layanan pendamping atau ekstraksi terjadwal lain. Ulangi sebelum menerima konfigurasi. Untuk membandingkan host lain, pertahankan tugas dan ubah satu sumber daya tiap kali jika memungkinkan. Menambah RAM dan vCPU sekaligus tidak mengisolasi dampak RAM atau membuktikan percepatan sebanding.
Untuk tiap konfigurasi VPS dan batas konkurensi, catat batas sumber daya, pembacaan memori dan CPU, aktivitas swap, ekstraksi yang selesai dan gagal, waktu yang dibutuhkan, dan keputusan akhir.
Sebut angka tertinggi dalam sampel sebagai nilai tertinggi yang teramati dalam sampel. Pengambilan sampel dapat melewatkan puncak sesaat. Opsi --no-stream Docker hanya mengembalikan hasil pertama sehingga tidak menentukan puncak satu eksekusi. Biarkan nilai yang tidak teramati tetap tidak diketahui. Mengisi kekosongan dengan perkiraan memperlemah perbandingan.
Cadangan operasional adalah kapasitas yang tersisa untuk halaman lebih berat, variasi antarpercobaan, dan tugas yang berjalan bersamaan. Tentukan cadangan dari kondisi yang diuji, tanpa memakai persentase tetap. Jika tugas nyaris melewati tenggat atau tidak menyisakan kapasitas untuk kondisi tersebut, kurangi batas konkurensi atau coba alokasi yang lebih besar.
Pilih antara memperbaiki konfigurasi dan menambah kapasitas

Jika kontainer mencapai batas memorinya sementara host masih memiliki RAM, periksa batas tersebut sebelum meningkatkan VPS. Jika host sendiri kekurangan sumber daya, bandingkan konkurensi lebih rendah dengan alokasi lebih besar. Pilih perubahan berikutnya dari tabel, lalu ulangi ekstraksi yang sama dan bandingkan keluaran lengkap, kesalahan, serta waktu.
| Pola yang terlihat | Pemeriksaan atau tindakan berikutnya | Kriteria penerimaan setelah perubahan |
|---|---|---|
| Memori host yang tersedia turun, dan swap berkepanjangan terjadi seiring penurunan hasil penyelesaian | Bandingkan seluruh beban dan layanan pendamping. Pertimbangkan mengurangi konkurensi atau menambah RAM | Ekstraksi yang diulang memenuhi tenggat dengan cadangan yang dapat dijelaskan |
| Kontainer mendekati batas memori yang ditetapkan sementara host masih memiliki kapasitas | Periksa batas aktual dan bukti kegagalan atau log sebelum mengubahnya | Uji kembali beban. Penambahan RAM host saja belum membuktikan perbaikan |
| Crash browser perlu ditindaklanjuti dengan pemeriksaan memori bersama | Bedakan /dev/shm dari total RAM dan periksa panduan IPC Docker untuk Chromium |
Uji kembali konfigurasi terkait. Satu pesan kesalahan tidak cukup untuk mendiagnosis kehabisan memori |
| CPU terus sibuk atau diduga terkena batas CPU, dan tugas melewati tenggat | Periksa kuota, beban, serta konteks I/O dan waktu tunggu. Evaluasi batas konkurensi atau alokasi CPU | Lebih banyak tugas selesai dengan sukses dalam tenggat, tanpa mengasumsikan percepatan yang sebanding |
| Konkurensi lebih tinggi menambah kesalahan atau durasi tanpa meningkatkan penyelesaian yang berguna | Turunkan batas dan periksa perilaku beban serta waktu tunggu eksternal | Data yang diperlukan berhasil diekstrak dalam waktu yang tersedia |
Cara Chromium menggunakan memori bersama bergantung pada build dan pengaturan awal. Pada konfigurasi yang memakai /dev/shm, periksa sistem berkas memori bersama milik kontainer. Referensi menjalankan kontainer Docker menyebutkan bahwa --shm-size mengatur ukuran /dev/shm dengan nilai bawaan 64m. Pengaturan itu menentukan ukuran sistem berkas memori bersama, bukan seluruh alokasi RAM kontainer. Menaikkan batas memori Docker untuk Playwright dan mengatur memori bersama adalah tindakan berbeda.
Panduan konfigurasi Docker Playwright menyarankan --ipc=host untuk Chromium dan --init untuk pengelolaan proses. Untuk merayapi situs yang tidak tepercaya, panduan menyarankan pengguna terpisah dan profil seccomp. Menjalankan browser sebagai root menonaktifkan sandbox Chromium. Terapkan seluruh konfigurasi perayapan yang relevan. Pengaturan IPC bukan anjuran keamanan umum, dan contoh pengujian menyeluruh pada situs tepercaya bukan petunjuk untuk merayapi situs yang tidak tepercaya.
Simpan catatan beban yang lolos bersama konfigurasi tugas. Periksa kembali jika ragam halaman, versi, batas efektif, atau jadwal yang tumpang tindih berubah.
Jika pengukuran mendukung penggunaan host Linux lain untuk kontainer, kami menyediakan penerapan Docker sekali klik. Pilih alokasi dari catatan beban yang telah diterima dan bawa pengaturan kontainer yang sudah diuji ke penerapan baru.
Pertanyaan Umum
Apakah browser jarak jauh menghilangkan kebutuhan RAM lokal scraper?
Browser jarak jauh tetap memerlukan alokasi sumber daya untuk runtime atau klien lokal, logika ekstraksi, dan pemrosesan keluaran di lokasi masing-masing. Dokumentasi koneksi jarak jauh Playwright menjelaskan server yang berjalan terpisah dari kode pemanggil. Ukur klien dan layanan jarak jauh secara terpisah. Arsitektur saja tidak menetapkan besarnya penghematan memori lokal.
Apakah eksekusi asinkron mengurangi penggunaan RAM Playwright?
Belum tentu. Bandingkan implementasi asinkron dan implementasi saat ini pada batas konkurensi, halaman, dan keluaran yang sama. Catat penggunaan RAM, ekstraksi yang selesai, dan waktu sebelum menyimpulkan ada penghematan. Panduan batas sumber daya Docker menyarankan menguji kebutuhan memori aplikasi sebelum produksi.
Bisakah acuan RAM Selenium Grid digunakan untuk menentukan kapasitas VPS scraping?
Dokumentasi kapasitas Selenium Grid memberikan acuan sekitar 1 CPU dan 1 GB RAM per browser. Dokumen itu memperingatkan bahwa acuan mungkin tidak berlaku untuk kondisi Anda, dan menyarankan pengukuran kinerja terus-menerus. Gunakan acuan khusus Grid dengan batasan tersebut. Acuan itu bukan rumus kapasitas scraper ataupun persyaratan minimum untuk WebDriver lokal.
Diskusi
Komentar
Masuk untuk bergabung dalam diskusi.