Ana içeriğe geç
%50 indirim tüm planlarda, sınırlı süreyle. Başlangıç fiyatı $2.48/mo
Kalan süre: 11 dk.
Bulut Mimarisi ve BT

Web scraping için VPS: Playwright veya Selenium için RAM ve CPU boyutlandırma

B Yazan Brendan 11 dk okuma
RAM ve işlemcinin yanındaki tarayıcı pencereleri, web scraping için VPS boyutlandırmayı gösteriyor.

Playwright veya Selenium ile çalışan veri çıkarma aracınız VPS'te yavaşlıyor ya da süreyi aşıyorsa daha fazla RAM işe yarayabilir. Tek başına zaman aşımı hangi kaynağın yükseltileceğini göstermez. Tarayıcı süreçleri, sonuçların yazılması ve sunucuyu paylaşan hizmetler dahil tüm işi ölçerek VPS kaynaklarını belirleyin. Sonra eşzamanlılığı ayarlayın ve gerekli verilerin süresinde tamamlanıp tamamlanmadığını kontrol edin.

Aday VPS yapılandırmasını iş yükünüzle sınayın

Eşzamanlılığı kontrol edilen ve az sayıda yardımcı hizmet kullanan tarayıcı işi için 4 GB RAM ve 2 vCPU ile denemeye başlardım. Küçük yapılandırma işi zamanında bitiremiyorsa veya diğer hizmetlere çok az yer kalıyorsa 8 GB RAM ve 4 vCPU deneyin. Bunlar başlangıç yapılandırmalarıdır. Playwright veya Selenium için resmi asgari gereksinim değildir ve belirli bir tarayıcı sayısını garanti etmez.

Başlangıç noktası Ne zaman denenmeli?
4 GB RAM / 2 vCPU Eşzamanlılığı kontrol edilen ve az sayıda yardımcı hizmet kullanan tarayıcı işi
8 GB RAM / 4 vCPU Ölçümler küçük yapılandırmanın işe veya yardımcı hizmetlere yetmediğini gösteriyor
Farklı bir RAM ve CPU dengesi Ölçümler ilk iki yapılandırmanın karşılayamadığı bir ihtiyacı ortaya koyuyor
Daha az eşzamanlı görev veya daha az tarayıcı işi Ek paralel iş tamamlanma durumunu kötüleştiriyor veya gerekli veriler sayfayı oluşturmadan alınabiliyor

Mevcut sunucuyu seçenekler arasında tutun. Gerekli veri çıkarma işini istenen çalışma koşullarında zaten bitiriyorsa ölçüm kaydı onu kullanmaya devam etmeyi gerekçelendirebilir. Yeni bir sunucu deniyorsanız yükünüze uygun RAM ve vCPU yapılandırması için Linux VPS planlarımıza göz atın. Playwright ya da Selenium'u kurabilmeniz ve tarayıcı ortamıyla kaynak sınırlarını ayarlayabilmeniz için root erişimi sağlıyoruz.

Verilerin işlenmiş bir sayfa gerektirip gerektirmediğini de kontrol edin. Yetkili bir HTTP veya API yolu gereken verileri sağlıyorsa o iş yükünü ayrı değerlendirin. Karşılaştırmada çıktı koşullarını sabit tutun. Daha az alan döndürmek veya zor sayfaları atlamak işi değiştirir. Tam ve eksik veri çıkarma işlemlerinin kapasite gereksinimlerini karşılaştırmak yararlı değildir.

Tarayıcı iş yükünün tamamını hesaba katın

VPS kaynak bütçesindeki veri çıkarma kapsayıcısını, yardımcı hizmetleri ve boş kapasiteyi gösteren şema

Veritabanıyla aynı sunucuda çalışan bir veri çıkarma aracı, çalışma zamanını, tarayıcı süreçlerini, etkin sayfaları ve veritabanı işini kullanılabilir kaynaklara sığdırmalıdır. Chromium'un çok süreçli mimarisi tarayıcı sürecini görüntüleyicilerden ve diğer süreç türlerinden ayırır. Ayrı bir sürecin ölçümünü yorumlamadan önce tüm yükü hesaba katmanızı öneririm.

Tarayıcı örneği, otomasyon kodunun yönettiği çalışan tarayıcıdır. Playwright'ta bağlam tarayıcı durumunu yalıtır ve sayfalar bir bağlama aittir. Playwright'ın tarayıcı bağlamı belgeleri gizli moda benzer yalıtımı açıklar ve tek tarayıcıda birden çok bağlama izin verir. Bağlam oluşturmanın düşük maliyetli olduğunu söyler, ancak RAM miktarı belirtmez. Bu bağlamlarda çalışan sayfaları da hesaba katın.

Aynı belge, kitaplıkla elle oluşturulan bağlamları Playwright Test'in otomatik oluşturduğu bağlamlardan ayırır. Kitaplığı kullanan bir veri çıkarma aracına kendi eşzamanlılık sınırı gerekir. Test çalıştırıcısının iş süreçlerine ilişkin ayarları bu sınırı belirlemez. Tarayıcı örneklerini, bağlamları ve etkin sayfaları ayrı ayrı sayın. Sayıları birbirinin yerine kullanmayın ve sekmeler ile Chromium süreçleri arasında sabit bir oran varsaymayın.

Selenium için sürücü oturumlarını ve ilgili tarayıcı süreçlerini kaydedin. Sürücü oturumu belgeleri yerel ve uzak çalıştırmayı ayırır ve oturumu sonlandırmak için quit önerir. Pencereyi kapatmak farklı bir işlemdir. Playwright'ta bağlam kapatma API'si bağlamın sayfalarını kapatır. Çalıştırmalar arasında aynı temizleme yöntemini kullanın ve tamamlanan işlerin oturumlarını bir sonraki teste taşımayın.

Kaynak ölçümlerinden önce yapılandırmayı kaydedin:

  • İşletim sistemi, mimari, çalışma zamanı sürümü, otomasyon paketi sürümü ve tarayıcı sürümleri.
  • Yerel veya kapsayıcıda çalıştırma ve çalışma zamanı, tarayıcı ile çıktı hizmetlerinin nerede çalıştığı.
  • Tarayıcı örnekleri, Playwright bağlamları ve etkin sayfalar ya da Selenium oturumları, eşzamanlılık sınırı ve temizleme yöntemi.
  • Hedef ve sayfa çeşitleri, veri çıkarma işlemleri, sonuç yazma yöntemi, indirmeler, günlükler ve depolama gereksinimleri.
  • Sunucuyu paylaşan veritabanları, kuyruklar ve izleme gibi yardımcı hizmetler.
  • Varsa kapsayıcının bellek, CPU ve IPC ayarları.
  • Zamanlama, beklenen çalışma çakışmaları, olağan süre ve bitiş zamanı.

Masaüstü bağımlılıklarını kaydedin. Gözetimsiz çalışma ile arayüz olmadan çalışma farklıdır. Masaüstü arayüzüyle etkileşen bir akış için grafik oturumu gerekir. Otomasyon tarayıcı sayfalarını aşıyorsa grafik arayüzü ile arayüzsüz çalışma arasındaki sınır önem kazanır. Ek işi yapılandırma kaydına ekleyin, böylece kaynak ihtiyacı Playwright veya Selenium'a yazılmaz.

Eşzamanlılığı artırmadan önce temsili bir çalışmayı ölçün

Tek bir etkin veri çıkarma işlemiyle başlayın. Başarılı tamamlamaları ve geçen süreyi ölçün, ardından iş yükünü değiştirmeden eşzamanlılık sınırını kademeli olarak yükseltin. Sunucu ölçümlerini, varsa kapsayıcı ölçümleriyle birlikte kaydetmenizi öneririm. Seçtiğiniz sınırı dağıtımda kullanmadan önce normal işleyişte ve zamanlanmış çalışmalar çakıştığında doğrulayın.

Mevcut yetkili veri çıkarma işinizi kullanın. Aşağıdaki komutlar makineyi ve kapsayıcıyı gözlemler. Veri çıkarma başlatmaz ve karşılaştırmalı performans testi tanımlamaz. Linux sunucusunda kabuk erişimi gerekir. Docker gözlemleri için ayrıca daemon erişimi ve mevcut bir kapsayıcı gerekir. scraper yerine kapsayıcı adınızı yazın.

  1. Yapılandırmayı ve başlangıç değerlerini kaydedin. Yapılandırma kaydını doldurun ve veri çıkarma başlamadan sunucunun bellek ve CPU davranışını not edin. Yardımcı hizmetleri olağan durumlarında tutun. Yerel çalıştırmada çalışma zamanını ve tarayıcı süreç ağacının tamamını süreç gözlemlerinden hesaplayın, Docker komutlarıyla kapsayıcı alanlarını atlayın. Kapsayıcı kullanıyorsanız hangi süreçlerin her kapsayıcının içinde ve hangilerinin dışında çalıştığını belirleyin.

  2. Sunucuyu ve geçerli kapsayıcı sınırlarını gözlemleyin. Sunucu komutlarını sunucunun üzerinde, sürekli izleme araçlarını ise iş çalışırken ayrı terminallerde çalıştırın:

free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper

free -h okunabilir birimlerle anlık değerleri yazar. procps free kılavuzu, available alanını yeni uygulamaların takasa başvurmadan kullanabileceği tahmini bellek olarak tanımlar. Bu değeri yükle birlikte yorumlayın. free sütunu yalnızca kullanılmayan belleği gösterir ve daha dar bir soruya yanıt verir. Çalışma sırasında ölçümleri tekrarlayın ve gözlediğiniz en düşük kullanılabilir değeri kaydedin.

vmstat -y 1 saniyede bir gözlem bildirir. procps vmstat kılavuzu, -y seçeneğinin aksi halde açılıştan bu yana istatistikleri içeren ilk raporu atladığını açıklar. si ve so alanları saniyede takastan okunan ve takasa yazılan bellek miktarını gösterir. CPU alanlarında id boşta kalma, wa girdi/çıktı bekleme, st ise sanal makineden alınan CPU süresidir. Ölçümleri işin ilerleyişi ve hatalarla ilişkilendirin. Tek başlarına kök nedeni teşhis etmezler.

Docker'ın inspect komut başvurusu JSON yapılandırma çıktısını ve kapsayıcı türü filtresini açıklar. Geçerli bellek, CPU ve IPC ayarlarını kaydedin. Paylaşmadan önce çıktıda ortam değişkenlerinden gelen gizli bilgiler olup olmadığını inceleyin. Docker'ın kaynak sınırları belgeleri, --memory tavanıyla --cpus ve CPU kotası gibi işlemci kısıtlarını ayırır. Kota CPU çalışma süresini sınırlar. Sunucunun vCPU sayısı kapsayıcının hakkını tek başına göstermez. Ayarlanmamış sınırları da kaydedin ve takas yapılandırmasını kontrol edin.

Docker'ın stats komut başvurusu canlı CPU, bellek kullanımı ve sınırı, ağ ve blok girdi/çıktı değerlerini açıklar. Linux'ta CLI önbelleği bellek kullanımından düşer, bu nedenle başka bir kaynağın ölçümü farklı olabilir. PIDS süreçleri ve çekirdek iş parçacıklarını kapsar, tarayıcıları saymaz. Sunucu ölçümlerinde kapsayıcının etkinliği zaten vardır. Bellek okumalarını ayrı bütçelermiş gibi toplamayın. GiB, MiB, GB ya da dönüştürülmemiş baytlar gibi gösterilen birimleri koruyun. Sürekli izlemeyi Ctrl-C ile durdurun.

  1. Sayfa çeşitleri üzerinde tek bir etkin veri çıkarma çalıştırın. Temsili hafif ve ağır sayfaları, başlangıcı, gezinmeyi, veri çıkarmayı ve sonuç yazmayı dahil edin. Başarılı ve başarısız işlemleri ve toplam geçen süreyi kaydedin. İstenen çıktı kaydedildiğinde işlem tamamlanır. Sonunda başarıya ulaşan yeniden denemeyi bir kez sayın ve başarısız denemeleri hata kaydında tutun. Bu, önerilen bir sayım yöntemidir, aracın varsayılanı değildir.

  2. Sınırı kademeli yükseltin. Sürümleri, yerleşimi, sayfa çeşitlerini, çıktıyı ve diğer ayarları değiştirmeyin. Her sınır için ayrı kayıt tutun. Faydalı tamamlamalar artmıyorsa, hatalar çoğalıyorsa, süre aşılıyorsa veya yeterli pay kalmıyorsa artırmayı bırakın. Bunlar önerilen test durdurma koşullarıdır, genel kullanım eşikleri değildir. Yalnızca devam eden iş sayısının artması iyileşme sayılmaz.

  3. Sürekli çalışmayı ve çakışmayı doğrulayın. Seçilen sınırı olağan iş süresi boyunca ve yardımcı hizmetlerle veya diğer zamanlanmış veri çıkarma işleriyle beklenen çakışmalarda kullanın. Yapılandırmayı kabul etmeden önce denemeyi tekrarlayın. Başka bir sunucuyla karşılaştırmada işi sabit tutun ve uygulanabiliyorsa her seferinde bir kaynağı değiştirin. RAM ve vCPU'yu birlikte artırmak RAM'in etkisini ayıramaz veya orantılı hızlanmayı kanıtlayamaz.

Her VPS yapılandırması ve eşzamanlılık sınırı için kaynak sınırlarını, bellek ve CPU ölçümlerini, takas etkinliğini, tamamlanan ve başarısız işlemleri, geçen süreyi ve son kararı kaydedin.

Örneklerde görülen en yüksek değeri örneklerde gözlenen en yüksek değer olarak adlandırın. Örnekleme kısa zirveleri kaçırabilir. Docker'ın --no-stream seçeneği yalnızca ilk sonucu döndürür, çalışmanın zirvesini belirleyemez. Gözlenmemiş değerleri bilinmiyor olarak bırakın. Boşluğu tahminle doldurmak karşılaştırmayı zayıflatır.

İşletim payı, daha ağır sayfalar, çalışmalar arasındaki farklılıklar ve çakışan işler için kalan kapasitedir. Sabit bir yüzde yerine denediğiniz koşulları temel alın. İş son ana kadar sürüyorsa veya bu koşullara yer kalmıyorsa eşzamanlılık sınırını düşürün ya da daha büyük bir yapılandırmayı deneyin.

Yapılandırmayı değiştirmek veya kapasiteyi artırmak arasında seçim yapın

Bellek baskısı, tarayıcı çökmeleri ve CPU darboğazları için sıradaki testi gösteren sorun giderme tablosu

Sunucuda boş RAM varken kapsayıcı bellek sınırına ulaşıyorsa VPS'i yükseltmeden önce bu sınırı inceleyin. Sunucunun kendisi zorlanıyorsa daha düşük eşzamanlılık ile daha büyük kaynak tahsisini karşılaştırın. Sonraki değişikliği tablodan seçin, aynı veri çıkarma işlemini tekrarlayın ve tamamlanan çıktıyı, hataları ve geçen süreyi karşılaştırın.

Gözlenen durum Sonraki kontrol veya işlem Değişiklik sonrası kabul ölçütü
Sunucunun kullanılabilir belleği azalıyor, takas etkinliği sürüyor ve tamamlanan işler azalıyor ya da aksıyor Tüm yükü ve yardımcı hizmetleri karşılaştırın. Eşzamanlılığı düşürmeyi veya RAM'i artırmayı değerlendirin Tekrarlanan veri çıkarma işlemi gerekçelendirilmiş bir kapasite payıyla zamanında bitiyor
Sunucuda kapasite varken kapsayıcı ayarlanmış bellek sınırına yaklaşıyor Sınırı değiştirmeden önce geçerli sınırı ve başarısızlık ya da günlük kayıtlarını inceleyin Yükü yeniden deneyin. Sunucudaki RAM artışı tek başına çözümü kanıtlamaz
Tarayıcı çökmeleri paylaşımlı bellek ayarlarını kontrol etmeyi gerektiriyor /dev/shm ile toplam RAM'i ayırın ve Chromium için Docker IPC önerilerini inceleyin İlgili yapılandırmayı tekrar deneyin. Tek bir hata mesajı bellek tükenmesini teşhis etmeye yetmez
CPU meşgul kalıyor veya ayarlanmış bir CPU sınırı devreye giriyor olabilir ve iş süreyi aşıyor Kotayı, yükü, girdi/çıktı ve bekleme durumunu kontrol edin. Eşzamanlılık sınırını veya CPU tahsisini değerlendirin Orantılı bir hızlanma varsaymadan süre içinde daha fazla iş başarıyla tamamlanıyor
Eşzamanlılık artışı daha çok hata veya daha uzun süre getiriyor ama yararlı biçimde tamamlanan iş sayısını artırmıyor Sınırı azaltın, yükün davranışını ve dış sistemlerdeki beklemeleri inceleyin Gerekli veriler ayrılan zaman içinde başarıyla çıkarılıyor

Chromium'un paylaşımlı belleği kullanma biçimi derleme ve başlangıç yapılandırmasına bağlıdır. /dev/shm kullanan yapılandırmalarda kapsayıcının paylaşımlı bellek dosya sistemini inceleyin. Docker'ın kapsayıcı çalıştırma başvurusuna göre --shm-size, /dev/shm boyutunu ayarlar ve belirtilmezse 64m kullanılır. Bu ayar dosya sisteminin boyutunu belirler, kapsayıcının toplam RAM hakkını değil. Playwright için Docker bellek sınırını artırmak ve paylaşımlı bellek ayarını değiştirmek farklı işlemlerdir.

Playwright'ın Docker yapılandırma kılavuzu Chromium için --ipc=host ve süreç yönetimi için --init önerir. Güvenilmeyen siteleri taramak için ayrı kullanıcı ve seccomp profili önerir. Tarayıcıyı root olarak çalıştırmak Chromium korumalı alanını devre dışı bırakır. Uygun tarama yapılandırmasını bir bütün olarak uygulayın. IPC ayarı genel bir güvenlik önerisi değildir. Güvenilir bir sitedeki uçtan uca test örneği, güvenilmeyen siteleri tarama tarifi değildir.

Onaylanan iş yükü kaydını görev yapılandırmasıyla birlikte saklayın. Sayfa çeşitleri, sürümler, geçerli sınırlar veya zamanlama çakışmaları değiştiğinde yeniden kontrol edin.

Ölçümler kapsayıcı dağıtımı için başka bir Linux sunucusunu gerektiriyorsa tek tıklamayla Docker dağıtımı sunuyoruz. Kaynak tahsisini doğrulanmış yük kaydından seçin ve test edilen kapsayıcı ayarlarını dağıtıma taşıyın.

Sık sorulan sorular

Uzak tarayıcı kullanmak veri çıkarma aracının yerel RAM ihtiyacını ortadan kaldırır mı?

Uzak tarayıcı kullanılsa bile yerel çalışma zamanı veya istemci, veri çıkarma mantığı ve çıktı işleme için çalıştıkları yerde kaynak gerekir. Playwright'ın uzak bağlantı belgeleri çağıran koddan ayrı çalışan bir sunucuyu açıklar. İstemciyi ve uzak hizmeti ayrı ayrı ölçün. Bu mimari tek başına yerel bellek tasarrufunu sayısal olarak belirlemez.

Asenkron yürütme Playwright'ın RAM tüketimini azaltır mı?

Şart değil. Asenkron uygulamayla mevcut olanı aynı eşzamanlılık sınırı, sayfalar ve çıktı gereksinimleriyle karşılaştırın. Tasarruf olduğu sonucuna varmadan önce RAM kullanımını, tamamlanan işlemleri ve geçen süreyi kaydedin. Docker'ın kaynak sınırları kılavuzu üretimden önce uygulamanın bellek ihtiyaçlarını denemeyi önerir.

Selenium Grid'in RAM referansı veri çıkarma VPS'ini boyutlandırmak için kullanılabilir mi?

Selenium'un Grid boyutlandırma belgeleri tarayıcı başına yaklaşık 1 CPU ve 1 GB RAM değerini referans verir ve bunun ortamınıza uymayabileceğini açıkça belirtir. Performansın sürekli ölçülmesini önerir. Grid'e özgü bu değeri belirtilen koşulla kullanın. Bu değer genel bir veri çıkarma kapasite formülü veya yerel WebDriver alt sınırı değildir.

Paylaş

Tartışma

Yorumlar

Tartışmaya katılmak için giriş yapın.

Bloga göz at

Okumaya devam edin.

Dağıtmaya hazır mısınız? 2,48 $/ay'dan başlayan fiyatlarla.

2008'den beri bağımsız bulut. AMD EPYC, NVMe, 40 Gbps. 14 gün para iade garantisi.