Playwright 또는 Selenium 스크래퍼가 VPS에서 느려지거나 마감 시간을 넘긴다면 RAM을 늘리는 것이 도움이 될 수 있습니다. 그러나 타임아웃만으로는 어떤 자원을 증설할지 알 수 없습니다. 브라우저 프로세스, 결과 기록, 같은 호스트의 서비스까지 전체 작업을 측정해 VPS 사양을 정하세요. 그런 다음 동시 실행 수를 조정하고 필요한 데이터가 제때 저장되는지 확인하세요.
실제 작업 부하로 후보 VPS 사양 테스트하기
동시 실행 수를 제어하고 보조 서비스가 적은 브라우저 작업이라면 먼저 4 GB RAM과 2 vCPU를 시험하겠습니다. 작은 구성이 제시간에 끝나지 않거나 다른 서비스에 여유를 거의 남기지 않으면 8 GB RAM과 4 vCPU를 평가하세요. 이는 테스트의 출발점입니다. Playwright나 Selenium의 공식 최소 요구 사항이나 실행 가능한 브라우저 수를 보장하는 값이 아닙니다.
| 시작 구성 | 테스트할 조건 |
|---|---|
| 4 GB RAM / 2 vCPU | 동시 실행 수를 제어하고 보조 서비스가 적은 브라우저 작업 |
| 8 GB RAM / 4 vCPU | 측정상 작은 구성에 작업 또는 보조 서비스를 위한 용량이 부족함 |
| RAM과 CPU의 다른 조합 | 측정 결과 처음 두 구성이 충족하지 못하는 요구가 드러남 |
| 동시 실행 수나 브라우저 작업량 줄이기 | 병렬 작업을 추가하면 완료 성과가 나빠지거나 렌더링 없이 필요한 데이터를 얻을 수 있음 |
기존 호스트도 후보에 넣으세요. 원하는 운영 조건에서 필요한 추출을 이미 완료한다면, 측정 기록이 계속 사용하는 근거가 됩니다. 새 호스트를 시험한다면 당사의 Linux VPS 요금제에서 부하에 맞는 RAM과 vCPU의 조합을 찾아보세요. 루트 권한을 제공하므로 Playwright나 Selenium을 설치하고 테스트에 필요한 브라우저 환경과 자원 제한을 설정할 수 있습니다.
데이터에 렌더링된 페이지가 필요한지도 확인하세요. 허가된 HTTP 또는 API 경로가 필요한 데이터를 반환한다면 해당 부하는 따로 평가하세요. 비교 시 출력 요구 사항을 그대로 유지합니다. 필드를 줄이거나 어려운 페이지를 건너뛰면 작업 자체가 달라집니다. 추출을 완료한 경우와 완료하지 못한 경우의 용량 비교는 의미가 없습니다.
전체 브라우저 부하 계산하기

데이터베이스와 함께 동작하는 스크래퍼는 런타임, 브라우저 프로세스, 활성 페이지, 데이터베이스 작업을 모두 가용 자원 내에서 처리해야 합니다. Chromium의 멀티프로세스 아키텍처는 브라우저 프로세스를 렌더러와 다른 프로세스 유형에서 분리합니다. 개별 프로세스의 측정값을 해석하기 전에 전체 부하를 고려하는 것을 권합니다.
브라우저 인스턴스는 자동화 코드가 관리하는 실행 중인 브라우저입니다. Playwright에서 컨텍스트는 브라우저 상태를 격리하며, 페이지는 컨텍스트에 속합니다. Playwright의 브라우저 컨텍스트 문서는 시크릿 모드와 유사한 격리를 설명하고 하나의 브라우저에서 여러 컨텍스트를 사용할 수 있다고 안내합니다. 컨텍스트 생성 비용이 적다는 설명은 구체적인 RAM 용량을 의미하지 않습니다. 내부에서 작업하는 페이지도 계산하세요.
같은 문서는 라이브러리로 수동 생성한 컨텍스트와 Playwright Test가 자동 생성한 컨텍스트를 구분합니다. 라이브러리를 사용하는 스크래퍼는 별도의 동시 실행 상한이 필요합니다. 테스트 러너의 워커 설정은 이 상한을 결정하지 않습니다. 브라우저 인스턴스, 컨텍스트, 활성 페이지의 수는 각각 기록하세요. 서로 대신 사용하거나 탭과 Chromium 프로세스 사이의 비율이 일정하다고 가정하지 마세요.
Selenium에서는 드라이버 세션과 관련 브라우저 프로세스를 기록하세요. 드라이버 세션 문서는 로컬 실행과 원격 실행을 구분하고 세션을 끝낼 때 quit을 권장합니다. 창을 닫는 것은 별개입니다. Playwright에서는 컨텍스트 종료 API가 컨텍스트의 페이지를 닫습니다. 실행마다 일관된 정리 방식을 사용하고 끝난 작업의 세션을 다음 테스트에 남기지 마세요.
자원 측정 전에 다음 구성 정보를 기록하세요.
- 운영체제와 아키텍처, 런타임과 자동화 패키지 및 브라우저의 버전.
- 네이티브 실행 또는 컨테이너 실행 여부, 런타임과 브라우저 및 출력 처리 서비스의 실행 위치.
- 브라우저 인스턴스, Playwright 컨텍스트와 활성 페이지 또는 Selenium 세션, 동시 실행 상한 및 정리 방법.
- 대상과 페이지 구성, 추출 작업, 결과 기록 방법, 다운로드, 로그 및 저장 공간 요구 사항.
- 데이터베이스, 큐, 모니터링 등 호스트를 공유하는 보조 서비스.
- 해당하는 경우 컨테이너 메모리, CPU, IPC 설정.
- 일정, 예상되는 실행 중첩, 통상 소요 시간 및 완료 시한.
데스크톱 의존성이 있다면 기록하세요. 무인 실행과 헤드리스 실행은 별개의 요구 사항입니다. 데스크톱 UI를 조작하는 흐름에는 그래픽 세션이 여전히 필요합니다. 자동화가 브라우저 페이지 밖으로 확장되면 GUI와 헤드리스 실행의 구분이 중요해집니다. 추가 작업을 구성 기록에 포함해 관련 자원 소비를 Playwright나 Selenium의 몫으로 잘못 계산하지 마세요.
동시 실행 수를 늘리기 전에 대표 실행 측정하기
한 건의 추출부터 시작해 성공적으로 완료된 건수와 경과 시간을 측정한 뒤, 부하를 고정하고 동시 실행 상한을 점차 올리세요. 컨테이너를 사용한다면 호스트와 컨테이너의 관측값을 함께 기록하는 것을 권합니다. 배포 시 운영 상한으로 채택하기 전에 정상 운영과 예정된 실행 중첩 상황에서 검증하세요.
이미 허가된 추출 작업을 사용하세요. 아래 명령은 호스트와 컨테이너를 관측하며, 스크래퍼를 실행하거나 벤치마크를 정의하지 않습니다. Linux 호스트에 셸로 접근할 수 있어야 합니다. Docker 관측에는 데몬 접근 권한과 기존 컨테이너도 필요합니다. scraper를 해당 컨테이너 이름으로 바꾸세요.
-
구성과 기준값을 기록하세요. 구성 기록을 채우고 추출 전 호스트 메모리와 CPU 동작을 기록하세요. 보조 서비스는 정상 상태로 유지하세요. 네이티브 실행에서는 프로세스 관측 결과로 런타임과 브라우저 프로세스 트리 전체를 집계하고 Docker 명령 및 컨테이너 항목은 생략하세요. 컨테이너를 사용한다면 각각 어떤 프로세스가 내부나 외부에서 실행되는지 확인하세요.
-
호스트와 컨테이너의 실효 제한을 관측하세요. 호스트 명령은 호스트에서 실행하세요. 작업 중 지속적으로 값을 출력하는 도구는 별도의 터미널에서 실행합니다.
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h는 읽기 쉬운 단위로 스냅샷을 출력합니다. procps의 free 매뉴얼은 available을 새 애플리케이션이 스왑 없이 사용할 수 있는 메모리의 추정치로 정의합니다. 부하와 함께 이 값을 살펴보세요. free 열은 사용하지 않는 메모리만 집계하므로 더 좁은 범위의 지표입니다. 실행 중 반복해 샘플링하고 관측한 가용 메모리의 최솟값을 기록하세요.
vmstat -y 1은 1초 간격으로 측정값을 출력합니다. procps의 vmstat 매뉴얼에 따르면 -y는 부팅 이후 통계가 담긴 첫 보고를 생략합니다. si와 so는 초당 스왑 인 및 스왑 아웃 메모리 양입니다. CPU 항목에는 유휴 시간 id, I/O 대기 wa, 가상 머신이 빼앗긴 CPU 시간 st가 있습니다. 작업 진행 상황 및 오류와 함께 해석하세요. 이 값만으로 근본 원인을 진단할 수는 없습니다.
Docker의 inspect 명령 참조는 JSON 구성 출력과 컨테이너 유형 필터를 설명합니다. 실효 메모리, CPU, IPC 구성을 기록하세요. 결과를 공유하기 전 환경 변수의 비밀 정보가 포함됐는지 확인하세요. Docker의 자원 제한 문서는 --memory 상한과 --cpus 또는 CPU 할당량과 같은 CPU 제한을 구분합니다. 할당량은 CPU 실행 시간을 제한합니다. 호스트의 vCPU 수만으로 컨테이너에 허용된 양을 알 수 없습니다. 설정하지 않은 한도도 기록하고 스왑 구성을 확인하세요.
Docker의 stats 명령 참조는 실시간 CPU, 메모리 사용량과 한도, 네트워크 및 블록 I/O 측정값을 설명합니다. Linux의 CLI는 메모리 사용량에서 캐시를 빼므로 다른 출처의 수치와 다를 수 있습니다. PIDS에는 프로세스와 커널 스레드가 포함되므로 브라우저 수가 아닙니다. 호스트 측정에는 컨테이너 활동이 이미 포함됩니다. 메모리 수치를 별개의 예산처럼 더하지 마세요. GiB, MiB, GB, 원시 바이트처럼 표시된 단위를 유지하세요. 연속 모니터는 Ctrl-C로 종료합니다.
-
대표 페이지 조합에서 추출을 한 건 실행하세요. 가벼운 페이지와 무거운 페이지 및 시작, 탐색, 추출, 결과 기록을 포함하세요. 완료 및 실패 건수와 전체 시간을 기록합니다. 필요한 출력이 저장된 때를 완료로 판단하세요. 성공한 재시도의 결과는 한 번만 완료로 세고, 실패한 시도는 오류 기록에 남기세요. 이는 권장 집계 방식이며 도구의 기본값이 아닙니다.
-
상한을 점차 올리세요. 버전, 토폴로지, 페이지 구성, 출력 및 기타 설정을 고정합니다. 상한마다 별도 기록을 남깁니다. 유효한 완료 건수가 개선되지 않거나 오류가 증가하거나 기한을 넘기거나 남은 여유가 부족하면 중단하세요. 이는 권장 테스트 중단 조건이며 보편적 사용률 임계값이 아닙니다. 진행 중인 작업이 늘어나는 것 자체는 개선이 아닙니다.
-
지속 운영과 중첩을 검증하세요. 선택한 상한으로 통상적인 작업 시간만큼 실행하고 보조 서비스나 다른 예약 추출과 겹칠 때도 시험하세요. 구성을 채택하기 전에 반복하세요. 다른 호스트와 비교할 때는 같은 작업을 사용하고 가능하면 자원을 하나씩 바꾸세요. RAM과 vCPU를 동시에 늘리면 RAM의 효과를 분리할 수 없으며 비례적 성능 향상도 입증할 수 없습니다.
각 VPS 구성과 동시 실행 상한에 대해 자원 제한, 메모리와 CPU 측정값, 스왑 활동, 추출 성공과 실패, 경과 시간 및 최종 판단을 기록하세요.
샘플에서 가장 큰 값을 관측한 샘플 최댓값이라고 하세요. 샘플링은 짧은 피크를 놓칠 수 있습니다. Docker의 --no-stream 옵션은 첫 번째 결과만 반환하므로 실행 중의 피크를 확정할 수 없습니다. 관측하지 않은 값은 미상으로 남기세요. 빈칸을 추정값으로 채우면 비교의 근거가 약해집니다.
운영 여유는 더 무거운 페이지, 실행 간 편차, 작업 중첩을 위해 남겨 둔 용량입니다. 고정 비율을 적용하기보다 테스트 조건을 기준으로 정하세요. 마감에 간신히 맞추거나 이런 조건에 필요한 여유가 없다면 동시 실행 상한을 낮추거나 더 큰 구성을 시험하세요.
설정을 조정할지 용량을 늘릴지 결정하기

호스트에 RAM이 남는데 컨테이너가 메모리 한도에 닿으면 VPS를 증설하기 전에 그 한도를 확인하세요. 호스트 자체의 자원이 부족하다면 동시 실행 수를 낮춘 경우와 자원 할당량을 늘린 경우를 비교하세요. 표에서 다음 변경을 선택한 뒤 동일한 추출을 반복하고 완성된 출력, 오류, 경과 시간을 비교하세요.
| 관측된 현상 | 다음 확인 항목 또는 조치 | 변경 후 통과 기준 |
|---|---|---|
| 호스트의 가용 메모리가 줄고 스왑이 지속되면서 완료 성과가 저하됨 | 전체 부하와 보조 서비스를 비교하고 동시 실행 수 감소 또는 RAM 증설을 평가 | 반복 추출이 마감에 맞춰 끝나고 확보된 여유 용량의 근거를 제시할 수 있음 |
| 호스트에 여유가 있는데 컨테이너가 설정된 메모리 상한에 가까워짐 | 한도를 바꾸기 전에 실제 상한과 실패 기록이나 로그의 근거를 확인 | 동일한 부하를 다시 테스트. 호스트 RAM 증가만으로는 해결을 입증할 수 없음 |
| 브라우저가 충돌해 공유 메모리 구성을 확인할 필요가 있음 | /dev/shm과 전체 RAM을 구분하고 Chromium의 Docker IPC 지침을 확인 |
관련 구성을 다시 테스트. 오류 문구만으로는 메모리 고갈을 진단할 수 없음 |
| CPU가 계속 바쁘거나 CPU 상한의 영향이 의심되며 마감 시간을 넘김 | 할당량, 부하, I/O와 대기 상황을 확인하고 동시 실행 상한이나 CPU 할당을 평가 | 기한 내 성공한 작업량이 늘어남. 자원 증가에 비례한 성능 향상은 가정하지 않음 |
| 동시 실행 수를 높이면 유효 완료 건수가 늘지 않으면서 오류나 소요 시간이 증가함 | 상한을 낮추고 부하의 동작과 외부 대기를 확인 | 필요한 데이터 추출을 시간 내에 성공적으로 완료 |
Chromium이 공유 메모리를 사용하는 방식은 빌드와 실행 설정에 따라 다릅니다. /dev/shm을 사용하는 경우 컨테이너의 공유 메모리 파일 시스템을 확인하세요. Docker의 컨테이너 실행 참조에 따르면 --shm-size는 /dev/shm의 크기를 정하며 생략하면 64m이 기본값입니다. 이 값은 공유 메모리 파일 시스템의 크기이며 컨테이너 전체 RAM 한도가 아닙니다. Playwright의 Docker 메모리 한도를 올리는 것과 공유 메모리 설정을 조정하는 것은 별개입니다.
Playwright의 Docker 구성 지침은 Chromium에 --ipc=host를, 프로세스 관리에 --init을 권장합니다. 신뢰할 수 없는 사이트를 크롤링할 때는 별도 사용자와 seccomp 프로필을 권장합니다. 브라우저를 root로 실행하면 Chromium 샌드박스가 비활성화됩니다. 적합한 크롤링 구성을 통째로 적용하세요. IPC 설정은 일반적인 보안 권장 사항이 아니며, 신뢰할 수 있는 사이트의 종단 간 테스트 예시는 신뢰할 수 없는 사이트를 크롤링하는 절차가 아닙니다.
검증을 통과한 부하 기록을 작업 구성과 함께 보관하세요. 페이지 구성, 버전, 실효 한도 또는 중첩 일정이 달라지면 다시 확인하세요.
측정 결과 별도의 Linux 호스트가 컨테이너 배포에 적합하다면 Docker를 클릭 한 번으로 배포할 수 있습니다. 검증한 부하 기록에서 할당량을 선택하고 테스트를 마친 컨테이너 설정을 배포에 반영하세요.
자주 묻는 질문
원격 브라우저를 사용하면 스크래퍼에 로컬 RAM이 필요 없어지나요?
원격 브라우저를 사용해도 로컬 런타임이나 클라이언트, 추출 로직, 출력 처리에 각 실행 위치의 자원을 배정해야 합니다. Playwright의 원격 연결 문서는 호출 코드와 별개로 동작하는 서버를 설명합니다. 클라이언트와 원격 서비스를 따로 측정하세요. 구조만으로 로컬 메모리 절감량을 산정할 수는 없습니다.
비동기로 실행하면 Playwright의 RAM 사용량이 줄어드나요?
반드시 줄어들지는 않습니다. 같은 동시 실행 상한, 페이지, 출력 요구 사항에서 비동기 구현과 현 구현을 비교하세요. 절감 효과를 주장하기 전에 RAM 사용량, 완료 건수, 경과 시간을 기록하세요. Docker의 자원 제한 지침은 운영 환경에 배포하기 전에 애플리케이션 메모리 요구량을 테스트할 것을 권장합니다.
Selenium Grid의 RAM 참고값으로 스크래핑용 VPS 사양을 정해도 되나요?
Selenium의 Grid 용량 산정 문서는 브라우저당 약 1 CPU와 1 GB RAM을 참고값으로 제시하며 환경에 따라 맞지 않을 수 있다고 명시합니다. 또한 성능을 지속적으로 측정할 것을 권장합니다. 이 한계를 고려해 Grid 전용 참고값으로 사용하세요. 스크래퍼 용량 공식이나 로컬 WebDriver의 최소 요구 사항은 아닙니다.
토론
댓글
토론에 참여하려면 로그인하세요.