Chuyển đến nội dung chính
Giảm 50% tất cả các gói, có thời hạn. Khởi điểm từ $2.48/mo
Còn 11 phút
Kiến trúc cloud và IT

VPS để thu thập dữ liệu web: cách chọn RAM và CPU cho Playwright hoặc Selenium

B Bởi Brendan 11 phút đọc
Các cửa sổ trình duyệt bên cạnh RAM và bộ xử lý minh họa cách chọn cấu hình VPS để thu thập dữ liệu web.

Nếu trình thu thập dữ liệu dùng Playwright hoặc Selenium chạy chậm trên VPS hoặc trễ hạn, tăng RAM có thể giúp ích. Tuy nhiên, chỉ riêng lỗi hết thời gian chờ không cho biết tài nguyên nào cần nâng cấp. Hãy đo toàn bộ công việc, gồm các tiến trình trình duyệt, thao tác ghi kết quả và các dịch vụ dùng chung máy chủ. Sau đó điều chỉnh số tác vụ chạy đồng thời và kiểm tra xem dữ liệu cần thiết có được lưu đúng hạn không.

Thử cấu hình VPS với khối lượng công việc thực tế

Với công việc chạy trong trình duyệt có giới hạn đồng thời và ít dịch vụ phụ trợ, tôi sẽ bắt đầu với 4 GB RAM và 2 vCPU. Thử 8 GB RAM và 4 vCPU nếu cấu hình nhỏ hơn không hoàn thành đúng hạn hoặc không chừa đủ tài nguyên cho dịch vụ khác. Đây là các mốc thử nghiệm, không phải yêu cầu tối thiểu chính thức của Playwright hay Selenium và cũng không bảo đảm số trình duyệt chạy được.

Cấu hình khởi đầu Khi nào nên thử
4 GB RAM / 2 vCPU Công việc trong trình duyệt có giới hạn đồng thời và ít dịch vụ phụ trợ
8 GB RAM / 4 vCPU Kết quả đo cho thấy cấu hình nhỏ hơn thiếu tài nguyên cho công việc hoặc dịch vụ phụ trợ
Tỷ lệ RAM và CPU khác Kết quả đo xác định nhu cầu mà hai cấu hình đầu không đáp ứng
Giảm số tác vụ đồng thời hoặc giảm công việc trong trình duyệt Thêm công việc song song làm kết quả kém đi, hoặc có thể lấy dữ liệu mà không cần kết xuất trang

Hãy tiếp tục xem máy chủ hiện tại là một phương án. Nếu máy đã hoàn thành trích xuất trong điều kiện vận hành mong muốn, kết quả đo có thể là căn cứ để giữ lại. Khi thử máy chủ mới, hãy xem các gói VPS Linux của chúng tôi để chọn RAM và vCPU phù hợp. Chúng tôi cung cấp quyền root để bạn cài Playwright hoặc Selenium và đặt cấu hình môi trường trình duyệt cùng giới hạn tài nguyên cần thử.

Kiểm tra xem dữ liệu có yêu cầu trang đã kết xuất hay không. Nếu một đường truy cập HTTP hoặc API được phép trả về dữ liệu cần thiết, hãy đánh giá tải đó riêng. Giữ nguyên yêu cầu đầu ra khi so sánh. Trả về ít trường hơn hoặc bỏ qua trang khó sẽ làm thay đổi công việc. So sánh tài nguyên của lần trích xuất đầy đủ với lần trích xuất không đầy đủ không cho kết luận hữu ích.

Tính toàn bộ tải của trình duyệt

Sơ đồ vùng chứa trình thu thập dữ liệu, các dịch vụ phụ trợ và tài nguyên dự phòng của VPS

Khi trình thu thập chạy cùng cơ sở dữ liệu, môi trường chạy, tiến trình trình duyệt, trang hoạt động và công việc cơ sở dữ liệu phải nằm trong phạm vi tài nguyên khả dụng. Kiến trúc đa tiến trình của Chromium tách tiến trình trình duyệt khỏi tiến trình kết xuất và các loại tiến trình khác. Tôi khuyên nên tính đủ tải trước khi diễn giải kết quả đo một tiến trình riêng lẻ.

Một thực thể trình duyệt là một trình duyệt đang chạy do mã tự động hóa quản lý. Trong Playwright, ngữ cảnh cô lập trạng thái trình duyệt và các trang thuộc về ngữ cảnh. Tài liệu về ngữ cảnh trình duyệt của Playwright mô tả cách cô lập tương tự chế độ ẩn danh và cho phép nhiều ngữ cảnh trong một trình duyệt. Tài liệu nói việc tạo ngữ cảnh ít tốn tài nguyên nhưng không đưa ra con số RAM. Hãy tính các trang đang làm việc trong từng ngữ cảnh.

Cùng tài liệu đó phân biệt ngữ cảnh do thư viện tạo thủ công với ngữ cảnh do Playwright Test tự động tạo. Trình thu thập dùng thư viện cần giới hạn đồng thời riêng. Cấu hình tiến trình thực thi của trình chạy kiểm thử không đặt giới hạn đó. Ghi riêng số thực thể trình duyệt, số ngữ cảnh và số trang hoạt động. Không dùng số này thay cho số kia hoặc giả định mối quan hệ cố định giữa thẻ và tiến trình Chromium.

Với Selenium, hãy ghi các phiên trình điều khiển và tiến trình trình duyệt đi kèm. Tài liệu về phiên trình điều khiển phân biệt chạy cục bộ với từ xa và khuyến nghị dùng quit để kết thúc phiên. Đóng cửa sổ là thao tác khác. Trong Playwright, API đóng ngữ cảnh đóng các trang của ngữ cảnh. Dọn dẹp theo cùng cách mỗi lần chạy và không để phiên đã hoàn thành tồn tại đến lần thử sau.

Ghi lại cấu hình trước khi đo tài nguyên:

  • Hệ điều hành, kiến trúc và phiên bản của môi trường chạy, gói tự động hóa và trình duyệt.
  • Chạy trực tiếp hay trong vùng chứa, và vị trí chạy của môi trường chạy, trình duyệt và dịch vụ xử lý đầu ra.
  • Các thực thể trình duyệt, ngữ cảnh Playwright và trang hoạt động hoặc phiên Selenium, cùng giới hạn đồng thời và cách dọn dẹp.
  • Các nhóm mục tiêu và trang, thao tác trích xuất, cách ghi kết quả, tải xuống, nhật ký và nhu cầu lưu trữ.
  • Các dịch vụ phụ trợ dùng chung máy chủ, gồm cơ sở dữ liệu, hàng đợi và giám sát.
  • Cấu hình bộ nhớ, CPU và IPC của vùng chứa, nếu có.
  • Lịch chạy, các lần chạy dự kiến trùng nhau, thời lượng thông thường và hạn hoàn thành.

Ghi lại các phụ thuộc vào môi trường máy tính để bàn. Chạy không giám sát và chạy không giao diện là hai yêu cầu riêng. Quy trình thao tác giao diện máy tính để bàn vẫn cần phiên đồ họa. Ranh giới giữa GUI và chế độ headless trở nên quan trọng nếu tự động hóa vượt ra ngoài các trang trình duyệt. Ghi phần việc bổ sung vào hồ sơ cấu hình để không gán mức tiêu thụ của nó cho Playwright hoặc Selenium.

Đo một lần chạy đại diện trước khi tăng mức đồng thời

Bắt đầu với một tác vụ trích xuất đang chạy. Đo số tác vụ hoàn thành thành công và thời gian đã chạy rồi nâng dần giới hạn đồng thời với khối lượng công việc cố định. Tôi khuyên nên ghi số liệu của máy chủ cùng với số liệu vùng chứa nếu có. Hãy xác nhận giới hạn đã chọn trong hoạt động thông thường và khi lịch chạy trùng nhau trước khi dùng làm giới hạn vận hành.

Dùng công việc trích xuất hiện có mà bạn được phép thực hiện. Các lệnh dưới đây quan sát máy chủ và vùng chứa. Chúng không khởi chạy trình thu thập hay lập phép đo chuẩn. Bạn cần quyền truy cập shell của máy chủ Linux. Để quan sát Docker, bạn còn cần quyền truy cập daemon và một vùng chứa đang có. Thay scraper bằng tên vùng chứa đó.

  1. Ghi cấu hình và số đo ban đầu. Hoàn tất hồ sơ cấu hình và ghi nhận bộ nhớ, CPU của máy chủ trước khi trích xuất. Giữ các dịch vụ phụ trợ ở trạng thái thông thường. Nếu chạy trực tiếp, quan sát tiến trình để tính môi trường chạy và toàn bộ cây tiến trình trình duyệt, bỏ qua lệnh Docker và trường dành cho vùng chứa. Nếu dùng vùng chứa, xác định tiến trình nào chạy bên trong từng vùng và tiến trình nào ở bên ngoài.

  2. Quan sát máy chủ và giới hạn thực tế của vùng chứa. Chạy lệnh của máy chủ ngay trên máy chủ. Trong khi công việc chạy, mở công cụ giám sát liên tục trong các cửa sổ dòng lệnh riêng:

free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper

free -h in số đo tức thời bằng đơn vị dễ đọc. Tài liệu free của procps định nghĩa available là lượng bộ nhớ ước tính mà ứng dụng mới có thể dùng không cần swap. Đọc ước tính đó cùng với tải. Cột free chỉ đếm bộ nhớ chưa dùng, nên trả lời một câu hỏi hẹp hơn. Lặp lại số đo khi chạy và lưu giá trị bộ nhớ khả dụng thấp nhất quan sát được.

vmstat -y 1 xuất số liệu mỗi giây. Tài liệu vmstat của procps cho biết -y bỏ báo cáo đầu tiên vốn bao gồm thống kê từ lúc khởi động. Hai trường si và so hiển thị lượng bộ nhớ đọc từ swap và ghi vào swap mỗi giây. Các trường CPU gồm id là thời gian nhàn rỗi, wa là thời gian chờ I/O và st là thời gian CPU bị lấy khỏi máy ảo. Đối chiếu các số đo với tiến độ và lỗi. Riêng chúng không đủ để chẩn đoán nguyên nhân gốc.

Tham chiếu lệnh inspect của Docker mô tả đầu ra cấu hình JSON và bộ lọc theo loại vùng chứa. Ghi lại cấu hình thực tế của bộ nhớ, CPU và IPC. Kiểm tra xem đầu ra có chứa thông tin bí mật từ biến môi trường trước khi chia sẻ. Tài liệu về giới hạn tài nguyên của Docker phân biệt trần --memory với giới hạn CPU như --cpus và hạn ngạch CPU. Hạn ngạch giới hạn thời gian chạy trên CPU. Chỉ biết số vCPU máy chủ không đủ xác định phần cấp cho vùng chứa. Ghi cả giới hạn chưa thiết lập và kiểm tra cấu hình swap.

Tham chiếu lệnh stats của Docker giải thích số đo trực tiếp về CPU, lượng bộ nhớ dùng và giới hạn, mạng và I/O khối. Trên Linux, CLI trừ bộ nhớ đệm khỏi lượng bộ nhớ dùng, nên chỉ số có thể khác nguồn khác. PIDS gồm cả tiến trình và luồng nhân hệ điều hành, không phải số trình duyệt. Số đo máy chủ đã bao gồm hoạt động vùng chứa. Không cộng hai số đo bộ nhớ như hai nguồn tài nguyên riêng. Giữ đơn vị hiển thị, gồm GiB, MiB, GB hoặc byte chưa quy đổi. Dừng giám sát bằng Ctrl-C.

  1. Chạy một tác vụ trích xuất trên các nhóm trang đại diện. Bao gồm trang nhẹ và nặng, khởi động, điều hướng, trích xuất và ghi kết quả. Ghi các lần thành công và thất bại cùng tổng thời gian. Tác vụ hoàn thành khi đầu ra yêu cầu đã được lưu. Mỗi kết quả cuối cùng của lần thử lại thành công chỉ tính một lần, còn các lần thất bại vẫn giữ trong nhật ký lỗi. Đây là cách đếm đề xuất, không phải mặc định của công cụ.

  2. Tăng giới hạn dần. Giữ nguyên phiên bản, bố trí hệ thống, nhóm trang, đầu ra và cài đặt khác. Ghi riêng mỗi mức giới hạn. Dừng tăng khi số kết quả hữu ích không tăng, lỗi nhiều hơn, công việc trễ hạn hoặc dự phòng không đủ. Đây là điều kiện dừng gợi ý cho bài thử, không phải ngưỡng sử dụng chung. Số tác vụ đang chạy tăng lên không đủ để coi là cải thiện.

  3. Kiểm tra vận hành lâu dài và lịch chạy trùng nhau. Chạy mức giới hạn đã chọn trong thời lượng thông thường và lúc dự kiến trùng với dịch vụ phụ trợ hoặc công việc trích xuất đã lên lịch khác. Lặp lại trước khi chấp nhận cấu hình. Khi so sánh máy chủ khác, giữ nguyên việc cần làm và đổi từng tài nguyên nếu có thể. Tăng cả RAM và vCPU không tách được tác động của RAM và không chứng minh tốc độ tăng theo tỷ lệ.

Với mỗi cấu hình VPS và giới hạn đồng thời, ghi giới hạn tài nguyên, số đo bộ nhớ và CPU, hoạt động swap, các lần trích xuất thành công và thất bại, thời gian và quyết định cuối cùng.

Gọi giá trị lớn nhất trong các mẫu là giá trị cao nhất quan sát được trong các mẫu. Lấy mẫu có thể bỏ lỡ đỉnh ngắn. Tùy chọn --no-stream của Docker chỉ trả kết quả đầu tiên nên không xác định được đỉnh của cả lần chạy. Để giá trị chưa quan sát ở trạng thái chưa biết. Điền ước tính vào chỗ trống sẽ làm yếu căn cứ so sánh.

Dung lượng dự phòng là phần tài nguyên còn lại dành cho trang nặng hơn, biến động giữa các lần chạy và công việc trùng lịch. Căn cứ vào điều kiện đã thử thay vì dùng tỷ lệ cố định. Nếu công việc chỉ vừa kịp hạn hoặc không còn đủ dư địa cho các điều kiện đó, hãy hạ giới hạn đồng thời hoặc thử cấu hình lớn hơn.

Chọn điều chỉnh cấu hình hay tăng tài nguyên

Bảng xử lý sự cố nối tình trạng thiếu bộ nhớ, lỗi trình duyệt và điểm nghẽn CPU với phép thử tiếp theo

Nếu vùng chứa chạm giới hạn bộ nhớ khi máy chủ còn RAM, hãy kiểm tra giới hạn trước khi nâng cấp VPS. Nếu chính máy chủ thiếu tài nguyên, hãy so sánh việc giảm mức đồng thời với tăng mức cấp phát. Dùng bảng để chọn thay đổi tiếp theo rồi lặp lại cùng một công việc trích xuất và so sánh đầu ra hoàn chỉnh, lỗi và thời gian.

Hiện tượng quan sát được Bước kiểm tra hoặc xử lý tiếp theo Tiêu chí chấp nhận sau thay đổi
Bộ nhớ khả dụng của máy chủ giảm, swap kéo dài và công việc hoàn thành kém hơn So sánh toàn bộ tải và các dịch vụ phụ trợ. Đánh giá việc giảm mức đồng thời hoặc tăng RAM Lần trích xuất lặp lại hoàn thành đúng hạn với mức dự phòng có căn cứ
Vùng chứa gần chạm trần bộ nhớ đã đặt còn máy chủ vẫn có tài nguyên dư Kiểm tra trần thực tế và bằng chứng từ lỗi hoặc nhật ký trước khi điều chỉnh Chạy lại phép thử với cùng tải. Chỉ tăng RAM máy chủ chưa chứng minh đã khắc phục sự cố
Trình duyệt bị sập, cần xem xét cấu hình bộ nhớ dùng chung Phân biệt /dev/shm với tổng RAM và xem hướng dẫn Docker IPC cho Chromium Thử lại cấu hình liên quan. Một thông báo lỗi không đủ để chẩn đoán cạn bộ nhớ
CPU liên tục bận hoặc giới hạn CPU có thể ảnh hưởng, và công việc trễ hạn Kiểm tra hạn ngạch, tải, I/O và thời gian chờ. Đánh giá giới hạn đồng thời hoặc mức cấp CPU Nhiều công việc hoàn thành thành công đúng hạn hơn. Không giả định mức tăng tốc theo tỷ lệ
Tăng mức đồng thời làm tăng lỗi hoặc thời gian mà không tăng số kết quả hữu ích Giảm giới hạn và xem hành vi của tải cùng thời gian chờ từ bên ngoài Trích xuất thành công dữ liệu cần thiết trong thời gian cho phép

Cách Chromium dùng bộ nhớ chia sẻ phụ thuộc vào bản dựng và cấu hình khởi chạy. Với cấu hình dùng /dev/shm, kiểm tra hệ thống tệp bộ nhớ chia sẻ của vùng chứa. Tham chiếu chạy vùng chứa của Docker cho biết --shm-size đặt dung lượng /dev/shm và mặc định là 64m nếu bỏ qua. Cài đặt này định kích thước hệ thống tệp chia sẻ, không phải tổng RAM của vùng chứa. Tăng giới hạn bộ nhớ Docker cho Playwright và chỉnh bộ nhớ dùng chung là hai biện pháp khác nhau.

Hướng dẫn cấu hình Docker của Playwright khuyến nghị --ipc=host cho Chromium và --init để quản lý tiến trình. Khi thu thập trên các trang không đáng tin, tài liệu khuyên dùng người dùng riêng và hồ sơ seccomp. Chạy trình duyệt bằng tài khoản root sẽ tắt sandbox của Chromium. Áp dụng toàn bộ cấu hình thích hợp cho việc thu thập. Cài đặt IPC không phải khuyến nghị bảo mật chung, và ví dụ kiểm thử đầu cuối trên trang đáng tin không phải hướng dẫn thu thập trên trang không đáng tin.

Lưu hồ sơ tải đã xác nhận cùng cấu hình công việc. Kiểm tra lại khi thay đổi nhóm trang, phiên bản, giới hạn thực tế hoặc các lịch chạy trùng nhau.

Nếu số đo cho thấy cần một máy chủ Linux khác cho vùng chứa, chúng tôi cung cấp tùy chọn triển khai Docker bằng một lần nhấp. Dùng hồ sơ tải đã chấp nhận để chọn mức tài nguyên và mang cấu hình vùng chứa đã kiểm thử sang lần triển khai mới.

Câu hỏi thường gặp

Dùng trình duyệt từ xa có loại bỏ nhu cầu RAM cục bộ của trình thu thập không?

Ngay cả khi dùng trình duyệt từ xa, vẫn phải tính tài nguyên cho môi trường chạy hoặc máy khách cục bộ, logic trích xuất và xử lý đầu ra ở nơi từng phần chạy. Tài liệu kết nối từ xa của Playwright mô tả máy chủ chạy riêng với mã gọi. Đo máy khách và dịch vụ từ xa riêng. Kiến trúc đó không cho biết cụ thể tiết kiệm bao nhiêu bộ nhớ cục bộ.

Chạy bất đồng bộ có làm Playwright dùng ít RAM hơn không?

Không nhất thiết. So sánh cách chạy bất đồng bộ với cách hiện tại ở cùng giới hạn đồng thời, cùng trang và cùng yêu cầu đầu ra. Ghi RAM sử dụng, số lần trích xuất hoàn thành và thời gian trước khi kết luận có tiết kiệm. Hướng dẫn giới hạn tài nguyên của Docker khuyến nghị thử nhu cầu bộ nhớ ứng dụng trước khi đưa vào vận hành.

Có thể dùng mức RAM tham khảo của Selenium Grid để chọn VPS thu thập dữ liệu không?

Tài liệu định cỡ Selenium Grid đưa ra mốc khoảng 1 CPU và 1 GB RAM mỗi trình duyệt, đồng thời nói rõ mốc này có thể không phù hợp với môi trường của bạn. Tài liệu khuyến nghị đo hiệu năng liên tục. Hãy dùng mốc riêng cho Grid với lưu ý đó. Đây không phải công thức tính tải cho trình thu thập hay cấu hình tối thiểu cho WebDriver cục bộ.

Chia sẻ

Thảo luận

Bình luận

Đăng nhập để tham gia thảo luận.

Thêm bài viết từ blog

Tiếp tục đọc.

Sẵn sàng triển khai? Từ $2.48/tháng.

Cloud độc lập, từ 2008. AMD EPYC, NVMe, 40 Gbps. Hoàn tiền trong 14 ngày.