如果 Playwright 或 Selenium 抓取程序在 VPS 上变慢或未能按时完成,增加内存可能有帮助,但仅凭超时无法判断该升级什么。为网页抓取选择 VPS 配置时,要测量整个任务,包括浏览器进程、结果写入以及共享宿主机的服务。然后调整并发,检查所需数据能否按时保存。
用实际负载测试候选 VPS 配置
对于并发受控、配套服务较少的浏览器任务,我会先测试 4 GB 内存和 2 vCPU。如果较小的配置无法按时完成任务,或给其他服务留下的余量太少,再评估 8 GB 内存和 4 vCPU。这些只是测试起点,既不是 Playwright 或 Selenium 的官方最低配置,也不保证能运行特定数量的浏览器。
| 起始方案 | 何时测试 |
|---|---|
| 4 GB RAM / 2 vCPU | 并发受控、配套服务较少的浏览器任务 |
| 8 GB RAM / 4 vCPU | 测量结果表明较小配置无法满足任务或配套服务的容量需求 |
| 调整内存与 CPU 的比例 | 测量发现前两种配置均无法满足的需求 |
| 降低并发,或减少浏览器内的工作 | 增加并行任务会影响完成效果,或所需数据无需渲染即可获取 |
保留现有宿主机作为备选。如果它已经能在所需的运行条件下完成抓取,测量记录可以作为继续使用的依据。如果你在测试新宿主机,可以查看我们的 Linux VPS 方案,选择符合负载需求的内存和 vCPU 配置。我们提供 root 权限,方便你安装 Playwright 或 Selenium,并配置测试所需的浏览器环境和资源限制。
还要检查是否需要渲染页面。如果获准使用的 HTTP 或 API 路径可以返回所需数据,请单独评估那种负载。比较时保持输出要求一致。返回更少字段或跳过难处理的页面都会改变任务。把完整抓取和不完整抓取放在一起比较容量,无法得出有用结论。
计入全部浏览器负载

运行抓取程序和数据库的宿主机必须有足够资源容纳运行时、浏览器进程、活跃页面及数据库工作。Chromium 的多进程架构将浏览器进程与渲染进程及其他进程类型分开。我建议先计入全部负载,再解释单个进程的读数。
浏览器实例是由自动化代码管理的运行中浏览器。在 Playwright 中,上下文隔离浏览器状态,页面属于某个上下文。Playwright 的浏览器上下文文档介绍了类似隐身模式的隔离,并允许在一个浏览器中创建多个上下文。文档说创建上下文的开销较小,但没有给出内存数值。需要计入其中正在工作的页面。
同一份文档区分了使用库手动创建的上下文和 Playwright Test 自动创建的上下文。使用该库的抓取程序需要自行设置并发上限。测试运行器的工作进程设置不会设定这个上限。分别记录浏览器实例数、上下文数和活跃页面数。不要用其中一个数替代另一个,也不要假设标签页和 Chromium 进程之间存在固定比例。
使用 Selenium 时,记录驱动程序会话及其浏览器进程。驱动程序会话文档区分本地和远程执行,并推荐用 quit 结束会话。关闭窗口是另一项操作。在 Playwright 中,关闭上下文的 API 会关闭该上下文中的页面。各次运行采用一致的清理方式,避免已完成任务的会话留到下一次测试开始时。
采集资源数据前,先记录以下配置:
- 操作系统、架构、运行时版本、自动化软件包版本及浏览器版本。
- 原生运行还是容器运行,以及运行时、浏览器和输出服务各自运行的位置。
- 浏览器实例、Playwright 上下文和活跃页面,或 Selenium 会话,以及并发上限和清理方式。
- 目标和页面构成、提取操作、结果写入方式、下载、日志和存储要求。
- 共享宿主机的配套服务,包括数据库、队列和监控服务。
- 适用时记录容器内存、CPU 和 IPC 设置。
- 调度计划、预期的运行重叠、通常耗时和完成期限。
记录对桌面环境的任何依赖。无人值守和无界面运行是两个不同的要求。操作桌面界面的工作流仍需要图形会话。如果自动化超出浏览器页面范围,就要考虑图形界面与无界面模式的区别。把额外工作记入配置清单,避免将其资源消耗算到 Playwright 或 Selenium 上。
提高并发前先测量具有代表性的一次运行
先运行一个抓取任务,记录成功完成的数量和耗时,然后保持负载不变,逐步提高并发上限。使用容器时,我建议同时记录宿主机和容器的观测结果。将选定上限用于部署前,应在正常运行和预计会重叠的调度时段验证它。
使用现有的获准抓取任务。下面的命令用于观测宿主机和容器,不会启动抓取程序,也不会建立基准测试。你需要能访问 Linux 宿主机的 shell。观测 Docker 还需要访问守护进程,并有一个现有容器。将 scraper 替换为该容器的名称。
-
记录配置和基线。 补全配置清单,在启动抓取前记录宿主机内存和 CPU 的表现。让配套服务保持正常状态。原生运行时,用进程观测结果计入运行时和整个浏览器进程树,跳过 Docker 命令和容器字段。使用容器时,先确定哪些进程在各容器内运行,哪些保留在外部。
-
观测宿主机和实际容器限制。 在宿主机上执行宿主机命令,并在任务运行期间用不同终端运行持续监控命令:
free -h
vmstat -y 1
docker inspect --type=container scraper
docker stats scraper
free -h 以易读单位输出一份快照。procps 的 free 手册将 available 定义为新应用可在不使用交换空间的情况下使用的内存估计。结合负载解读这个估计值。free 列统计未使用的内存,回答的是范围更窄的问题。运行时重复采样,保留观测到的最低可用内存值。
vmstat -y 1 每秒报告一次观测结果。procps 的 vmstat 手册说明,-y 会跳过第一份报告,否则它会包含自启动以来的统计。si 和 so 显示每秒换入和换出的内存量。CPU 字段中,id 表示空闲时间,wa 表示 I/O 等待,st 表示从虚拟机划走的 CPU 时间。应将这些观测值与任务进度和错误结合分析,仅凭它们无法诊断根因。
Docker 的 inspect 命令参考介绍了 JSON 配置输出和容器类型过滤器。记录实际生效的内存、CPU 和 IPC 配置。共享检查输出前,先确认是否包含环境变量中的机密。Docker 的资源限制文档区分 --memory 内存上限和 --cpus、CPU 配额等 CPU 限制。配额约束 CPU 执行时间,仅凭宿主机的 vCPU 数无法判断容器获准使用多少资源。也要记录未设定的限制并检查交换配置。
Docker 的 stats 命令参考解释了 CPU、内存用量和上限、网络及块 I/O 的实时读数。在 Linux 上,CLI 会从内存用量中扣除缓存,因此其读数可能与其他统计来源不同。PIDS 包括进程和内核线程,不是浏览器计数。宿主机观测值已包含容器活动,不要把两者的内存读数当作独立资源预算相加。保留原始显示单位,包括 GiB、MiB、GB 和字节数。按 Ctrl-C 停止持续监控。
-
在代表性页面组合上运行一个抓取任务。 纳入有代表性的轻量和重型页面,并涵盖启动、导航、提取和写入结果。记录成功与失败的抓取次数以及总耗时。以所需结果已写入为完成标准。重试最终成功时只计一次完成,但在错误记录中保留失败的尝试。这是建议的统计方式,并非工具默认行为。
-
逐步提高上限。 保持版本、拓扑、页面组合、输出和其他设置不变。为每个上限建立单独记录。如果有效完成量不再增加、错误增多、超出期限或剩余容量不足,就停止提高上限。这些是建议的测试边界,并非通用的利用率阈值。仅增加进行中的工作不算改进。
-
验证持续运行和重叠运行。 用所选上限运行通常的任务时长,并在预期与配套服务或其他计划抓取重叠时运行。接受配置前先重复测试。与其他宿主机对比时保持工作一致,并在可行时一次只改一种资源。同时增加内存和 vCPU 无法单独判断内存的作用,也不能证明会按比例提速。
对每个 VPS 配置和并发上限,记录资源限制、内存与 CPU 读数、交换活动、成功和失败的抓取次数、耗时以及最终决定。
把样本中的最高值称为采样最高值。采样可能漏掉短时峰值。Docker 的 --no-stream 选项只返回第一项结果,无法确定一次运行的峰值。未观测到的数值保留为未知。用估计填补空白会削弱比较的可靠性。
运行余量是为更重的页面、运行之间的波动和重叠任务预留的容量。根据实际测试条件确定余量,避免套用固定百分比。如果任务勉强在期限内完成,或没有余量应对这些条件,就降低并发上限或测试更大的配置。
选择调整配置还是增加容量

如果容器达到内存上限而宿主机还有可用内存,先检查该上限,再考虑升级 VPS。如果资源压力出现在宿主机上,就比较降低并发和增加资源两种方案。用下表选择下一项改动,随后重复同一抓取任务,比较已完成的输出、错误和耗时。
| 观测现象 | 下一项检查或操作 | 改动后的验收条件 |
|---|---|---|
| 宿主机可用内存下降,持续发生交换,且任务完成情况变差 | 比较全部负载和配套服务,评估降低并发或增加内存 | 重复抓取能按时完成,且有依据充分的运行余量 |
| 容器接近配置的内存上限,而宿主机仍有余量 | 主动调整上限前,检查实际限制及故障或日志证据 | 重新测试负载。仅增加宿主机内存无法证明问题已修复 |
| 浏览器崩溃,应检查共享内存配置 | 区分 /dev/shm 与总内存,并检查 Chromium 的 Docker IPC 指引 |
重新测试相关配置。仅凭一条错误信息无法判定内存耗尽 |
| CPU 持续繁忙,或有迹象表明 CPU 上限影响了任务,且任务超期 | 检查配额、负载及 I/O 和等待情况,评估并发上限或 CPU 分配 | 期限内成功完成的工作增加,无需假定提速与资源增幅成正比 |
| 提高并发造成更多错误或更长耗时,却未增加有效的完成量 | 降低上限,检查负载表现和外部等待 | 在时间窗口内成功提取所需数据 |
Chromium 使用的共享内存后端取决于构建及启动配置。对于使用 /dev/shm 的配置,检查容器的共享内存文件系统。Docker 的容器运行参考说明,--shm-size 控制 /dev/shm 的大小,省略时默认是 64m。该设置只调整共享内存文件系统的大小,并非容器的总内存额度。提高 Playwright 的 Docker 内存上限和调整共享内存是两种不同的措施。
Playwright 的 Docker 配置指南推荐给 Chromium 使用 --ipc=host,并用 --init 管理进程。处理不受信任的网站时,指南建议单独的用户和 seccomp 配置文件。以 root 用户运行浏览器会禁用 Chromium 沙箱。应完整应用适合相关抓取工作的配置。IPC 设置不是通用安全建议,可信网站的端到端测试示例也不适用于抓取不受信任的网站。
将通过验收的负载记录与任务配置一起保存。页面构成、版本、实际限制或重叠计划变化后,重新检查。
如果测量结果表明需要另一台 Linux 宿主机来部署容器,我们提供一键部署 Docker 的方案。根据通过验收的负载记录选择资源,并在部署中沿用经过测试的容器设置。
常见问题
使用远程浏览器后,抓取程序还需要本地内存吗?
即使使用远程浏览器,仍需为本地运行时或客户端、提取逻辑和输出处理分配资源,具体取决于它们各自在哪里执行。Playwright 的远程连接文档描述了独立于调用代码运行的服务器。分别测量客户端和远程服务。这种架构本身无法得出本地可节省多少内存。
异步执行能减少 Playwright 的内存占用吗?
不一定。使用相同并发上限、页面和输出要求,将异步实现和现有实现进行比较。记录内存占用、完成的抓取数和耗时,再判断是否节省资源。Docker 的资源限制指南建议在投入生产前测试应用的内存需求。
可以用 Selenium Grid 的内存参考值为抓取 VPS 选择配置吗?
Selenium 的 Grid 容量文档给出了每个浏览器约 1 个 CPU 和 1 GB 内存的参考值,并明确提醒它可能不适用于你的场景。文档建议持续测量性能。使用 Grid 专属参考值时要保留这一限定,它既不是抓取程序的容量公式,也不是本地 WebDriver 的最低要求。
讨论
评论
登录后参与讨论。