设想 crontab 中有两行:导出作业在 01:00 启动,数据仓库加载作业在 02:00 启动。两者唯一的先后约束就是这一小时的间隔。某天夜里,导出超时或执行到一半失败,加载作业仍会在 02:00 启动,读取前一天的文件,然后正常退出。除非有人读到导出的错误邮件,否则没人会发现问题,因为在 cron 看来,两项作业都按时启动了。
工作负载自动化可以让数据仓库加载作业等到导出成功后再启动。这个术语常见于厂商页面和企业 IT 部门,经常与 Control-M、AutoSys 等产品一起出现。它和工作流自动化、机器人流程自动化共用许多术语。区分这些工具,可以看它们执行什么,以及如何触发执行。
简短版本
- 工作负载自动化(WLA)集中运行跨服务器的相依 IT 作业,如数据加载、文件传输和 ERP 批处理,并提供重试、运行历史和失败告警。
- cron 在一台机器上于预定分钟启动命令,并通过邮件发送输出。排列作业顺序、协调不同主机和保留运行历史,都由操作人员负责。
- 工作流自动化在事件发生时连接应用,例如借助 n8n 或 Zapier,也可以将审批请求交给相关人员。机器人流程自动化(RPA)像人一样操作应用界面。WLA 在这些应用背后的服务器上运行作业。
- cron 作业重叠时,可以使用
flock加锁,或调整作业设计。单凭重叠问题无需购买 WLA 产品。
什么是工作负载自动化?
工作负载自动化(WLA)使用软件从一个控制点按顺序在多台机器上运行 IT 作业,例如夜间数据加载、文件传输和 ERP 批处理。它按时间表或事件启动作业,等待前置作业成功后才放行后续作业,重试失败作业,记录运行历史,并在失败或超时后发出告警。
对调度器来说,依赖关系规定的是执行结果:只有导出成功才运行加载,导出失败则通知值班人员。时间间隔反映的只是一项耗时估算。在此基础上,各家 WLA 产品往往提供类似的功能:
- 作业依赖关系,包括失败时执行的分支
- 按时间、业务日历(仅工作日,跳过公共假日)或事件(如文件到达)触发
- 根据产品和目标,通过已安装的代理、无代理连接或服务集成执行远程作业
- 重试、超时设置和终止卡住的作业
- 记录运行了什么、在何处和何时运行、运行了多久,以及退出状态
- 失败告警、超过设定运行时长时的告警,以及作业或工作流可能无法在规定期限内完成时的 SLA 告警
- 补跑错过的作业,使主机停机时到期的作业在主机恢复后运行
IBM 将 IBM Workload Automation 描述为一个协调混合环境中无人值守和事件驱动作业的平台。简单来说,一个调度器可以按时间或事件在大型机、本地机器和云端机器上启动任务,无需人工操作。这个描述符合产品功能,但其中的术语让它难以和已有的 cron 作业直接比较。BMC 的 Control-M,以及 AutoSys、Redwood RunMyJobs、ActiveBatch、Tidal 和 JAMS 也使用这一术语。
工作负载自动化、cron、工作流自动化和 RPA 对比
这四类工具的差别在于触发条件、执行内容和执行位置。cron 在指定时间在一台机器上运行命令。工作负载自动化在多台主机上执行服务器作业,可以由时间、事件或其他作业的结果触发。工作流自动化会调用应用 API 或等待人员操作。RPA 结合界面操作和 API 调用。
| 方面 | Cron | 工作负载自动化 | 工作流自动化 | RPA |
|---|---|---|---|---|
| 触发条件 | 指定时间 | 时间、日历、事件或其他作业的结果 | 应用事件、表单提交或时间表 | 时间表、事件或人员操作 |
| 工作单位 | 一条命令 | 主机上的一项作业,例如脚本、批处理、传输或 ERP 作业 | 调用应用 API 的一个步骤 | 录制的一系列界面操作和 API 调用 |
| 运行位置 | 一台机器 | 集中管控的多台主机及服务,通过代理、无代理连接或集成接入 | 调用 SaaS API 的自动化平台 | 桌面或服务器会话中的机器人运行环境 |
| 依赖与故障 | 没有内置处理机制,输出通过邮件发送 | 依赖图、重试、告警和运行历史 | 每条工作流各自的错误分支和重试 | 每个机器人的异常处理 |
| 工具示例 | cron | Control-M、AutoSys、IBM Workload Automation;相似作业也可使用 Rundeck、Dagu、Kestra | n8n、Zapier;审批可使用 BPM 套件 | UiPath、Automation Anywhere |
cron 属于工作负载自动化工具吗?
不属于。cron 是为单台机器按时间调度作业的工具。根据 cron(8) 手册页,cron 每分钟检查哪些作业到期,并将输出发送给 crontab 的所有者。作业排序、主机协调、历史记录和告警都由操作人员负责。
crontab(5) 手册页补充说明,MAILTO="" 会关闭这些邮件,即使作业失败也不会发送 cron 邮件。下面先展示 01:00 导出、02:00 加载的设置,再展示一种常见的替代写法:
# BEFORE: illustration only; do not install these commented entries.
# 0 1 * * * /opt/jobs/export-orders.sh
# 0 2 * * * /opt/jobs/load-warehouse.sh
# AFTER: replace both old entries with this single entry.
# The load runs only if the export exits successfully.
0 1 * * * /opt/jobs/export-orders.sh && /opt/jobs/load-warehouse.sh
使用 && 的一行看起来像是依赖关系,但它只覆盖一台主机和一个退出码,仍有五个缺口。第一,离开这一行,就没有“作业 X 成功后再运行”或“作业 X 失败时运行 Y”的规则。第二,缺少跨主机协调,仓库服务器上的加载无法等待数据库服务器上的导出。第三,运行历史取决于每个脚本自己的日志。第四,邮件输出是唯一的告警,可能无人阅读。第五,如果主机在预定分钟停机,cron(8) 不会补跑该条目。手册指出,原先由 /etc/crontab 承载的每日、每周和每月系统作业,现在默认由独立工具 anacron 执行。标记文件、封装脚本和 && 命令链,都是为弥补这些缺口而采用的做法。
BMC 在关于作业调度与 WLA 的说明中介绍了厂商的划分方式:作业调度在一个平台上运行批处理,工作负载自动化则跨服务器和环境集中协调相依作业。BMC 以 Windows 任务计划程序为例,说明主要操作系统通常内置作业调度器。cron 在 Linux 和 Unix 上扮演类似角色。分界点在于范围:仅涉及一个平台,还是需要协调多个平台之间的依赖关系。
无需专用工具也能实现的 WLA 功能
三种常见工具覆盖了 WLA 的部分功能。使用 Persistent=true 的 systemd 日历定时器(OnCalendar=)可以补跑机器关机时错过的作业。配置 concurrencyPolicy: Forbid 的 Kubernetes CronJob 会在上一次作业仍在运行时跳过本次运行。flock 可以阻止两个 cron 作业实例同时运行。这些功能都无需购买 WLA 产品。
systemd.timer 手册说明,设置 Persistent=true 后,最近一次触发的时间会保存在磁盘上。如果定时器停用期间服务单元本应至少触发一次,恢复后就会立即触发它。这样便可在本机为错过的日历事件补触发一次,代价是用两个单元文件取代一条 crontab 记录。cron 与 systemd 定时器的对比介绍了额外配置的作用。
Kubernetes CronJob 文档指出,concurrencyPolicy 默认采用 Allow,允许两个实例同时运行。Forbid 会跳过新一次运行,Replace 会用新作业替换正在运行的作业。在 Kubernetes 之外,flock(1) 可在 shell 脚本中管理锁,并在所封装的命令运行期间持有锁。使用 -n 后,第二个实例遇到锁会直接失败,无需等待。因此,*/5 * * * * flock -n /tmp/sync.lock /opt/jobs/sync.sh 能防止两次同步同时运行。
处理作业重叠或积压,应从加锁或调整作业本身入手。更换调度器无法解决问题。如果一项每五分钟运行的作业有时要花十分钟,就需要为它留出两倍于当前安排的时间。锁可以防止积压。要解决耗时问题,可以优化作业、增加资源或降低运行频率。WLA 产品会改变报告超时的位置,但无法让作业本身更快。在 r/sysadmin 关于 cron 作业重叠的讨论中,得票最高的回复建议检查锁,也有多人提到 flock。一条回复这样概括调度器的职责:“Cron 运行命令。这件事它做得很好。”
这三种工具都不提供跨主机依赖图或集中运行历史。这两项需求可能意味着值得采用 WLA 工具。
工作负载自动化与工作流自动化的区别
两者的区别在于执行什么、执行在哪里,与是否有人参与无关。工作负载自动化在服务器上执行脚本、数据加载和文件传输。工作流自动化则串联应用 API,例如使用 n8n 或 Zapier 将表单提交转为 CRM 记录,或者通过业务流程管理(BPM)工具分派审批。
“自动化”在这里有三种用法。第一种是工作负载自动化本身。第二种是应用集成式自动化。n8n 的文档介绍,n8n 是一款采用 fair-code 许可的工作流自动化工具,结合了 AI 功能和业务流程自动化。n8n 以及其他可自行托管的 Zapier 替代工具能将某个应用中的触发条件与其他应用的调用串联起来。第三种是 BPM,表单和审批链会等待人员操作,再进入下一步。
WLA 厂商 Stonebranch以人员参与作为分界线。在 2022 年的对比文章中,它认为工作流自动化的步骤通常由一人交给另一人,例如审批;WLA 作业通常无需这种互动。这可以区分 BPM,但把网店订单复制到电子表格的 n8n 工作流也无需人参与。按同一个标准,它会与大型机批处理作业归为一类。因此,更合适的判断依据是实际运行的内容:基础设施作业、应用间调用,还是等待人员操作的步骤。
“工作流”一词本身无法区分这些工具。BMC 宣传 Control-M 能在大型机、云端、分布式和 SaaS 环境中“编排关键业务工作流”。Apache Airflow 的文档也把 Airflow 描述为用于开发、调度及监控工作流的平台。
部分触发方式是共通的。n8n 工作流可以按时间表启动。例如,一套自行托管的社交媒体发布方案每天多次触发定时工作流。工作负载自动化调度器也可以在文件到达等事件发生后启动作业。
工作负载自动化与 RPA 的区别
工作负载自动化在应用界面背后的服务器上运行作业。机器人流程自动化(RPA)在界面上工作:机器人像人一样点击、输入和复制值。RPA 也能调用 API,操控用户界面则是它的主要特征。
IBM 的 RPA 说明同时涵盖两个方面:RPA 结合 API 和用户界面操作,将企业应用及办公应用连接起来,并在这些应用之间执行重复任务。RPA 厂商 UiPath 更侧重界面,介绍机器人如何“模仿人的操作”与屏幕及系统互动。Stonebranch 给出了两者的划分:WLA 管理后端系统流程和数据流,RPA 通常自动执行原本由人通过前端界面完成的任务。如果应用提供 API 或批处理接口,定时作业可以直接调用它。若界面是进入系统的唯一途径,RPA 就派得上用场。
Airflow、Rundeck、Kestra 和 Dagu 的定位
一些开源工具可以调度相依作业,提供重试和运行历史,实际承担了工作负载自动化的任务,但并不使用这个术语。它们通常称自己为编排器、运行手册自动化工具或工作流引擎。Apache Airflow 主要面向数据管道。Rundeck、Kestra 和 Dagu 则覆盖运维作业和通用调度。
这些项目的自我介绍如下:
- Airflow:“Airflow 工作流完全使用 Python 定义”,可用于批处理数据管道、机器学习和模型训练等用途(Apache-2.0)。
- Rundeck:开源运行手册自动化服务。提供网页控制台、命令行工具和 Web API,可将自动化任务分发到一组节点(Apache-2.0)。
- Kestra:事件驱动的编排与调度平台(Apache-2.0)。
- Dagu:将现有脚本和运行手册转为生产工作流,支持调度、重试、人工任务和运行历史。作业用 YAML 定义(GPL-3.0)。
Stonebranch 在其 WLA 常见问题解答中表示,Airflow 一类工具专门面向数据工程工作流,而 WLA 可以在更大的 IT 环境中触发和管理 Airflow 作业。这是厂商的观点,但与 Airflow 对数据工作的定位一致。对运维团队来说,实际差别在于如何定义作业,以及谁可以维护它们。在 r/sysadmin 寻找免费 Control-M 替代工具的帖子中,发帖者不接受 Airflow 的 Python DAG,也对 Kestra 提出类似顾虑。这只是一个团队的经历。Kestra 目前提供无代码编辑器,可以通过表单创建工作流,无需编写 YAML。可以根据维护人员的需求评估当前的工作流编写方式。
工作负载自动化的魔力象限去哪了?
Gartner 现在把这个市场归入服务编排与自动化平台(SOAP)。据 BMC 的公告,首份 SOAP 魔力象限报告发布于 2024 年 9 月。BMC 概括,Gartner 的定义涵盖工作流编排、工作负载自动化和资源预配。SOAP 执行作业的核心仍是工作负载自动化。
Gartner 先前发布过工作负载自动化魔力象限报告。JobScheduler 背后的公司 SOS GmbH 宣布入选该报告,报告于 2012 年 2 月发布。
Control-M 这类套件如今出现在 SOAP 魔力象限中,并以工作流编排为卖点。按作者的理解,分析机构扩大了类别范围,但执行作业的核心仍然相同。因此,当厂商将 SOAP 作为产品定位时,可以预期其核心仍包含工作负载调度器。
按作业需求选择合适的工具
作业的特点决定工具类型。单台主机上的独立作业适合用 cron 或 systemd 定时器。少量主机上的相依作业如果需要运行历史和告警,可以选用开源调度器或编排器。覆盖整个组织,并需要业务日历、ERP 批处理及审计的环境,则是企业级工作负载自动化套件的适用范围。
第一层,可用 flock 处理可能超时的作业,并为需要在停机后补跑的 OnCalendar= 定时器设置 Persistent=true。下一层,Rundeck、Kestra 和 Dagu 可以处理只需按顺序运行的一组 cron 作业,数据管道则可采用 Airflow 一类编排器。最高一层涉及月末日历、大型机和 ERP 作业,以及保留每次运行记录的审计要求。Control-M、AutoSys 等企业级 WLA 及 SOAP 套件面向这类环境。
作业数量并不能说明何时需要换工具。更明显的信号是某个作业必须等待另一台机器上作业的结果,或者早上必须登录每台机器才知道前一晚运行了什么。用时间间隔串连作业成本不高,直到第一次执行顺序出错。此时,就要重新加载、找出使用旧数据的报表并解释数字。可以先列出所有定时作业,标注哪些作业依赖其他作业的结果,并估算查清每台主机运行情况所需的时间。如果依赖列为空,且一分钟就能查清,继续用 cron 即可。
常见问题
Apache Airflow 是工作负载自动化工具吗?
Apache Airflow 以定时、相依作业的形式运行用 Python 编写的数据管道,例如批量加载、机器学习和模型训练,并保留运行历史。这对数据团队来说属于 WLA 类的工作。不过,Airflow 文档把它描述为工作流平台,并未使用“工作负载自动化”这一名称。
有哪些工作负载自动化的例子?
例如,夜间从数据库导出数据,然后在另一台服务器加载到数据仓库;在一天结束时向合作伙伴发送文件;在月末运行 ERP 批处理;在备份链中验证每份副本后再执行下一步。工作负载自动化工具可以安排各项作业,并等到前置作业成功后才执行相依步骤。
工作负载自动化中的 SOAP 是什么意思?
这里的 SOAP 指 Service Orchestration and Automation Platform,即服务编排与自动化平台,也是 Gartner 目前对此类别的称呼。BMC 的总结是,这个类别在工作负载自动化之外还包括工作流编排和资源预配。它与 W3C 发布的 Web 服务 XML 消息标准 SOAP 无关。
工作负载自动化就是作业调度吗?
两者很接近。BMC 指出,主流操作系统都附带在本机运行作业的调度器,例如 Windows 任务计划程序。Linux 上由 cron 承担这一职责。当不同服务器上的作业开始相互依赖时,就需要工作负载自动化。按 BMC 的划分,两者的区别是覆盖一个平台还是多个平台。
讨论
评论
登录后参与讨论。