跳至主要内容
五折优惠 全部方案,限时优惠。起价 $2.48/mo
剩余 15 分钟
开发者工具与 DevOps

什么是工作负载自动化?它与 cron、工作流自动化和 RPA 有何区别?

S 作者 Samer 15 分钟阅读
中央调度器协调数据库导出,以及依赖该导出的数据仓库加载作业。

设想 crontab 中有两行:导出作业在 01:00 启动,数据仓库加载作业在 02:00 启动。两者唯一的先后约束就是这一小时的间隔。某天夜里,导出超时或执行到一半失败,加载作业仍会在 02:00 启动,读取前一天的文件,然后正常退出。除非有人读到导出的错误邮件,否则没人会发现问题,因为在 cron 看来,两项作业都按时启动了。

工作负载自动化可以让数据仓库加载作业等到导出成功后再启动。这个术语常见于厂商页面和企业 IT 部门,经常与 Control-M、AutoSys 等产品一起出现。它和工作流自动化、机器人流程自动化共用许多术语。区分这些工具,可以看它们执行什么,以及如何触发执行。

简短版本

  • 工作负载自动化(WLA)集中运行跨服务器的相依 IT 作业,如数据加载、文件传输和 ERP 批处理,并提供重试、运行历史和失败告警。
  • cron 在一台机器上于预定分钟启动命令,并通过邮件发送输出。排列作业顺序、协调不同主机和保留运行历史,都由操作人员负责。
  • 工作流自动化在事件发生时连接应用,例如借助 n8n 或 Zapier,也可以将审批请求交给相关人员。机器人流程自动化(RPA)像人一样操作应用界面。WLA 在这些应用背后的服务器上运行作业。
  • cron 作业重叠时,可以使用 flock 加锁,或调整作业设计。单凭重叠问题无需购买 WLA 产品。

什么是工作负载自动化?

工作负载自动化(WLA)使用软件从一个控制点按顺序在多台机器上运行 IT 作业,例如夜间数据加载、文件传输和 ERP 批处理。它按时间表或事件启动作业,等待前置作业成功后才放行后续作业,重试失败作业,记录运行历史,并在失败或超时后发出告警。

对调度器来说,依赖关系规定的是执行结果:只有导出成功才运行加载,导出失败则通知值班人员。时间间隔反映的只是一项耗时估算。在此基础上,各家 WLA 产品往往提供类似的功能:

  • 作业依赖关系,包括失败时执行的分支
  • 按时间、业务日历(仅工作日,跳过公共假日)或事件(如文件到达)触发
  • 根据产品和目标,通过已安装的代理、无代理连接或服务集成执行远程作业
  • 重试、超时设置和终止卡住的作业
  • 记录运行了什么、在何处和何时运行、运行了多久,以及退出状态
  • 失败告警、超过设定运行时长时的告警,以及作业或工作流可能无法在规定期限内完成时的 SLA 告警
  • 补跑错过的作业,使主机停机时到期的作业在主机恢复后运行

IBM 将 IBM Workload Automation 描述为一个协调混合环境中无人值守和事件驱动作业的平台。简单来说,一个调度器可以按时间或事件在大型机、本地机器和云端机器上启动任务,无需人工操作。这个描述符合产品功能,但其中的术语让它难以和已有的 cron 作业直接比较。BMC 的 Control-M,以及 AutoSys、Redwood RunMyJobs、ActiveBatch、Tidal 和 JAMS 也使用这一术语。

工作负载自动化、cron、工作流自动化和 RPA 对比

这四类工具的差别在于触发条件、执行内容和执行位置。cron 在指定时间在一台机器上运行命令。工作负载自动化在多台主机上执行服务器作业,可以由时间、事件或其他作业的结果触发。工作流自动化会调用应用 API 或等待人员操作。RPA 结合界面操作和 API 调用。

方面 Cron 工作负载自动化 工作流自动化 RPA
触发条件 指定时间 时间、日历、事件或其他作业的结果 应用事件、表单提交或时间表 时间表、事件或人员操作
工作单位 一条命令 主机上的一项作业,例如脚本、批处理、传输或 ERP 作业 调用应用 API 的一个步骤 录制的一系列界面操作和 API 调用
运行位置 一台机器 集中管控的多台主机及服务,通过代理、无代理连接或集成接入 调用 SaaS API 的自动化平台 桌面或服务器会话中的机器人运行环境
依赖与故障 没有内置处理机制,输出通过邮件发送 依赖图、重试、告警和运行历史 每条工作流各自的错误分支和重试 每个机器人的异常处理
工具示例 cron Control-M、AutoSys、IBM Workload Automation;相似作业也可使用 Rundeck、Dagu、Kestra n8n、Zapier;审批可使用 BPM 套件 UiPath、Automation Anywhere

cron 属于工作负载自动化工具吗?

独立的 cron 条目可能在导出失败后加载旧数据。设置依赖关系后,数据仓库加载作业会等到导出成功才运行。

不属于。cron 是为单台机器按时间调度作业的工具。根据 cron(8) 手册页,cron 每分钟检查哪些作业到期,并将输出发送给 crontab 的所有者。作业排序、主机协调、历史记录和告警都由操作人员负责。

crontab(5) 手册页补充说明,MAILTO="" 会关闭这些邮件,即使作业失败也不会发送 cron 邮件。下面先展示 01:00 导出、02:00 加载的设置,再展示一种常见的替代写法:

# BEFORE: illustration only; do not install these commented entries.
# 0 1 * * * /opt/jobs/export-orders.sh
# 0 2 * * * /opt/jobs/load-warehouse.sh

# AFTER: replace both old entries with this single entry.
# The load runs only if the export exits successfully.
0 1 * * * /opt/jobs/export-orders.sh && /opt/jobs/load-warehouse.sh

使用 && 的一行看起来像是依赖关系,但它只覆盖一台主机和一个退出码,仍有五个缺口。第一,离开这一行,就没有“作业 X 成功后再运行”或“作业 X 失败时运行 Y”的规则。第二,缺少跨主机协调,仓库服务器上的加载无法等待数据库服务器上的导出。第三,运行历史取决于每个脚本自己的日志。第四,邮件输出是唯一的告警,可能无人阅读。第五,如果主机在预定分钟停机,cron(8) 不会补跑该条目。手册指出,原先由 /etc/crontab 承载的每日、每周和每月系统作业,现在默认由独立工具 anacron 执行。标记文件、封装脚本和 && 命令链,都是为弥补这些缺口而采用的做法。

BMC 在关于作业调度与 WLA 的说明中介绍了厂商的划分方式:作业调度在一个平台上运行批处理,工作负载自动化则跨服务器和环境集中协调相依作业。BMC 以 Windows 任务计划程序为例,说明主要操作系统通常内置作业调度器。cron 在 Linux 和 Unix 上扮演类似角色。分界点在于范围:仅涉及一个平台,还是需要协调多个平台之间的依赖关系。

无需专用工具也能实现的 WLA 功能

三种常见工具覆盖了 WLA 的部分功能。使用 Persistent=true 的 systemd 日历定时器(OnCalendar=)可以补跑机器关机时错过的作业。配置 concurrencyPolicy: Forbid 的 Kubernetes CronJob 会在上一次作业仍在运行时跳过本次运行。flock 可以阻止两个 cron 作业实例同时运行。这些功能都无需购买 WLA 产品。

systemd.timer 手册说明,设置 Persistent=true 后,最近一次触发的时间会保存在磁盘上。如果定时器停用期间服务单元本应至少触发一次,恢复后就会立即触发它。这样便可在本机为错过的日历事件补触发一次,代价是用两个单元文件取代一条 crontab 记录。cron 与 systemd 定时器的对比介绍了额外配置的作用。

Kubernetes CronJob 文档指出,concurrencyPolicy 默认采用 Allow,允许两个实例同时运行。Forbid 会跳过新一次运行,Replace 会用新作业替换正在运行的作业。在 Kubernetes 之外,flock(1) 可在 shell 脚本中管理锁,并在所封装的命令运行期间持有锁。使用 -n 后,第二个实例遇到锁会直接失败,无需等待。因此,*/5 * * * * flock -n /tmp/sync.lock /opt/jobs/sync.sh 能防止两次同步同时运行。

处理作业重叠或积压,应从加锁或调整作业本身入手。更换调度器无法解决问题。如果一项每五分钟运行的作业有时要花十分钟,就需要为它留出两倍于当前安排的时间。锁可以防止积压。要解决耗时问题,可以优化作业、增加资源或降低运行频率。WLA 产品会改变报告超时的位置,但无法让作业本身更快。在 r/sysadmin 关于 cron 作业重叠的讨论中,得票最高的回复建议检查锁,也有多人提到 flock。一条回复这样概括调度器的职责:“Cron 运行命令。这件事它做得很好。”

这三种工具都不提供跨主机依赖图或集中运行历史。这两项需求可能意味着值得采用 WLA 工具。

工作负载自动化与工作流自动化的区别

两者的区别在于执行什么、执行在哪里,与是否有人参与无关。工作负载自动化在服务器上执行脚本、数据加载和文件传输。工作流自动化则串联应用 API,例如使用 n8n 或 Zapier 将表单提交转为 CRM 记录,或者通过业务流程管理(BPM)工具分派审批。

“自动化”在这里有三种用法。第一种是工作负载自动化本身。第二种是应用集成式自动化。n8n 的文档介绍,n8n 是一款采用 fair-code 许可的工作流自动化工具,结合了 AI 功能和业务流程自动化。n8n 以及其他可自行托管的 Zapier 替代工具能将某个应用中的触发条件与其他应用的调用串联起来。第三种是 BPM,表单和审批链会等待人员操作,再进入下一步。

WLA 厂商 Stonebranch以人员参与作为分界线。在 2022 年的对比文章中,它认为工作流自动化的步骤通常由一人交给另一人,例如审批;WLA 作业通常无需这种互动。这可以区分 BPM,但把网店订单复制到电子表格的 n8n 工作流也无需人参与。按同一个标准,它会与大型机批处理作业归为一类。因此,更合适的判断依据是实际运行的内容:基础设施作业、应用间调用,还是等待人员操作的步骤。

“工作流”一词本身无法区分这些工具。BMC 宣传 Control-M 能在大型机、云端、分布式和 SaaS 环境中“编排关键业务工作流”。Apache Airflow 的文档也把 Airflow 描述为用于开发、调度及监控工作流的平台。

部分触发方式是共通的。n8n 工作流可以按时间表启动。例如,一套自行托管的社交媒体发布方案每天多次触发定时工作流。工作负载自动化调度器也可以在文件到达等事件发生后启动作业。

工作负载自动化与 RPA 的区别

工作负载自动化在应用界面背后的服务器上运行作业。机器人流程自动化(RPA)在界面上工作:机器人像人一样点击、输入和复制值。RPA 也能调用 API,操控用户界面则是它的主要特征。

IBM 的 RPA 说明同时涵盖两个方面:RPA 结合 API 和用户界面操作,将企业应用及办公应用连接起来,并在这些应用之间执行重复任务。RPA 厂商 UiPath 更侧重界面,介绍机器人如何“模仿人的操作”与屏幕及系统互动。Stonebranch 给出了两者的划分:WLA 管理后端系统流程和数据流,RPA 通常自动执行原本由人通过前端界面完成的任务。如果应用提供 API 或批处理接口,定时作业可以直接调用它。若界面是进入系统的唯一途径,RPA 就派得上用场。

Airflow、Rundeck、Kestra 和 Dagu 的定位

一些开源工具可以调度相依作业,提供重试和运行历史,实际承担了工作负载自动化的任务,但并不使用这个术语。它们通常称自己为编排器、运行手册自动化工具或工作流引擎。Apache Airflow 主要面向数据管道。Rundeck、Kestra 和 Dagu 则覆盖运维作业和通用调度。

这些项目的自我介绍如下:

  • Airflow:“Airflow 工作流完全使用 Python 定义”,可用于批处理数据管道、机器学习和模型训练等用途(Apache-2.0)。
  • Rundeck:开源运行手册自动化服务。提供网页控制台、命令行工具和 Web API,可将自动化任务分发到一组节点(Apache-2.0)。
  • Kestra:事件驱动的编排与调度平台(Apache-2.0)。
  • Dagu:将现有脚本和运行手册转为生产工作流,支持调度、重试、人工任务和运行历史。作业用 YAML 定义(GPL-3.0)。

Stonebranch 在其 WLA 常见问题解答中表示,Airflow 一类工具专门面向数据工程工作流,而 WLA 可以在更大的 IT 环境中触发和管理 Airflow 作业。这是厂商的观点,但与 Airflow 对数据工作的定位一致。对运维团队来说,实际差别在于如何定义作业,以及谁可以维护它们。在 r/sysadmin 寻找免费 Control-M 替代工具的帖子中,发帖者不接受 Airflow 的 Python DAG,也对 Kestra 提出类似顾虑。这只是一个团队的经历。Kestra 目前提供无代码编辑器,可以通过表单创建工作流,无需编写 YAML。可以根据维护人员的需求评估当前的工作流编写方式。

工作负载自动化的魔力象限去哪了?

Gartner 现在把这个市场归入服务编排与自动化平台(SOAP)。据 BMC 的公告,首份 SOAP 魔力象限报告发布于 2024 年 9 月。BMC 概括,Gartner 的定义涵盖工作流编排、工作负载自动化和资源预配。SOAP 执行作业的核心仍是工作负载自动化。

Gartner 先前发布过工作负载自动化魔力象限报告。JobScheduler 背后的公司 SOS GmbH 宣布入选该报告,报告于 2012 年 2 月发布。

Control-M 这类套件如今出现在 SOAP 魔力象限中,并以工作流编排为卖点。按作者的理解,分析机构扩大了类别范围,但执行作业的核心仍然相同。因此,当厂商将 SOAP 作为产品定位时,可以预期其核心仍包含工作负载调度器。

按作业需求选择合适的工具

调度工具选择图,涵盖单主机作业、有依赖关系的运维作业、数据管道和企业级工作负载自动化。

作业的特点决定工具类型。单台主机上的独立作业适合用 cron 或 systemd 定时器。少量主机上的相依作业如果需要运行历史和告警,可以选用开源调度器或编排器。覆盖整个组织,并需要业务日历、ERP 批处理及审计的环境,则是企业级工作负载自动化套件的适用范围。

第一层,可用 flock 处理可能超时的作业,并为需要在停机后补跑的 OnCalendar= 定时器设置 Persistent=true。下一层,Rundeck、Kestra 和 Dagu 可以处理只需按顺序运行的一组 cron 作业,数据管道则可采用 Airflow 一类编排器。最高一层涉及月末日历、大型机和 ERP 作业,以及保留每次运行记录的审计要求。Control-M、AutoSys 等企业级 WLA 及 SOAP 套件面向这类环境。

作业数量并不能说明何时需要换工具。更明显的信号是某个作业必须等待另一台机器上作业的结果,或者早上必须登录每台机器才知道前一晚运行了什么。用时间间隔串连作业成本不高,直到第一次执行顺序出错。此时,就要重新加载、找出使用旧数据的报表并解释数字。可以先列出所有定时作业,标注哪些作业依赖其他作业的结果,并估算查清每台主机运行情况所需的时间。如果依赖列为空,且一分钟就能查清,继续用 cron 即可。

常见问题

Apache Airflow 是工作负载自动化工具吗?

Apache Airflow 以定时、相依作业的形式运行用 Python 编写的数据管道,例如批量加载、机器学习和模型训练,并保留运行历史。这对数据团队来说属于 WLA 类的工作。不过,Airflow 文档把它描述为工作流平台,并未使用“工作负载自动化”这一名称。

有哪些工作负载自动化的例子?

例如,夜间从数据库导出数据,然后在另一台服务器加载到数据仓库;在一天结束时向合作伙伴发送文件;在月末运行 ERP 批处理;在备份链中验证每份副本后再执行下一步。工作负载自动化工具可以安排各项作业,并等到前置作业成功后才执行相依步骤。

工作负载自动化中的 SOAP 是什么意思?

这里的 SOAP 指 Service Orchestration and Automation Platform,即服务编排与自动化平台,也是 Gartner 目前对此类别的称呼。BMC 的总结是,这个类别在工作负载自动化之外还包括工作流编排和资源预配。它与 W3C 发布的 Web 服务 XML 消息标准 SOAP 无关。

工作负载自动化就是作业调度吗?

两者很接近。BMC 指出,主流操作系统都附带在本机运行作业的调度器,例如 Windows 任务计划程序。Linux 上由 cron 承担这一职责。当不同服务器上的作业开始相互依赖时,就需要工作负载自动化。按 BMC 的划分,两者的区别是覆盖一个平台还是多个平台。

分享

讨论

评论

登录后参与讨论。

博客更多内容

继续阅读。

准备好部署了吗? 起价 $2.48/月。

独立云厂商,自 2008 年起。AMD EPYC、NVMe、40 Gbps。14 天退款保证。