メインコンテンツへスキップ
50% off 全プラン対象、期間限定。月額 $2.48/mo
残り15分
開発者ツールとDevOps

ワークロード自動化とは? cron、ワークフロー自動化、RPAとの違い

S 著者 Samer 15 分で読めます
中央のスケジューラーが、データベースのエクスポートと、それに依存するデータウェアハウスへのロードを調整します。

crontab に2行あるとします。データのエクスポートを 01:00 に、データウェアハウスへのロードを 02:00 に開始する設定です。ロードをエクスポートの後に実行するための仕組みは、その1時間の間隔しかありません。ある夜、エクスポートが長引いたり途中で失敗したりしても、ロードは 02:00 に始まり、前日のファイルを読み込んで正常終了します。エクスポートのエラーメールを誰かが読まない限り、問題に気づきません。cron から見ると、両方のジョブが予定どおりに始まったからです。

ワークロード自動化を使うと、エクスポートが成功するまでデータウェアハウスへのロードを待機させられます。この用語は主にベンダーのサイトや企業の IT 部門で使われ、Control-M や AutoSys などの製品に関連して登場します。ワークフロー自動化や RPA と共通する用語も多くあります。それぞれの違いは、何を実行し、どのように開始するかにあります。

短いバージョン

  • ワークロード自動化(WLA)は、データロード、ファイル転送、ERP のバッチ処理など、依存関係のある IT ジョブを複数のサーバーで一元的に実行します。再試行、実行履歴、失敗時のアラートを備えています。
  • cron は1台のマシンで予定の時刻にコマンドを開始し、出力をメールで送信します。ジョブの順序、ホスト間の連携、実行履歴は運用側で管理します。
  • ワークフロー自動化は、n8n や Zapier のようにイベントをきっかけにアプリを連携させたり、人に承認を回したりします。ロボティックプロセスオートメーション(RPA)は、人と同じようにアプリの画面を操作します。WLA は、それらのアプリの背後にあるサーバーでジョブを実行します。
  • cron ジョブが重複して実行される場合は、flock でロックするか、ジョブの設計を見直します。重複だけを理由に WLA 製品を購入する必要はありません。

ワークロード自動化とは?

ワークロード自動化(WLA)は、夜間のデータロード、ファイル転送、ERP のバッチ処理などの IT ジョブを、複数のマシンで決められた順序で一元実行する仕組みです。スケジュールやイベントをきっかけにジョブを開始し、前提のジョブが成功するまで後続を待機させます。失敗したジョブは再試行し、実行履歴を記録し、失敗や設定時間の超過を通知します。

スケジューラーでいう依存関係は、実行結果に基づくルールです。エクスポートが成功した場合だけロードを行い、失敗したら当番に通知します。時間を空けるだけでは、最初のジョブの所要時間を推測しているにすぎません。この基本機能に加え、WLA 製品には次のような共通機能があります。

  • 失敗時に実行する分岐を含む、ジョブ間の依存関係
  • 時刻、営業日カレンダー(平日のみ、祝日は除外)、ファイル到着などのイベントによる起動
  • 製品と対象に応じた、インストール済みエージェント、エージェントレス接続、サービス連携によるリモート実行
  • 再試行、タイムアウト、応答しないジョブの終了
  • 実行内容、場所、時刻、所要時間、終了ステータスを記録する実行履歴
  • 失敗時や設定した実行時間を超過した場合のアラート、およびジョブやワークフローが期限に遅れるおそれがある場合の SLA アラート
  • ホストの停止中に予定時刻を過ぎたジョブを、復旧後に実行する機能

IBM は IBM Workload Automation を、ハイブリッド環境で無人ジョブやイベント駆動のジョブを調整するプラットフォームと説明しています。つまり、1つのスケジューラーが時刻やイベントに応じて、メインフレーム、オンプレミス、クラウドでジョブを無人実行します。製品の機能は伝わりますが、用語だけでは普段の cron ジョブと比較しづらいかもしれません。BMC の Control-M のほか、AutoSys、Redwood RunMyJobs、ActiveBatch、Tidal、JAMS もこの用語を使います。

ワークロード自動化、cron、ワークフロー自動化、RPA の比較

4つの違いは、開始条件、実行する作業、実行場所です。cron は、1台のマシンで指定時刻にコマンドを実行します。ワークロード自動化は、時刻、イベント、他のジョブの結果をきっかけに、複数のホストでジョブを実行します。ワークフロー自動化はアプリの API を呼び出すか、人の操作を待ちます。RPA は画面操作と API 呼び出しを組み合わせます。

側面 Cron ワークロード自動化 ワークフロー自動化 RPA
トリガー 指定時刻 時刻、カレンダー、イベント、他のジョブの結果 アプリのイベント、フォーム送信、スケジュール スケジュール、イベント、人の操作
作業単位 1つのコマンド ホスト上のジョブ。スクリプト、バッチ処理、転送、ERP ジョブなど アプリの API を呼び出すステップ 記録された画面操作と API 呼び出しの一連の手順
実行環境 1台のマシン エージェント、エージェントレス接続、サービス連携を通じて一元管理される複数のホストやサービス SaaS の API を呼び出す自動化プラットフォーム デスクトップやサーバーのセッション上のボット実行環境
依存関係と失敗への対応 組み込みの対応機能はなく、出力をメールで送信 依存関係グラフ、再試行、アラート、実行履歴 ワークフロー単位のエラー分岐と再試行 ボット単位の例外処理
ツールの例 cron Control-M、AutoSys、IBM Workload Automation。類似のジョブには Rundeck、Dagu、Kestra n8n、Zapier。承認には BPM 製品 UiPath、Automation Anywhere

cron はワークロード自動化ツール?

独立した cron エントリでは、エクスポートに失敗しても古いデータがロードされることがあります。依存関係を設定すると、エクスポートが成功するまでデータウェアハウスへのロードを待機させられます。

いいえ。cron は1台のマシンで時刻に基づいてジョブを実行するスケジューラーです。cron(8) のマニュアルページによると、cron は毎分、実行すべきジョブを確認し、その出力を crontab の所有者にメールで送ります。ジョブの順序、ホスト間の連携、履歴の保存、通知は運用担当者が管理します。

crontab(5) のマニュアルページでは、MAILTO="" を指定すると、ジョブが失敗しても cron のメールが送られないと説明しています。次は 01:00 のエクスポートと 02:00 のロードを設定した例と、よく使われる回避策です。

# BEFORE: illustration only; do not install these commented entries.
# 0 1 * * * /opt/jobs/export-orders.sh
# 0 2 * * * /opt/jobs/load-warehouse.sh

# AFTER: replace both old entries with this single entry.
# The load runs only if the export exits successfully.
0 1 * * * /opt/jobs/export-orders.sh && /opt/jobs/load-warehouse.sh

&& を使う行は依存関係に見えますが、扱うのは1台のホストと1つの終了コードだけです。そのため5つの不足が残ります。この1行の外では「ジョブ X が成功したら実行」や「ジョブ X が失敗したら Y を実行」といったルールを使えません。ホスト間の連携がなく、ウェアハウスサーバーのロードをデータベースサーバーのエクスポートまで待たせられません。実行履歴は各スクリプトのログだけです。通知もメール出力のみで、読まれなければ気づきません。cron(8) には、ホスト停止中に予定の分を過ぎたエントリを実行し直す機能がありません。従来 /etc/crontab にあった日次、週次、月次のシステムジョブは、現在は別のツールである anacron で実行されるのが既定だとマニュアルに記載されています。マーカーファイル、ラッパースクリプト、&& によるコマンドの連結は、こうした不足を補う工夫です。

BMC はジョブスケジューリングと WLA を比較した解説で、ベンダー側の区分を示しています。ジョブスケジューリングは1つのプラットフォームでバッチを実行し、WLA は複数のサーバーや環境にまたがる依存ジョブを一元調整します。BMC は、主要な OS に付属するスケジューラーの例として Windows タスク スケジューラを挙げています。cron は Linux や Unix で同様の役割を担います。違いは対象範囲です。1つのプラットフォームで完結するか、複数のプラットフォームに依存関係がまたがるかです。

専用ツールがなくても使える WLA の機能

一般的な3つのツールで WLA の一部を実現できます。systemd のカレンダータイマー(OnCalendar=)に Persistent=true を設定すると、電源が切れている間に逃した実行を補えます。Kubernetes CronJob で concurrencyPolicy: Forbid を指定すると、前の実行が続いている間は次の実行をスキップします。flock は、同じ cron ジョブが重複するのを防ぎます。いずれも WLA 製品は不要です。

systemd.timer のマニュアルによると、Persistent=true を設定すると、最後の起動時刻をディスクに保存します。タイマー停止中にサービスユニットが1回以上起動する予定だった場合、再開時に直ちに起動します。ホスト上で逃した予定を1回の起動で補えますが、crontab の1行の代わりに2つのユニットファイルが必要です。cron と systemd タイマーの比較では、その追加設定で何ができるかを説明しています。

Kubernetes CronJob のドキュメントによると、concurrencyPolicy の既定値は Allow で、両方のジョブを実行できます。Forbid は新しい実行をスキップし、Replace は実行中のジョブを新しいジョブに置き換えます。Kubernetes の外では、flock(1) がシェルスクリプトからロックを管理し、コマンドの実行中はロックを保持します。-n を指定すると、2つ目の実行は待たずに失敗するため、*/5 * * * * flock -n /tmp/sync.lock /opt/jobs/sync.sh で2つの同期処理の重複を防げます。

実行の重複や滞留には、ロックやジョブ自体の見直しで対処します。スケジューラーを変更しても解決しません。5分おきに実行するジョブに10分かかることがあるなら、割り当て時間の2倍が必要です。ロックで滞留を防ぎ、残る問題はジョブの高速化、リソースの追加、実行頻度の引き下げで対処します。WLA 製品で変わるのは時間超過の報告先であり、超過そのものは残ります。cron ジョブの重複についての r/sysadmin のスレッドでは、最も票を集めた返信がロックの確認を勧め、flock も何度も登場します。ある返信は「cron はコマンドを実行する。その仕事はとても得意だ」とまとめています。

この3つのツールには、ホストをまたいだ依存関係グラフや、一元的な実行履歴がありません。この2つが必要になると、WLA 系のツールにコストをかける価値が出てきます。

ワークロード自動化とワークフロー自動化の違い

違いは何をどこで実行するかであり、人が関与するかどうかではありません。ワークロード自動化はサーバーでスクリプト、データロード、ファイル転送を実行します。ワークフロー自動化は、n8n や Zapier でフォーム送信を CRM のレコード作成につなげるなど、アプリの API を連結します。また、業務プロセス管理(BPM)ツールを使って承認を回す場合もあります。

自動化という言葉は、ここでは3つの意味で使われています。1つ目はワークロード自動化そのものです。2つ目は連携による自動化です。n8n のドキュメントは、n8n を fair-code ライセンスで提供し、AI 機能と業務プロセスの自動化を組み合わせるワークフロー自動化ツールと説明しています。n8n やその他のセルフホスト可能な Zapier 代替ツールは、あるアプリのトリガーを他のアプリの呼び出しにつなぎます。3つ目は BPM で、フォームや承認の各ステップで人の操作を待ちます。

WLA ベンダーの Stonebranchは、人の関与を境目と考えます。2022 年の比較記事では、ワークフロー自動化の各ステップは承認のように人から人に渡ることが多く、WLA のタスクでは通常その種のやり取りがないと説明しています。BPM を区別するうえでは有効ですが、ネットショップの注文を表計算シートにコピーする n8n のワークフローにも人は介在しません。同じ基準では、メインフレームのバッチ処理と同じ分類になります。そこで、インフラ上のジョブ、アプリ間の呼び出し、人を待つステップのどれを実行するかで分けます。

「ワークフロー」という言葉だけでは区別できません。BMC は Control-M を、メインフレーム、クラウド、分散システム、SaaS にまたがる「事業上重要なワークフローをオーケストレーション」する手段として紹介しています。Apache Airflow のドキュメントは、Airflow をワークフローの開発、スケジューリング、監視のためのプラットフォームと説明しています。

両方のツールに共通の起動条件もあります。n8n は指定時刻にワークフローを開始できます。例えば、セルフホストで SNS に投稿する仕組みでは、Schedule Trigger を1日に数回実行します。ワークロード自動化のスケジューラーも、ファイルの到着などのイベントでジョブを開始できます。

ワークロード自動化と RPA の違い

ワークロード自動化は、アプリの画面の背後で、サーバー上のジョブを実行します。ロボティックプロセスオートメーション(RPA)は画面を操作します。ボットが人と同じようにクリック、入力、値のコピーを行います。RPA は API も呼び出せますが、画面を操作する点が特徴です。

IBM の RPA 解説は両方に触れています。RPA は API とユーザーインターフェース操作を組み合わせ、企業向けアプリや業務効率化アプリを連携し、その間で反復作業を行います。RPA を販売する UiPath は画面を重視し、ボットが「人の操作をまねて」画面やシステムを操作すると説明しています。Stonebranch は両者を区別し、WLA はバックエンドのシステム処理とデータフローを、RPA は主に人が画面で行う作業を扱うとしています。アプリに API やバッチ処理用のインターフェースがあれば、スケジュール済みのジョブで直接呼び出せます。画面がシステムを操作する唯一の手段なら、RPA が役立ちます。

Airflow、Rundeck、Kestra、Dagu の位置づけ

ワークロード自動化を名乗らなくても、一部のオープンソースツールは、依存関係のあるジョブをスケジュールで実行し、再試行と履歴を提供します。呼び方は、オーケストレーター、ランブック自動化ツール、ワークフローエンジンなどです。Apache Airflow はデータパイプラインを中心に扱います。Rundeck、Kestra、Dagu は運用ジョブや一般的なスケジューリングを扱います。

各プロジェクトの説明は次のとおりです。

  • Airflow:「Airflow のワークフローはすべて Python で定義する」。バッチ型データパイプライン、機械学習、モデルの学習などに利用できます(Apache-2.0)。
  • Rundeck:オープンソースのランブック自動化サービスです。Web コンソール、コマンドラインツール、Web API を備え、一連のノードで処理を自動化します(Apache-2.0)。
  • Kestra:イベント駆動のオーケストレーションとスケジューリングを行うプラットフォームです(Apache-2.0)。
  • Dagu:既存のスクリプトやランブックを本番用ワークフローに変換し、スケジュール、再試行、人が担当するタスク、実行履歴を扱います。ジョブは YAML で定義します(GPL-3.0)。

Stonebranch はWLA のよくある質問で、Airflow 系のツールはデータエンジニアリングのワークフロー向けであり、WLA はより広いシステム環境で Airflow ジョブを起動・管理できると説明しています。ベンダーの見方ですが、Airflow 自身がデータ処理を重視していることとも一致します。運用チームにとって重要なのは、ジョブの定義方法と、誰が保守できるかです。Control-M の無料代替を探す r/sysadmin のスレッドでは、投稿者が Airflow の Python DAG を選ばず、Kestra にも同様の懸念を示しました。これは1チームの経験です。現在の Kestra には、YAML を書かずにフォームからワークフローを作成できるノーコードエディターがあります。ジョブを保守する担当者に現在の作成方法が合うか確認してください。

ワークロード自動化の Magic Quadrant はどうなった?

Gartner は現在、この市場をサービスオーケストレーションおよび自動化プラットフォーム(SOAP)として扱っています。BMC の発表によると、SOAP の最初の Magic Quadrant は 2024 年9月に公開されました。BMC は Gartner の定義を、ワークフローのオーケストレーション、ワークロード自動化、リソースのプロビジョニングを組み合わせたものと要約しています。SOAP でジョブを実行する中心機能は、今もワークロード自動化です。

それ以前にも、ワークロード自動化の Gartner Magic Quadrant は存在しました。JobScheduler の開発元である SOS GmbH は、そのレポートに掲載されたことを発表しました。Gartner が公開したのは 2012 年2月です。

Control-M のような製品は現在 SOAP の象限に掲載され、ワークフローのオーケストレーションを訴求しています。筆者の見方では、ジョブを実行する中心機能を保ったまま、調査会社の分類が広がりました。ベンダーが SOAP を前面に出していれば、ワークロード用のスケジューラーが製品の中核にあると考えられます。

ジョブに合ったツールの選び方

単一ホストのジョブ、依存関係のある運用ジョブ、データパイプライン、企業向けワークロード自動化に適したスケジューラーを選ぶための図です。

ジョブの性質によって、必要なツールが変わります。1台のホスト上で互いに独立したジョブには cron や systemd タイマーが適しています。少数のホストで実行する依存ジョブに履歴やアラートが必要なら、オープンソースのスケジューラーやオーケストレーターが適しています。組織全体に及び、営業日カレンダー、ERP のバッチ処理、監査要件がある環境は、企業向け WLA 製品の対象です。

まず、長引く可能性があるジョブには flock を使い、停止後に実行を補う必要がある OnCalendar= タイマーには Persistent=true を設定します。次の段階では、Rundeck、Kestra、Dagu などを順序どおりに実行するだけでよい一連の cron ジョブに使えます。データパイプラインには Airflow 系のオーケストレーターが向いています。さらに、月末の営業日カレンダー、メインフレームや ERP のジョブ、全実行の記録を求める監査要件がある場合、Control-M、AutoSys など企業向けの WLA・SOAP 製品が対象となります。

ジョブの数だけでは、上位のツールに切り替える判断はできません。より明確な兆候は、あるジョブが別のマシン上で動くジョブの結果を待つ必要があることや、翌朝、各マシンにログインしないと昨夜何が動いたか分からないことです。時間差でジョブをつなぐのは簡単ですが、初めて順序が崩れると、ロードのやり直し、古いデータを使ったレポートの特定、数字の説明が必要になります。まず、定期実行しているジョブをすべて列挙し、他のジョブの結果に依存するものを示し、各ホストの実行状況を確認するのにかかる時間を見積もってください。依存関係の列が空で、1分で確認できるなら、cron がすでに適したツールです。

よくある質問

Apache Airflow はワークロード自動化ツール?

Apache Airflow は、Python で書かれたデータパイプラインを、予定された依存ジョブとして実行し、履歴を保持します。バッチロード、機械学習、モデルの学習など、データチームにとっては WLA に相当する作業です。ただし、Airflow のドキュメントはワークフロープラットフォームと説明しており、ワークロード自動化という名前は使っていません。

ワークロード自動化の例は?

夜間にデータベースをエクスポートして別のサーバーでロードする、1日の終わりに取引先へファイルを送る、月末に ERP のバッチを実行する、各コピーを検証してから次のバックアップに進む、といった例があります。WLA ツールでは各ジョブをスケジュールし、前提となる処理が成功するまで依存ステップを待機できます。

ワークロード自動化で SOAP とは何を指す?

ここで SOAP は Service Orchestration and Automation Platform(サービスオーケストレーションおよび自動化プラットフォーム)の略で、Gartner が現在使っている分類名です。BMC の要約では、ワークロード自動化にワークフローのオーケストレーションとリソースのプロビジョニングを組み合わせたものです。W3C が公開した Web サービス向け XML メッセージング標準の SOAP とは無関係です。

ワークロード自動化とジョブスケジューリングは同じ?

両者は近い概念です。BMC によると、主要な OS には自機でジョブを実行するスケジューラーが付属します。例えば、Windows ではタスク スケジューラ、Linux では cron がその役割を果たします。複数のサーバー上のジョブが相互に依存する場合に、ワークロード自動化の出番です。BMC の説明では、対象が1つのプラットフォームか複数かが区別の基準です。

共有

ディスカッション

コメント

ログインしてディスカッションに参加してください。

ブログの他の記事

読み進める。

デプロイの準備はできましたか? 月額2.48ドルから。

2008年から独立運営のクラウド。AMD EPYC、NVMe、40 Gbps。14日間返金保証。