Перейти до основного вмісту
Знижка 50% усі плани, обмежений час. Від $2.48/mo
Залишилося: 15 хв
Інструменти розробника та DevOps

Що таке автоматизація робочих навантажень і чим вона відрізняється від cron, автоматизації робочих процесів і RPA?

S Автор: Samer 15 хв читання
Центральний планувальник координує експорт із бази даних і залежне від нього завантаження до сховища даних.

Уявіть два рядки у crontab: експорт починається о 01:00, а завантаження до сховища даних — о 02:00. Година між ними — єдина умова, яка має забезпечити запуск завантаження після експорту. Якщо однієї ночі експорт затягнеться або завершиться помилкою на півдорозі, завантаження все одно почнеться о 02:00, прочитає вчорашній файл і завершиться без помилки. Якщо ніхто не прочитає лист про помилку експорту, збій залишиться непоміченим: з погляду cron обидва завдання почалися вчасно.

Автоматизація робочих навантажень дає змогу відкласти завантаження до сховища до успішного експорту. Термін часто зустрічається на сайтах постачальників та у відділах корпоративних ІТ у зв’язку з такими продуктами, як Control-M і AutoSys. Частина термінології спільна з автоматизацією робочих процесів і роботизацією процесів. Різниця в тому, що виконує кожен інструмент і як починається виконання.

Коротко

  • Автоматизація робочих навантажень (WLA) централізовано запускає залежні ІТ-завдання на кількох серверах: завантаження даних, передавання файлів і пакетні завдання ERP. Вона підтримує повторні спроби, історію запусків і сповіщення про збої.
  • Cron запускає команду в заплановану хвилину на одному комп’ютері та надсилає її вивід поштою. Порядок завдань, координацію між вузлами та історію запусків треба налаштовувати самостійно.
  • Автоматизація робочих процесів пов’язує застосунки за подіями, наприклад через n8n або Zapier, чи передає запити на погодження. Роботизація процесів (RPA) керує інтерфейсом застосунку, як це робила б людина. WLA запускає завдання на серверах, що забезпечують роботу цих застосунків.
  • Якщо запуски cron накладаються, скористайтеся блокуванням на кшталт flock або змініть саме завдання. Саме лише накладання запусків не виправдовує придбання продукту WLA.

Що таке автоматизація робочих навантажень?

Автоматизація робочих навантажень (WLA) використовує програмне забезпечення для централізованого виконання ІТ-завдань у потрібному порядку на кількох комп’ютерах. Це можуть бути нічне завантаження даних, передавання файлів і пакетні завдання ERP. Програма запускає завдання за розкладом або подією, чекає на успішне виконання передумов, повторює невдалі спроби, веде історію та сповіщає про збої або перевищення часу виконання.

Для планувальника залежність — це правило щодо результату: запускайте завантаження лише після успішного експорту, а в разі збою сповістіть чергового. Часовий проміжок відображає лише оцінку тривалості першого завдання. На додаток до цього базового принципу, інструменти WLA часто мають схожі можливості:

  • Залежності між завданнями, зокрема гілки на випадок збою
  • Запуск за часом, робочим календарем (лише в робочі дні, без свят) або подією, наприклад надходженням файлу
  • Віддалене виконання через установлені агенти, безагентні підключення або інтеграції зі службами залежно від продукту та цільової системи
  • Повторні спроби, обмеження часу й завершення завдань, що зависли
  • Історія того, що виконувалося, де й коли, скільки тривало та з яким кодом завершилося
  • Сповіщення про збої, перевищення заданої тривалості та ризик порушити термін завершення, установлений SLA
  • Надолуження пропущених запусків, щоб завдання, заплановане на час простою вузла, виконалося після його відновлення

IBM описує IBM Workload Automation як платформу для координації автоматичних завдань і завдань за подіями в гібридних середовищах. На практиці один планувальник запускає завдання за часом або подією без участі людини на мейнфреймах, локальних і хмарних машинах. Опис відповідає можливостям продукту, але термінологія ускладнює порівняння з вашими завданнями cron. Цей термін також використовують Control-M від BMC, AutoSys, Redwood RunMyJobs, ActiveBatch, Tidal і JAMS.

Порівняння автоматизації робочих навантажень, cron, автоматизації робочих процесів і RPA

Чотири підходи відрізняються умовами запуску, виконуваною роботою та місцем виконання. Cron виконує команду за визначеним часом на одному комп’ютері. Автоматизація робочих навантажень виконує завдання на різних серверах за часом, подіями або результатами інших завдань. Автоматизація робочих процесів викликає API застосунків або чекає на людей. RPA поєднує дії в інтерфейсі та виклики API.

Аспект Cron Автоматизація робочих навантажень Автоматизація робочих процесів RPA
Умова запуску Визначений час Час, календарі, події та результати інших завдань Події застосунків, надсилання форм і розклади Розклад, подія або дія людини
Одиниця роботи Команда Завдання на вузлі: скрипт, пакетне виконання, передавання або завдання ERP Крок, що викликає API застосунку Записана послідовність дій в інтерфейсі та викликів API
Середовище розміщення Один комп’ютер Кілька вузлів і служб під централізованим керуванням, через агентів, безагентні підключення або інтеграції Платформа автоматизації, що викликає SaaS API Середовище виконання бота в сеансі на робочому столі або сервері
Залежності та збої Вбудованої обробки немає; вивід надсилається поштою Граф залежностей, повторні спроби, сповіщення й історія запусків Гілки обробки помилок і повторні спроби для кожного робочого процесу Обробка винятків для кожного бота
Приклади інструментів cron Control-M, AutoSys, IBM Workload Automation; для подібних завдань — Rundeck, Dagu та Kestra n8n і Zapier; платформи BPM для погоджень UiPath, Automation Anywhere

Чи є cron інструментом автоматизації робочих навантажень?

Незалежні записи cron можуть завантажити застарілі дані після невдалого експорту. Якщо задано залежність, завантаження до сховища чекає на успішний експорт.

Ні. Cron — часовий планувальник завдань для одного комп’ютера. Згідно зі сторінкою посібника cron(8), він щохвилини перевіряє, які завдання час запускати, і надсилає вивід власникові crontab. Порядок завдань, координацію вузлів, історію та сповіщення забезпечує оператор.

У посібнику crontab(5) сказано, що MAILTO="" вимикає пошту, навіть якщо завдання завершується помилкою. Нижче наведено експорт о 01:00, завантаження о 02:00 та звичний обхідний варіант:

# BEFORE: illustration only; do not install these commented entries.
# 0 1 * * * /opt/jobs/export-orders.sh
# 0 2 * * * /opt/jobs/load-warehouse.sh

# AFTER: replace both old entries with this single entry.
# The load runs only if the export exits successfully.
0 1 * * * /opt/jobs/export-orders.sh && /opt/jobs/load-warehouse.sh

Рядок із && схожий на залежність, але охоплює один вузол і один код завершення. Залишаються п’ять прогалин. Поза цим рядком немає правила «запустити після успіху X» або «запустити Y, якщо X не вдалось». Координації між вузлами немає, тому завантаження на сервері сховища не може дочекатися експорту на сервері бази даних. Історія обмежена журналами окремих скриптів. Єдине сповіщення — вивід поштою, який можуть не прочитати. Крім того, cron(8) не надолужує запис, якщо в заплановану хвилину вузол був вимкнений. У посібнику зазначено, що щоденні, щотижневі й щомісячні системні завдання, які раніше були в /etc/crontab, тепер типово виконує окремий інструмент anacron. Маркерні файли, скрипти-обгортки й ланцюжки з && допомагають обійти ці обмеження.

BMC пояснює різницю з погляду постачальника у своєму матеріалі про планування завдань і WLA. Планування запускає пакетні завдання на одній платформі, а автоматизація робочих навантажень централізовано координує залежні завдання на кількох серверах і в різних середовищах. BMC наводить Планувальник завдань Windows як приклад інструмента, вбудованого в основні операційні системи. На Linux і Unix подібну роль виконує cron. Різниця полягає в масштабі: одна платформа чи кілька із залежностями між ними.

Які функції WLA вже є без окремого інструмента

Три поширені інструменти покривають частину можливостей WLA. Календарний таймер systemd (OnCalendar=) з Persistent=true надолужує запуск, пропущений, коли комп’ютер був вимкнений. Kubernetes CronJob з concurrencyPolicy: Forbid пропускає запуск, якщо попередній ще триває. flock не дає двом екземплярам завдання cron виконуватися одночасно. Для цього не потрібен продукт WLA.

За посібником systemd.timer, Persistent=true зберігає час останнього спрацьовування на диску. Службовий модуль запускається негайно, якщо мав би спрацювати хоча б раз за час неактивності таймера. На цьому вузлі отримуєте один запуск, що надолужує пропущені календарні події, ціною двох файлів модулів замість одного рядка crontab. Порівняння cron і таймерів systemd показує переваги додаткових налаштувань.

За документацією Kubernetes CronJob, типове значення concurrencyPolicy — Allow, яке дозволяє виконувати обидва екземпляри. Forbid пропускає новий запуск, а Replace замінює поточне завдання новим. Поза Kubernetes flock(1) керує блокуваннями зі скриптів оболонки й утримує блокування впродовж виконання команди. Із -n другий екземпляр завершується помилкою замість очікування, тому */5 * * * * flock -n /tmp/sync.lock /opt/jobs/sync.sh не дає двом синхронізаціям виконуватися одночасно.

Накладання чи накопичення запусків усувають блокуванням або зміною завдання. Заміна планувальника не розв’язує цієї проблеми. Якщо завдання запускається кожні п’ять хвилин, а іноді виконується десять, воно потребує вдвічі більше часу, ніж йому виділили. Блокування не дає запускам накопичуватися. Решту можна вирішити, пришвидшивши завдання, додавши ресурси або запускаючи його рідше. Засіб WLA змінить місце, де з’явиться повідомлення про перевищення часу, але не усуне саме перевищення. В обговоренні r/sysadmin про накладання завдань cron найпопулярніша відповідь пропонує перевірити блокування, flock згадують не один раз, а один коментар описує роль планувальника так: «Cron виконує команди. І робить це дуже добре».

Жоден із трьох засобів не дає графа залежностей між вузлами або централізованої історії запусків. Ці дві можливості можуть виправдати витрати на інструмент WLA.

Чим автоматизація робочих навантажень відрізняється від автоматизації робочих процесів

Різниця в тому, що і де виконується, незалежно від участі людини. Автоматизація робочих навантажень запускає скрипти, завантаження даних і передавання файлів на серверах. Автоматизація робочих процесів поєднує виклики API застосунків, наприклад створює запис CRM із надісланої форми через n8n або Zapier, чи передає погодження через інструмент керування бізнес-процесами (BPM).

Слово «автоматизація» тут охоплює три підходи. Перший — сама автоматизація робочих навантажень. Другий — автоматизація через інтеграції. Документація n8n описує n8n як інструмент автоматизації робочих процесів під ліцензією fair-code, який поєднує функції ШІ з автоматизацією бізнес-процесів. n8n та інші альтернативи Zapier із самостійним розміщенням пов’язують подію в одному застосунку з викликами до інших. Третій підхід — BPM, де форми й ланцюжки погоджень утримують кожен крок до дії людини.

Stonebranch, постачальник WLA, розрізняє ці підходи за участю людей. У порівнянні за 2022 рік компанія пише, що кроки автоматизованих робочих процесів зазвичай передаються між людьми, наприклад під час погодження, а завдання WLA зазвичай не потребують такої взаємодії. Для BPM це працює. Але робочий процес n8n, який копіює замовлення магазину до електронної таблиці, так само не потребує людини. За цим критерієм він опинився б в одній категорії з пакетним завданням на мейнфреймі. Тому межу тут визначає виконувана робота: завдання інфраструктури, виклики між застосунками або кроки, що чекають на людей.

Слово «робочий процес» саме по собі нічого не розмежовує. BMC описує Control-M як спосіб «оркеструвати критично важливі для бізнесу робочі процеси» на мейнфреймах і в хмарних, розподілених та SaaS-середовищах. Документація Apache Airflow називає Airflow платформою для розробки, планування та моніторингу робочих процесів.

Деякі способи запуску спільні. Робочі процеси n8n можуть запускатися за часом. Наприклад, самостійно розміщене рішення для публікації в соцмережах запускає Schedule Trigger кілька разів на день. Планувальники WLA також можуть запускати завдання за подією, наприклад після надходження файлу.

Чим автоматизація робочих навантажень відрізняється від RPA

Автоматизація робочих навантажень виконує завдання на серверах за інтерфейсом застосунку. Роботизація процесів (RPA) працює в самому інтерфейсі: боти натискають, вводять і копіюють значення, як це робить людина. RPA також може викликати API. Її відмінна риса — керування інтерфейсом користувача.

В огляді RPA від IBM описано обидва аспекти: RPA поєднує API та взаємодію з інтерфейсом користувача для інтеграції корпоративних і офісних застосунків та виконання повторюваних завдань між ними. Постачальник RPA UiPath наголошує на роботі з екраном і описує ботів, які взаємодіють з екранами та системами, «наслідуючи дії людини». Stonebranch описує поділ з боку WLA: WLA керує внутрішніми системними процесами й потоками даних, тоді як RPA зазвичай автоматизує людські дії в інтерфейсі. Якщо застосунок пропонує API або інтерфейс пакетної обробки, заплановане завдання може звернутися до нього напряму. RPA доречна, коли екран — єдиний спосіб взаємодії із системою.

Де доречні Airflow, Rundeck, Kestra та Dagu

Кілька інструментів із відкритим кодом виконують роботу WLA, не використовуючи цей термін. Вони запускають заплановані та залежні завдання з повторними спробами й історією. Вони називають себе оркестраторами, засобами автоматизації операційних процедур або рушіями робочих процесів. Apache Airflow зосереджується на конвеєрах даних. Rundeck, Kestra та Dagu охоплюють операційні завдання й загальне планування.

Як проєкти описують себе:

  • Airflow: «Робочі процеси Airflow повністю визначаються на Python», зокрема для пакетних конвеєрів даних, машинного навчання й навчання моделей (Apache-2.0).
  • Rundeck: сервіс із відкритим кодом для автоматизації операційних процедур на кількох вузлах. Пропонує вебконсоль, засоби командного рядка та веб-API (Apache-2.0).
  • Kestra: платформа оркестрації та планування за подіями (Apache-2.0).
  • Dagu: перетворює наявні скрипти й операційні процедури на робочі процеси для виробничого середовища з розкладом, повторними спробами, ручними завданнями й історією. Завдання визначаються в YAML (GPL-3.0).

У частих запитаннях про WLA Stonebranch зазначає, що інструменти типу Airflow призначені для процесів інженерії даних, а WLA може запускати завдання Airflow і керувати ними в більшому середовищі. Це погляд постачальника, але він узгоджується з фокусом Airflow на даних. Для експлуатаційної команди важливо, як визначають завдання та хто може їх підтримувати. У дискусії r/sysadmin про безплатний аналог Control-M автор відхилив Python DAG в Airflow і висловив схоже занепокоєння щодо Kestra. Це досвід однієї команди. У Kestra тепер є редактор без коду, який дає змогу створювати робочі процеси через форми без YAML. Перевірте, чи підходить наявний спосіб створення тим, хто підтримуватиме завдання.

Що сталося зі звітом Magic Quadrant про автоматизацію робочих навантажень?

Тепер Gartner розглядає ринок як платформи оркестрації й автоматизації сервісів (SOAP). За повідомленням BMC, перший Magic Quadrant для SOAP опубліковано у вересні 2024 року. BMC переказує визначення Gartner як поєднання оркестрації робочих процесів, автоматизації робочих навантажень і виділення ресурсів. Автоматизація робочих навантажень і далі лежить в основі запуску завдань у SOAP.

Раніше був окремий Gartner Magic Quadrant для автоматизації робочих навантажень. SOS GmbH, компанія, що розробляє JobScheduler, оголосила про свою присутність у звіті, який Gartner опублікувала в лютому 2012 року.

Такий пакет, як Control-M, нині входить до квадранта SOAP і пропонується як засіб оркестрації робочих процесів. На думку автора, аналітична категорія розширилася, а основний механізм виконання завдань залишився. Тож коли постачальник наголошує на SOAP, у центрі його пропозиції можна очікувати планувальник робочих навантажень.

Як дібрати інструмент для своїх завдань

Схема вибору планувальника для завдань на одному вузлі, залежних операційних завдань, конвеєрів даних і автоматизації робочих навантажень на підприємстві.

Тип завдань визначає клас інструмента. Для незалежних завдань на одному вузлі достатньо cron або таймера systemd. Для залежних завдань на кількох вузлах, які потребують історії та сповіщень, підійде планувальник або оркестратор із відкритим кодом. Середовища всієї організації з робочими календарями, пакетними завданнями ERP і вимогами аудиту — сфера корпоративних платформ WLA.

На першому рівні використовуйте flock із завданнями, які можуть затягнутися, і Persistent=true з таймерами OnCalendar=, які мають надолужувати пропущені запуски після простою. На наступному рівні Rundeck, Kestra та Dagu підійдуть для набору завдань cron, які лише треба виконувати в належній послідовності. Для конвеєрів даних доречний оркестратор на кшталт Airflow. На найвищому рівні додаються календарі закриття місяця, завдання мейнфреймів та ERP й облік усіх запусків для аудиторів. Control-M, AutoSys та інші корпоративні платформи WLA і SOAP орієнтовані на такі середовища.

Кількість завдань мало говорить про потребу змінити інструмент. Кращі ознаки — завдання, яке чекає на результат іншого завдання на іншій машині, або ранок, коли ніхто не може сказати, що працювало вночі, не входячи на кожен вузол. Ланцюжок із часовими проміжками дешевий до першої ночі, коли завдання виконаються не по порядку. Тоді доведеться повторити завантаження, знайти звіти із застарілими даними й пояснити цифри. Почніть із переліку запланованих завдань, позначте ті, що залежать від інших, і оцініть час перевірки запусків на кожному вузлі. Якщо колонка залежностей порожня, а на перевірку потрібна хвилина, cron уже підходить.

Поширені запитання

Чи є Apache Airflow інструментом автоматизації робочих навантажень?

Apache Airflow виконує конвеєри даних на Python, зокрема пакетне завантаження, машинне навчання та навчання моделей, як заплановані залежні завдання з історією запусків. Для команд даних це типова робота WLA. Проте документація описує Airflow як платформу робочих процесів і не використовує назву «автоматизація робочих навантажень».

Які є приклади автоматизації робочих навантажень?

Приклади — нічний експорт бази даних із завантаженням на іншому сервері, передавання файлу партнерові наприкінці дня, пакетні завдання ERP під час закриття місяця й ланцюжок резервного копіювання, який перевіряє кожну копію перед наступним кроком. Інструмент WLA може запланувати кожне завдання й відкласти залежні кроки до успішного виконання передумов.

Що означає SOAP в автоматизації робочих навантажень?

Тут SOAP означає Service Orchestration and Automation Platform — платформу оркестрації та автоматизації сервісів, нинішню назву категорії Gartner. У викладі BMC категорія додає до автоматизації робочих навантажень оркестрацію робочих процесів і виділення ресурсів. Це не пов’язано з SOAP — стандартом повідомлень XML для вебсервісів, опублікованим W3C.

Автоматизація робочих навантажень і планування завдань — те саме?

Поняття близькі. BMC зазначає, що основні операційні системи мають планувальник завдань для власного комп’ютера, наприклад Планувальник завдань Windows. У Linux цю роль виконує cron. Автоматизація робочих навантажень потрібна, коли завдання на різних серверах залежать одне від одного. За поділом BMC, різниця полягає в тому, чи охоплено одну платформу, чи кілька.

Поділитися

Обговорення

Коментарі

Увійдіть, щоб долучитися до обговорення.

Більше з блогу

Продовжуйте читати.

Готові розгортати? Від $2,48/міс.

Незалежна хмара з 2008 року. AMD EPYC, NVMe, 40 Gbps. Повернення коштів за 14 днів.