Представьте две строки в crontab: экспорт запускается в 01:00, а загрузка в хранилище данных — в 02:00. Час между запусками — единственное условие, по которому загрузка должна начаться после экспорта. Но если однажды экспорт затянется или завершится ошибкой на полпути, загрузка всё равно начнётся в 02:00, прочитает вчерашний файл и завершится без ошибок. Если никто не прочитает письмо об ошибке экспорта, сбой останется незамеченным: с точки зрения cron оба задания запустились вовремя.
Автоматизация рабочих нагрузок позволяет отложить загрузку в хранилище до успешного экспорта. Термин чаще всего встречается на сайтах поставщиков и в корпоративных ИТ-службах, например в связи с Control-M и AutoSys. Часть терминов совпадает с лексикой автоматизации рабочих процессов и роботизации процессов. Различия сводятся к тому, что выполняет каждый инструмент и как запускает выполнение.
Кратко
- Автоматизация рабочих нагрузок (WLA) централизованно запускает зависимые ИТ-задания на разных серверах: загрузку данных, передачу файлов и пакетные задания ERP. Она поддерживает повторные попытки, историю запусков и оповещения о сбоях.
- Cron запускает команду в заданную минуту на одном компьютере и отправляет её вывод по почте. Порядок заданий, координацию между узлами и историю запусков нужно организовать самостоятельно.
- Автоматизация рабочих процессов связывает приложения по событиям, например с помощью n8n или Zapier, либо направляет запросы на согласование людям. При роботизации процессов (RPA) боты работают с интерфейсом приложения так, как это делал бы человек. WLA выполняет задания на серверах, которые обслуживают эти приложения.
- Если запуски cron накладываются друг на друга, используйте блокировку, например
flock, или измените само задание. Из-за одного лишь наложения запусков покупать средство WLA не нужно.
Что такое автоматизация рабочих нагрузок?
Автоматизация рабочих нагрузок (WLA) использует ПО, которое из единой точки выполняет ИТ-задания на разных компьютерах в нужном порядке. Это могут быть ночная загрузка данных, передача файлов и пакетные задания ERP. ПО запускает задания по расписанию или событию, ждёт успешного завершения необходимых заданий, повторяет неудачные попытки, ведёт историю и сообщает о сбоях или превышении времени выполнения.
Для планировщика зависимость — это условие о результате: запускайте загрузку только после успешного экспорта, а при сбое известите дежурного. Интервал между запусками отражает лишь оценку длительности первого задания. Помимо этого основного принципа, наборы функций у поставщиков WLA во многом совпадают:
- Зависимости между заданиями, включая ветви на случай сбоя
- Запуск по времени, рабочему календарю (только рабочие дни, без праздников) или событию, например при поступлении файла
- Выполнение на удалённых системах с помощью установленных агентов, подключений без агентов или интеграций со службами, в зависимости от продукта и целевой системы
- Повторные попытки, ограничения по времени и остановка зависших заданий
- История запусков с данными о задании, месте, времени, длительности и коде завершения
- Оповещения о сбоях, превышении заданной длительности и риске пропустить срок выполнения, установленный SLA
- Восстановление пропущенных запусков, чтобы задание, срок которого наступил при недоступном узле, выполнилось после его восстановления
IBM описывает IBM Workload Automation как платформу для координации заданий без участия оператора и заданий по событиям в гибридных средах. На практике один планировщик запускает задания по времени или событию без участия человека на мейнфреймах, локальных и облачных компьютерах. Описание соответствует возможностям продукта, но из-за терминологии его трудно сопоставить с уже используемыми заданиями cron. Этот термин используют также Control-M от BMC, AutoSys, Redwood RunMyJobs, ActiveBatch, Tidal и JAMS.
Автоматизация рабочих нагрузок, cron, автоматизация рабочих процессов и RPA: краткое сравнение
Четыре подхода различаются условиями запуска, задачами и местом выполнения. Cron запускает команду в заданное время на одном компьютере. Автоматизация рабочих нагрузок выполняет задания на разных серверах по времени, событиям или результатам других заданий. Автоматизация рабочих процессов вызывает API приложений или ждёт действий людей. RPA совмещает действия в интерфейсе и вызовы API.
| Параметр | Cron | Автоматизация рабочих нагрузок | Автоматизация рабочих процессов | RPA |
|---|---|---|---|---|
| Условие запуска | Заданное время | Время, календари, события и результаты других заданий | События приложений, отправка форм и расписания | Расписание, событие или действие человека |
| Единица работы | Команда | Задание на узле: скрипт, пакетная обработка, передача данных или задание ERP | Шаг, вызывающий API приложения | Записанная последовательность действий в интерфейсе и вызовов API |
| Среда размещения | Один компьютер | Несколько узлов и служб под централизованным управлением, через агентов, подключения без агентов или интеграции | Платформа автоматизации, вызывающая API SaaS | Среда выполнения бота в сеансе на рабочей станции или сервере |
| Зависимости и сбои | Встроенной обработки нет; вывод отправляется по почте | Граф зависимостей, повторные попытки, оповещения, история запусков | Ветви обработки ошибок и повторные попытки в каждом рабочем процессе | Обработка исключений для каждого бота |
| Примеры инструментов | cron | Control-M, AutoSys, IBM Workload Automation; для схожих заданий — Rundeck, Dagu и Kestra | n8n и Zapier; системы BPM для согласований | UiPath, Automation Anywhere |
Можно ли считать cron инструментом автоматизации рабочих нагрузок?
Нет. Cron — планировщик заданий по времени для одного компьютера. Согласно странице руководства cron(8), cron каждую минуту проверяет, какие задания пора запустить, и отправляет вывод владельцу crontab по почте. Порядок заданий, координацию узлов, историю и оповещения должен организовать оператор.
На странице crontab(5) также сказано, что MAILTO="" отключает отправку писем, в том числе при ошибке задания. Ниже показаны экспорт в 01:00 и загрузка в 02:00, а затем обычный способ обойти ограничение:
# BEFORE: illustration only; do not install these commented entries.
# 0 1 * * * /opt/jobs/export-orders.sh
# 0 2 * * * /opt/jobs/load-warehouse.sh
# AFTER: replace both old entries with this single entry.
# The load runs only if the export exits successfully.
0 1 * * * /opt/jobs/export-orders.sh && /opt/jobs/load-warehouse.sh
Строка с && похожа на зависимость. Но она охватывает один узел и один код завершения. Отсюда пять пробелов. За пределами этой строки нет правила «запустить после успешного задания X» или «запустить Y при сбое X». Координации между узлами нет, поэтому загрузка на сервере хранилища не может подождать экспорта на сервере базы данных. История ограничивается журналами отдельных скриптов. Оповещение сводится к выводу, отправленному по почте, который может остаться непрочитанным. Кроме того, cron(8) не восполняет запуск за минуту, когда узел был выключен. На странице отмечается, что ежедневные, еженедельные и ежемесячные системные задания, ранее указанные в /etc/crontab, теперь по умолчанию выполняет отдельный инструмент anacron. Эти ограничения обходят с помощью файлов-маркеров, скриптов-обёрток и цепочек с &&.
BMC описывает различие с точки зрения поставщика в своём материале о планировании заданий и WLA. Планирование запускает пакетные задания на одной платформе, тогда как автоматизация рабочих нагрузок централизованно координирует зависимые задания на разных серверах и в разных средах. BMC приводит планировщик заданий Windows как пример инструмента, который есть в основных операционных системах. В Linux и Unix ту же роль играет cron. Различие в масштабе: одна платформа или несколько, между которыми проходят зависимости.
Какие функции WLA уже есть без отдельного инструмента WLA
Три распространённых инструмента покрывают часть функций WLA. Календарный таймер systemd (OnCalendar=) с Persistent=true восполняет запуск, пропущенный, пока компьютер был выключен. Kubernetes CronJob с concurrencyPolicy: Forbid пропускает запуск, если предыдущий ещё выполняется. flock не даёт двум экземплярам одного задания cron выполняться одновременно. Ни для одного из этих случаев не нужен продукт WLA.
В руководстве systemd.timer указано, что с Persistent=true время последнего срабатывания сохраняется на диск. Служба запускается сразу, если таймер должен был запустить её хотя бы один раз за период простоя. На этом узле выполняется один компенсирующий запуск за пропущенные календарные срабатывания. Вместо одной строки crontab потребуются два файла юнитов. Сравнение cron и таймеров systemd показывает, что даёт дополнительная настройка.
Согласно документации Kubernetes по CronJob, значение Allow для concurrencyPolicy используется по умолчанию и разрешает обеим копиям выполняться. Forbid пропускает новый запуск, а Replace заменяет выполняющееся задание новым. За пределами Kubernetes flock(1) управляет блокировками из скриптов оболочки и удерживает блокировку, пока выполняется команда. С -n вторая копия завершается ошибкой вместо ожидания, поэтому */5 * * * * flock -n /tmp/sync.lock /opt/jobs/sync.sh предотвращает одновременное выполнение двух синхронизаций.
Наложение или накопление запусков устраняют блокировкой либо изменением самого задания. Замена планировщика эту проблему не решает. Если задание запускается каждые пять минут, а иногда занимает десять, ему нужно вдвое больше выделенного времени. Блокировка предотвращает накопление. Остальное решается ускорением задания, выделением дополнительных ресурсов или менее частыми запусками. Продукт WLA изменит место, где появится сообщение о превышении времени, но не устранит само превышение. В обсуждении r/sysadmin о наложении заданий cron самый популярный ответ предлагает проверять блокировку, flock упоминается несколько раз, а один комментарий описывает роль планировщика так: «Cron выполняет команды. И делает это очень хорошо».
Ни один из трёх инструментов не даёт графа зависимостей между узлами или централизованной истории запусков. Эти две возможности могут оправдать расходы на средство WLA.
Чем автоматизация рабочих нагрузок отличается от автоматизации рабочих процессов
Разница в том, что выполняется и где, независимо от участия человека. Автоматизация рабочих нагрузок запускает скрипты, загрузку данных и передачу файлов на серверах. Автоматизация рабочих процессов связывает API приложений, например в n8n или Zapier создаёт запись в CRM из отправленной формы, либо направляет запросы на согласование через инструмент управления бизнес-процессами (BPM).
За общим термином скрываются три подхода. Первый — сама автоматизация рабочих нагрузок. Второй — автоматизация на основе интеграций. В документации n8n этот продукт описан как инструмент автоматизации рабочих процессов под лицензией fair-code, который сочетает функции ИИ с автоматизацией бизнес-процессов. n8n и другие самостоятельно размещаемые альтернативы Zapier связывают событие в одном приложении с вызовами других. Третий подход — BPM: формы и цепочки согласований задерживают каждый шаг до действия человека.
Stonebranch, поставщик WLA, проводит границу по участию людей. В сравнении за 2022 год компания пишет, что шаги автоматизации рабочих процессов обычно предполагают передачу от одного человека другому, например при согласовании, а задания WLA обычно такого взаимодействия не требуют. Для BPM критерий подходит. Но рабочий процесс n8n, который копирует заказы интернет-магазина в таблицу, тоже выполняется без человека. По тому же критерию он оказался бы рядом с пакетным заданием на мейнфрейме. Поэтому здесь границу определяет характер работы: инфраструктурные задания, вызовы между приложениями или шаги, которые ждут действия человека.
Слово «рабочий процесс» само по себе ничего не разграничивает. BMC продвигает Control-M как средство, позволяющее «оркестрировать критически важные для бизнеса рабочие процессы» в средах мейнфреймов, облака, распределённых систем и SaaS. А документация Apache Airflow описывает Airflow как платформу разработки, планирования и мониторинга рабочих процессов.
Часть условий запуска совпадает. Рабочие процессы n8n могут начинаться по расписанию. Например, одна самостоятельно размещаемая настройка публикаций в соцсетях запускается по расписанию несколько раз в день. Планировщики WLA также могут запускать задания по событиям, например при поступлении файла.
Чем автоматизация рабочих нагрузок отличается от RPA
Автоматизация рабочих нагрузок выполняет задания на серверах за интерфейсом приложения. Роботизация процессов (RPA) работает с самим интерфейсом: боты нажимают, вводят и копируют значения, как человек. RPA также может вызывать API. Её отличительная черта — управление пользовательским интерфейсом.
В обзоре RPA от IBM описаны обе стороны: RPA сочетает API и взаимодействие с пользовательскими интерфейсами, чтобы интегрировать корпоративные приложения и программы для повседневной работы и выполнять между ними повторяющиеся задачи. Поставщик RPA UiPath делает акцент на экране и описывает ботов, которые взаимодействуют с экранами и системами, «имитируя действия человека». Stonebranch описывает различие со стороны WLA: WLA управляет серверными процессами и потоками данных, а RPA обычно автоматизирует действия человека в интерфейсе. Если приложение предоставляет API или пакетный интерфейс, запланированное задание может вызвать его напрямую. RPA подходит, когда экран — единственный способ взаимодействия с системой.
Какую роль играют Airflow, Rundeck, Kestra и Dagu
Несколько инструментов с открытым исходным кодом выполняют задачи автоматизации рабочих нагрузок, не используя этот термин. Они запускают запланированные и зависимые задания, поддерживают повторные попытки и ведут историю. Разработчики называют их оркестраторами, средствами автоматизации эксплуатационных процедур или движками рабочих процессов. Apache Airflow ориентирован на конвейеры данных. Rundeck, Kestra и Dagu подходят для эксплуатационных заданий и планирования общего назначения.
Как проекты описывают себя:
- Airflow: «Рабочие процессы Airflow целиком определяются на Python». Примеры задач — пакетные конвейеры данных, машинное обучение и обучение моделей (Apache-2.0).
- Rundeck: сервис с открытым исходным кодом для автоматизации эксплуатационных процедур на нескольких узлах. Предлагает веб-консоль, инструменты командной строки и веб-API (Apache-2.0).
- Kestra: платформа оркестрации и планирования по событиям (Apache-2.0).
- Dagu: превращает существующие скрипты и эксплуатационные процедуры в рабочие процессы для промышленной среды с расписанием, повторными попытками, ручными шагами и историей запусков. Задания определяются в YAML (GPL-3.0).
В ответах на частые вопросы о WLA Stonebranch утверждает, что инструменты класса Airflow созданы для рабочих процессов инженерии данных, а WLA может запускать и контролировать задания Airflow в более крупной среде. Это взгляд поставщика, но он согласуется с акцентом Airflow на данных. Для команды эксплуатации важнее то, как определяются задания и кто сможет их сопровождать. В обсуждении r/sysadmin о бесплатном аналоге Control-M автор отказался от DAG Airflow на Python и высказал схожие сомнения насчёт Kestra. Это опыт одной команды. Теперь в Kestra есть редактор без кода, позволяющий создавать рабочие процессы через формы без YAML. Проверьте, подходит ли текущий интерфейс тем, кто будет сопровождать задачи.
Что стало с Magic Quadrant по автоматизации рабочих нагрузок?
Теперь Gartner рассматривает этот рынок как платформы оркестрации и автоматизации сервисов (SOAP). Согласно сообщению BMC, первый Magic Quadrant для SOAP вышел в сентябре 2024 года. BMC пересказывает определение Gartner как сочетание оркестрации рабочих процессов, автоматизации рабочих нагрузок и выделения ресурсов. За выполнение заданий в SOAP по-прежнему отвечает автоматизация рабочих нагрузок.
Ранее Gartner уже выпускала Magic Quadrant по автоматизации рабочих нагрузок. SOS GmbH, разработчик JobScheduler, сообщила о своём включении в этот отчёт, опубликованный Gartner в феврале 2012 года.
Система вроде Control-M теперь фигурирует в квадранте SOAP и продвигается как средство оркестрации рабочих процессов. По мнению автора, аналитическая категория расширилась, а механизм выполнения заданий остался её ядром. Если поставщик делает акцент на SOAP, в центре его предложения, скорее всего, находится планировщик рабочих нагрузок.
Как подобрать инструмент под свои задания
Класс инструмента определяется характером заданий. Для независимых заданий на одном узле достаточно cron или таймера systemd. Для зависимых заданий на нескольких узлах, где нужны история и оповещения, подойдёт планировщик или оркестратор с открытым исходным кодом. Корпоративные платформы WLA рассчитаны на масштабы всей организации, рабочие календари, пакетные задания ERP и требования аудита.
На первом уровне используйте flock для заданий, которые могут выйти за отведённое время, и Persistent=true для таймеров OnCalendar=, которые должны восполнять пропуски после простоя. На следующем уровне Rundeck, Kestra или Dagu подходят для набора заданий cron, которым нужно только задать порядок. Для конвейеров данных лучше подходит оркестратор класса Airflow. На верхнем уровне нужны календари закрытия месяца, задания ERP и мейнфреймов и журналы каждого запуска для аудиторов. На такие среды рассчитаны Control-M, AutoSys и другие корпоративные платформы WLA и SOAP.
Количество заданий плохо подсказывает, когда менять инструмент. Два более надёжных признака: одно задание ждёт результата другого на другой машине, либо утром никто не знает, что выполнялось ночью, пока не войдёт на каждый узел. Цепочка с временными интервалами обходится дёшево до первой ночи, когда задания пойдут не по порядку. После этого приходится повторять загрузку, искать отчёты, использовавшие устаревшие данные, и объяснять цифры. Начните со списка запланированных заданий. Отметьте зависимости и оцените, сколько времени уйдёт на проверку запусков на каждом узле. Если столбец зависимостей пуст, а на проверку нужна минута, cron уже подходит.
Часто задаваемые вопросы
Можно ли считать Apache Airflow инструментом автоматизации рабочих нагрузок?
Apache Airflow выполняет конвейеры данных на Python, включая пакетную загрузку, машинное обучение и обучение моделей, как запланированные зависимые задания с историей запусков. Для команд данных это работа, характерная для WLA. Однако в документации Airflow описан как платформа рабочих процессов, без термина «автоматизация рабочих нагрузок».
Какие есть примеры автоматизации рабочих нагрузок?
Примеры: ночной экспорт базы данных с последующей загрузкой на другом сервере, передача файлов партнёру в конце дня, пакетные задания ERP при закрытии месяца и цепочка резервного копирования с проверкой каждой копии перед следующим шагом. Средство WLA может запланировать каждое задание и отложить зависимый шаг до успешного выполнения его предпосылки.
Что означает SOAP в автоматизации рабочих нагрузок?
Здесь SOAP означает Service Orchestration and Automation Platform — платформу оркестрации и автоматизации сервисов. Так Gartner сейчас называет эту категорию. По описанию BMC, она дополняет автоматизацию рабочих нагрузок оркестрацией рабочих процессов и выделением ресурсов. Она не связана с SOAP — стандартом обмена XML-сообщениями для веб-сервисов, опубликованным W3C.
Автоматизация рабочих нагрузок и планирование заданий — одно и то же?
Понятия близки. BMC отмечает, что основные операционные системы поставляются с планировщиком заданий для своего компьютера, например с планировщиком заданий Windows. В Linux такую роль выполняет cron. Автоматизация рабочих нагрузок нужна, когда от выполнения задания на одном сервере зависит задание на другом. В формулировке BMC различие — между одной платформой и несколькими.
Обсуждение
Комментарии
Войдите, чтобы присоединиться к обсуждению.