Saltar para o conteúdo principal
50% de desconto todos os planos, tempo limitado. A partir de $2.48/mo
Tempo restante: 15 min
Ferramentas de desenvolvimento e DevOps

O que é automação de cargas de trabalho? Diferenças em relação ao cron, à automação de fluxos de trabalho e à RPA

S Por Samer 15 min de leitura
Um agendador central coordena uma exportação do banco de dados e a carga no data warehouse que depende dela.

Imagine duas linhas no crontab: uma exportação inicia à 01:00 e uma carga no data warehouse às 02:00. A hora entre elas é a única regra que faz a carga começar depois da exportação. Se a exportação demorar ou falhar no meio do caminho, a carga vai iniciar às 02:00 mesmo assim, ler o arquivo do dia anterior e terminar sem erros. Se ninguém ler o e-mail de erro da exportação, a falha passa despercebida: para o cron, as duas tarefas começaram no horário.

A automação de cargas de trabalho permite que a carga no data warehouse espere a exportação terminar com sucesso. O termo aparece principalmente em páginas de fornecedores e em áreas de TI corporativa, associado a produtos como Control-M e AutoSys. Parte do vocabulário é comum à automação de fluxos de trabalho e à automação robótica de processos. As diferenças estão no que cada ferramenta executa e em como aciona a execução.

A versão curta

  • A automação de cargas de trabalho (WLA) executa tarefas de TI dependentes em vários servidores a partir de um ponto central, como cargas de dados, transferências de arquivos e processamento em lote de ERP. Ela oferece novas tentativas, histórico de execução e alertas de falha.
  • O cron inicia um comando no minuto programado em uma máquina e envia a saída por e-mail. A ordem das tarefas, a coordenação entre máquinas e o histórico de execução ficam por sua conta.
  • A automação de fluxos de trabalho conecta aplicativos em resposta a eventos, com n8n ou Zapier por exemplo, ou encaminha aprovações entre pessoas. A automação robótica de processos (RPA) opera a interface de um aplicativo como uma pessoa faria. A WLA executa tarefas nos servidores que sustentam esses aplicativos.
  • Se duas execuções do cron se sobrepõem, use um bloqueio como flock ou ajuste a tarefa. A sobreposição, por si só, não justifica comprar um produto de WLA.

O que é automação de cargas de trabalho?

A automação de cargas de trabalho (WLA) usa software para executar tarefas de TI na ordem correta, em várias máquinas e a partir de um ponto central. Exemplos incluem cargas noturnas de dados, transferências de arquivos e processamento em lote de ERP. O software inicia tarefas conforme um horário ou evento, espera o sucesso das dependências, tenta novamente quando há falhas, registra o histórico e alerta em caso de falha ou demora excessiva.

Para um agendador, uma dependência é uma condição sobre o resultado: execute a carga apenas se a exportação tiver sucesso e avise o responsável de plantão se ela falhar. O intervalo entre os horários representa apenas uma estimativa da duração da primeira tarefa. Além dessa função básica, os produtos de WLA costumam compartilhar vários recursos:

  • Dependências entre tarefas, inclusive caminhos alternativos quando há falha
  • Acionamento por horário, calendário comercial (somente dias úteis, sem feriados) ou evento, como a chegada de um arquivo
  • Execução remota por agentes instalados, conexões sem agente ou integrações de serviços, conforme o produto e o destino
  • Novas tentativas, limites de tempo e encerramento de tarefas travadas
  • Histórico que indica o que foi executado, onde, quando, por quanto tempo e com qual código de saída
  • Alertas de falha, de duração acima do limite configurado e de risco de perder o prazo de conclusão exigido pelo SLA
  • Recuperação de execuções perdidas, para que uma tarefa agendada durante a indisponibilidade de um host seja executada quando ele voltar

A IBM descreve o IBM Workload Automation como uma plataforma para coordenar tarefas autônomas e acionadas por eventos em ambientes híbridos. Na prática, um único agendador inicia tarefas automaticamente, por horário ou evento, em mainframes, máquinas locais e na nuvem. A descrição reflete os recursos do produto, mas os termos dificultam a comparação com as tarefas que você já executa no cron. Control-M da BMC, AutoSys, Redwood RunMyJobs, ActiveBatch, Tidal e JAMS também usam essa denominação.

Comparação entre automação de cargas de trabalho, cron, automação de fluxos de trabalho e RPA

As quatro abordagens diferem no que as aciona, no que executam e em onde são executadas. O cron inicia um comando em horário marcado em uma máquina. A automação de cargas de trabalho executa tarefas em vários servidores, acionadas por tempo, eventos ou resultados de outras tarefas. A automação de fluxos de trabalho chama APIs de aplicativos ou aguarda pessoas. A RPA combina ações na interface com chamadas de API.

Aspecto Cron Automação de cargas de trabalho Automação de fluxos de trabalho RPA
O que aciona a execução Um horário Horários, calendários, eventos e resultados de outras tarefas Eventos de aplicativos, envio de formulários e agendamentos Um horário, um evento ou uma pessoa
Unidade de trabalho Um comando Uma tarefa em um host: script, lote, transferência ou tarefa de ERP Uma etapa que chama a API de um aplicativo Uma sequência gravada de ações na interface e chamadas de API
Onde é executado Uma máquina Vários hosts e serviços sob controle central, via agentes, conexões sem agente ou integrações A plataforma de automação, que chama APIs de SaaS Um ambiente de execução de bots em uma sessão de desktop ou servidor
Dependências e falhas Sem tratamento integrado; a saída é enviada por e-mail Grafo de dependências, novas tentativas, alertas e histórico de execução Caminhos para erros e novas tentativas por fluxo de trabalho Tratamento de exceções por bot
Exemplos de ferramentas cron Control-M, AutoSys e IBM Workload Automation; para tarefas semelhantes: Rundeck, Dagu e Kestra n8n e Zapier; suítes de BPM para aprovações UiPath, Automation Anywhere

O cron é uma ferramenta de automação de cargas de trabalho?

Entradas independentes do cron podem carregar dados desatualizados se a exportação falhar. Com dependências configuradas, o carregamento no data warehouse espera a conclusão bem-sucedida da exportação.

Não. O cron é um agendador de tarefas por horário para uma única máquina. Segundo a página de manual do cron(8), a cada minuto o cron verifica quais tarefas devem ser executadas e envia a saída por e-mail ao proprietário do crontab. Cabe ao operador organizar a ordem das tarefas, coordenar hosts, manter o histórico e emitir alertas.

A página de manual do crontab(5) acrescenta que MAILTO="" desativa esses e-mails, inclusive quando a tarefa falha. O exemplo mostra uma exportação à 01:00 e uma carga às 02:00, seguidas pela solução alternativa habitual:

# BEFORE: illustration only; do not install these commented entries.
# 0 1 * * * /opt/jobs/export-orders.sh
# 0 2 * * * /opt/jobs/load-warehouse.sh

# AFTER: replace both old entries with this single entry.
# The load runs only if the export exits successfully.
0 1 * * * /opt/jobs/export-orders.sh && /opt/jobs/load-warehouse.sh

A linha com && se parece com uma dependência, mas está limitada a um host e a um código de saída. Isso deixa cinco lacunas. Fora dessa linha, não há como executar uma tarefa se X tiver sucesso ou executar Y se X falhar. Não há coordenação entre hosts, portanto a carga no servidor do data warehouse não pode esperar o servidor do banco de dados exportar. O histórico se limita aos logs de cada script, e o alerta se resume à saída enviada por e-mail, que pode passar despercebida. O cron(8) também não repete uma entrada cujo horário passou com a máquina desligada. O manual observa que as tarefas diárias, semanais e mensais do sistema, antes em /etc/crontab, agora são executadas por padrão pela ferramenta separada anacron. Arquivos marcadores, scripts intermediários e cadeias com && ajudam a contornar essas lacunas.

A BMC apresenta a distinção do ponto de vista do fornecedor em seu artigo sobre agendamento de tarefas e WLA. Ela descreve o agendamento como execução de lotes em uma plataforma e a automação de cargas de trabalho como coordenação central de tarefas dependentes em vários servidores e ambientes. A BMC cita o Agendador de Tarefas do Windows como exemplo de ferramenta incluída nos principais sistemas operacionais. O cron desempenha papel semelhante no Linux e no Unix. A diferença é o alcance: uma plataforma ou várias, com dependências entre elas.

Quais recursos de WLA você já tem sem uma ferramenta dedicada

Três ferramentas comuns oferecem parte dos recursos da WLA. Um temporizador de calendário do systemd (OnCalendar=) com Persistent=true recupera uma execução perdida enquanto a máquina estava desligada. Um CronJob do Kubernetes com concurrencyPolicy: Forbid pula uma execução quando a anterior ainda está ativa. flock impede que duas instâncias da mesma tarefa do cron se sobreponham. Nenhuma delas exige um produto de WLA.

O manual de systemd.timer diz que Persistent=true grava no disco o último horário de acionamento e ativa a unidade de serviço imediatamente se ela devesse ter sido acionada pelo menos uma vez durante a inatividade do temporizador. É possível recuperar com uma única ativação as execuções de calendário perdidas naquele host. Em troca, é preciso manter dois arquivos de unidade em vez de uma linha de crontab. Uma comparação entre cron e temporizadores do systemd mostra o que essa configuração adicional oferece.

A documentação de CronJob do Kubernetes informa que Allow é o padrão de concurrencyPolicy e permite que as duas instâncias sejam executadas. Forbid ignora a nova execução, e Replace substitui a tarefa em andamento pela nova. Fora do Kubernetes, flock(1) gerencia bloqueios em scripts de shell e mantém o bloqueio durante a execução do comando. Com -n, a segunda instância falha em vez de esperar. Assim, */5 * * * * flock -n /tmp/sync.lock /opt/jobs/sync.sh evita sobrepor duas sincronizações.

Para resolver sobreposições ou filas de execução, use um bloqueio ou ajuste a própria tarefa. Trocar de agendador não resolve o problema. Se uma tarefa executada a cada cinco minutos às vezes demora dez, ela precisa do dobro do tempo reservado. O bloqueio impede o acúmulo. Para resolver o restante, acelere a tarefa, forneça mais recursos ou execute-a com menos frequência. Um produto de WLA muda onde o excesso de duração é informado, sem eliminá-lo. Em uma discussão no r/sysadmin sobre tarefas do cron que se sobrepõem, a resposta com mais votos recomenda verificar um bloqueio, flock aparece repetidamente e uma resposta resume a função do agendador: “O cron executa comandos. E faz isso muito bem.”

Nenhuma das três ferramentas oferece um grafo de dependências entre hosts ou um histórico de execução centralizado. Esses dois recursos podem justificar o custo de uma ferramenta de WLA.

Como a automação de cargas de trabalho difere da automação de fluxos de trabalho

A diferença está no que é executado e em onde isso acontece, independentemente de haver participação humana. A primeira executa scripts, cargas de dados e transferências de arquivos nos servidores. A segunda encadeia APIs de aplicativos, como num fluxo do n8n ou Zapier que cria um registro de CRM ao receber um formulário, ou encaminha aprovações por meio de uma ferramenta de gestão de processos de negócio (BPM).

O termo abrange três coisas. A primeira é a automação de cargas de trabalho. A segunda é a automação baseada em integrações. A documentação do n8n descreve o produto como uma ferramenta de automação de fluxos sob licença fair-code que combina recursos de IA com automação de processos de negócio. O n8n e as outras alternativas auto-hospedadas ao Zapier ligam um acionador de um aplicativo a chamadas para outros. A terceira é a BPM, na qual formulários e sequências de aprovação seguram cada etapa até que alguém tome uma ação.

A Stonebranch, fornecedora de WLA, usa a participação humana como critério. Em uma comparação de 2022, ela afirma que as etapas da automação de fluxos de trabalho costumam passar de uma pessoa para outra, como em aprovações, enquanto as tarefas de WLA geralmente não exigem esse tipo de interação. O critério funciona para BPM. Porém, um fluxo do n8n que copia pedidos de uma loja para uma planilha também dispensa interação humana. Pelo mesmo critério, ele ficaria na categoria de um lote de mainframe. Por isso, a divisão aqui se baseia no que roda: tarefas de infraestrutura, chamadas entre aplicativos ou etapas que esperam pessoas.

A palavra “fluxo de trabalho”, sozinha, não distingue as ferramentas. A BMC apresenta o Control-M como uma forma de “orquestrar fluxos de trabalho essenciais para o negócio” em mainframes e em ambientes de nuvem, distribuídos e SaaS. A documentação do Apache Airflow descreve o Airflow como uma plataforma para desenvolver, agendar e monitorar fluxos de trabalho.

As ferramentas têm alguns acionadores em comum. Os fluxos do n8n podem começar em horários programados. Um ambiente auto-hospedado para publicar em redes sociais, por exemplo, usa o Schedule Trigger algumas vezes por dia. Agendadores de cargas de trabalho também podem iniciar tarefas em resposta a eventos, como a chegada de um arquivo.

Como a automação de cargas de trabalho difere da RPA

A automação de cargas de trabalho executa tarefas nos servidores, por trás da interface do aplicativo. A automação robótica de processos (RPA) atua na interface: bots clicam, digitam e copiam valores como uma pessoa faria. A RPA também pode chamar APIs. Operar a interface do usuário é o que a diferencia.

A explicação da RPA da IBM trata das duas funções: a RPA combina APIs e interações com interfaces de usuário para integrar aplicativos empresariais e de produtividade e realizar tarefas repetitivas entre eles. A UiPath, fornecedora de RPA, destaca a tela e descreve bots que interagem com telas e sistemas “imitando ações humanas”. A Stonebranch descreve a diferença pela perspectiva da WLA: a WLA gerencia processos internos e fluxos de dados, enquanto a RPA costuma automatizar tarefas humanas na interface. Se o aplicativo oferece uma API ou uma interface de processamento em lote, uma tarefa agendada pode chamá-la diretamente. A RPA é útil quando a tela é a única via de acesso ao sistema.

Onde Airflow, Rundeck, Kestra e Dagu se encaixam

Algumas ferramentas de código aberto cumprem funções de WLA sem usar o termo. Elas executam tarefas agendadas e dependentes, com novas tentativas e histórico. Apresentam-se como orquestradores, ferramentas de automação de procedimentos operacionais ou mecanismos de fluxo de trabalho. O Apache Airflow se concentra em pipelines de dados. Rundeck, Kestra e Dagu atendem a tarefas operacionais e de agendamento geral.

Como cada projeto se descreve:

  • Airflow: “Os fluxos de trabalho do Airflow são definidos inteiramente em Python”, para tarefas como pipelines de dados em lote, aprendizado de máquina e treinamento de modelos (Apache-2.0).
  • Rundeck: serviço de código aberto que automatiza procedimentos operacionais em um conjunto de nós, com console web, ferramentas de linha de comando e uma API web (Apache-2.0).
  • Kestra: plataforma de orquestração e agendamento orientada a eventos (Apache-2.0).
  • Dagu: transforma scripts e procedimentos operacionais existentes em fluxos de produção com agendamento, novas tentativas, tarefas humanas e histórico de execução. As tarefas são definidas em YAML (GPL-3.0).

Em suas perguntas frequentes sobre WLA, a Stonebranch diz que as ferramentas da classe do Airflow são voltadas a fluxos de engenharia de dados e que uma plataforma de WLA pode iniciar e gerenciar tarefas do Airflow em um ambiente maior. É a visão de um fornecedor, mas combina com a descrição do próprio Airflow, focada em dados. Para uma equipe de operações, a diferença prática está em como as tarefas são definidas e em quem pode mantê-las. Em uma discussão no r/sysadmin em busca de um Control-M gratuito, o autor rejeitou os DAGs do Airflow em Python e manifestou a mesma preocupação sobre o Kestra. Isso reflete a experiência de uma equipe, mas o Kestra agora oferece um editor sem código para criar fluxos por formulários sem escrever YAML. Avalie se o ambiente de criação atual atende às pessoas que vão manter as tarefas.

O que aconteceu com o Magic Quadrant de automação de cargas de trabalho?

O Gartner agora cobre o mercado como plataformas de orquestração e automação de serviços (SOAP). Segundo o anúncio da BMC, o primeiro Magic Quadrant de SOAP saiu em setembro de 2024. A BMC resume a definição do Gartner como uma combinação de orquestração de fluxos de trabalho, automação de cargas de trabalho e provisionamento de recursos. A automação de cargas de trabalho continua no centro da execução das tarefas em uma plataforma SOAP.

O Gartner já tinha um Magic Quadrant de automação de cargas de trabalho. A SOS GmbH, empresa responsável pelo JobScheduler, anunciou sua inclusão nesse relatório, publicado em fevereiro de 2012 pelo Gartner.

Uma suíte como o Control-M agora aparece no quadrante de SOAP e se apresenta como uma ferramenta de orquestração de fluxos de trabalho. Na leitura do autor, a categoria se ampliou, mas o mecanismo de execução continua no centro. Quando um fornecedor destaca SOAP, é razoável esperar um agendador de cargas de trabalho no núcleo da oferta.

Como escolher a ferramenta certa para as suas tarefas

Diagrama para escolher um agendador para tarefas em um único host, tarefas operacionais dependentes, pipelines de dados e automação corporativa de cargas de trabalho.

A natureza das tarefas determina o tipo de ferramenta. Para tarefas independentes em uma máquina, basta o cron ou um temporizador do systemd. Tarefas dependentes em alguns hosts, com necessidade de histórico e alertas, podem usar um agendador ou orquestrador de código aberto. Suítes de WLA corporativa atendem ambientes de toda a organização com calendários comerciais, lotes de ERP e exigências de auditoria.

No primeiro nível, use flock em tarefas que possam ultrapassar a duração prevista e Persistent=true em temporizadores OnCalendar= que recuperam execuções após uma interrupção. No nível intermediário, Rundeck, Kestra e Dagu servem para um conjunto de tarefas do cron que só precisam ser executadas na ordem correta. Para pipelines de dados, cabe um orquestrador como o Airflow. O nível mais alto inclui calendários de fechamento do mês, tarefas de mainframe e ERP e registros de cada execução para auditores. Control-M, AutoSys e outras suítes corporativas de WLA e SOAP são voltados a esses ambientes.

A quantidade de tarefas diz pouco sobre quando mudar de ferramenta. Sinais melhores são uma tarefa que espera o resultado de outra em uma máquina diferente ou uma manhã em que ninguém sabe o que foi executado à noite sem acessar cada servidor. Encadear por intervalos custa pouco até a primeira vez que a ordem falha. Então é preciso repetir a carga, localizar relatórios que usaram dados desatualizados e explicar os números. Comece listando as tarefas agendadas, marcando as que dependem do resultado de outra e estimando quanto levaria para descobrir o que foi executado em cada host. Se a coluna de dependências estiver vazia e um minuto for suficiente, o cron já é a ferramenta certa.

Perguntas frequentes

O Apache Airflow é uma ferramenta de automação de cargas de trabalho?

O Apache Airflow executa pipelines de dados em Python, como cargas em lote, aprendizado de máquina e treinamento de modelos, em tarefas agendadas e dependentes, com histórico de execução. É um uso típico de WLA por equipes de dados. A documentação do Airflow, porém, o descreve como uma plataforma de fluxos de trabalho e não usa a denominação de automação de cargas de trabalho.

Quais são alguns exemplos de automação de cargas de trabalho?

Uma exportação noturna do banco de dados seguida por uma carga em outro servidor, uma transferência de arquivos para um parceiro no fim do dia, o processamento em lote do ERP no fechamento do mês e uma cadeia de backup que verifica cada cópia antes da próxima etapa. Uma ferramenta de WLA pode agendar cada tarefa e reter etapas dependentes até a conclusão bem-sucedida dos pré-requisitos.

O que significa SOAP na automação de cargas de trabalho?

Aqui SOAP significa Service Orchestration and Automation Platform, ou plataforma de orquestração e automação de serviços, a denominação atual do Gartner para essa categoria. No resumo da BMC, a categoria combina automação de cargas de trabalho, orquestração de fluxos de trabalho e provisionamento de recursos. Ela não tem relação com SOAP, o padrão de mensagens XML para serviços web publicado pelo W3C.

Automação de cargas de trabalho é o mesmo que agendamento de tarefas?

Os conceitos são próximos. A BMC observa que os principais sistemas operacionais incluem um agendador para tarefas na própria máquina, como o Agendador de Tarefas do Windows. No Linux, o cron cumpre esse papel. A automação de cargas de trabalho entra quando tarefas em servidores diferentes dependem umas das outras. Para a BMC, a distinção é entre coordenar uma plataforma e coordenar várias.

Partilhar

Discussão

Comentários

Inicie sessão para participar na discussão.

Mais do blogue

Continue a ler.

Pronto para implantar? A partir de $2,48/mês.

Cloud independente, desde 2008. AMD EPYC, NVMe, 40 Gbps. Reembolso em 14 dias.