Wyobraź sobie dwa wiersze w pliku crontab: eksport zaczyna się o 01:00, a ładowanie do hurtowni danych o 02:00. Godzinna przerwa to jedyne zabezpieczenie, które ma sprawić, że ładowanie zacznie się po eksporcie. Jeśli pewnej nocy eksport potrwa dłużej lub zakończy się błędem w połowie, ładowanie i tak ruszy o 02:00, odczyta wczorajszy plik i zakończy się bez błędu. Jeśli nikt nie przeczyta wiadomości o błędzie eksportu, problem pozostanie niezauważony. Według crona oba zadania ruszyły o czasie.
Automatyzacja obciążeń pozwala wstrzymać ładowanie do hurtowni do czasu pomyślnego zakończenia eksportu. Termin pojawia się przede wszystkim na stronach dostawców i w działach IT przedsiębiorstw, w kontekście produktów takich jak Control-M i AutoSys. Część słownictwa jest wspólna z automatyzacją przepływów pracy i robotyzacją procesów. Narzędzia różnią się tym, co wykonują i co uruchamia wykonanie.
Krótka wersja
- Automatyzacja obciążeń (WLA) uruchamia zależne zadania IT na wielu serwerach z jednego miejsca, na przykład ładowanie danych, przesyłanie plików i zadania wsadowe ERP. Zapewnia ponawianie prób, historię wykonań i alerty o błędach.
- Cron uruchamia polecenie w zaplanowanej minucie na jednym komputerze i przesyła jego wyjście pocztą. Kolejność zadań, koordynację między hostami i historię wykonań zapewniasz samodzielnie.
- Automatyzacja przepływów pracy łączy aplikacje w odpowiedzi na zdarzenia, na przykład w n8n lub Zapierze, albo przekazuje prośby o zatwierdzenie. Robotyzacja procesów (RPA) obsługuje interfejs aplikacji tak, jak zrobiłby to człowiek. WLA wykonuje zadania na serwerach, na których działają te aplikacje.
- Jeśli uruchomienia crona się nakładają, użyj blokady takiej jak
flocklub zmień konstrukcję zadania. Samo nakładanie się wykonań nie uzasadnia zakupu narzędzia WLA.
Co to jest automatyzacja obciążeń?
Automatyzacja obciążeń (WLA) wykorzystuje oprogramowanie do uruchamiania z jednego miejsca zadań IT we właściwej kolejności na wielu komputerach. Przykłady to nocne ładowanie danych, przesyłanie plików i zadania wsadowe ERP. Oprogramowanie uruchamia zadania według harmonogramu lub zdarzenia, czeka na pomyślne wykonanie zadań warunkujących, ponawia nieudane próby, zapisuje historię i sygnalizuje błędy lub przekroczenie czasu.
Dla harmonogramu zależność to reguła dotycząca wyniku: uruchom ładowanie tylko po udanym eksporcie, a jeśli eksport się nie uda, powiadom osobę dyżurującą. Odstęp czasowy odzwierciedla jedynie szacowany czas trwania pierwszego zadania. Poza tą podstawową funkcją produkty WLA często oferują podobne możliwości:
- Zależności między zadaniami, w tym odgałęzienia obsługujące błędy
- Uruchamianie według czasu, kalendarza firmowego (tylko dni robocze, z pominięciem świąt) lub zdarzenia, takiego jak pojawienie się pliku
- Zdalne wykonywanie za pomocą zainstalowanych agentów, połączeń bezagentowych lub integracji usług, zależnie od produktu i celu
- Ponawianie prób, limity czasu i kończenie zawieszonych zadań
- Historia obejmująca wykonane zadania, miejsce, czas, czas trwania i kod zakończenia
- Alerty o błędach, przekroczeniu ustalonego czasu wykonania oraz ryzyku niedotrzymania terminu wymaganego w SLA
- Nadrabianie pominiętych wykonań, aby zadanie zaplanowane w czasie awarii hosta ruszyło po jego przywróceniu
IBM opisuje IBM Workload Automation jako platformę do koordynowania zadań bezobsługowych i wyzwalanych zdarzeniami w środowiskach hybrydowych. W praktyce jeden harmonogram uruchamia zadania według czasu lub zdarzenia bez udziału człowieka, na komputerach mainframe, lokalnych i chmurowych. Opis odpowiada funkcjom produktu, ale jego słownictwo utrudnia porównanie z używanymi zadaniami crona. Terminu używają także Control-M firmy BMC, AutoSys, Redwood RunMyJobs, ActiveBatch, Tidal i JAMS.
Porównanie automatyzacji obciążeń, crona, automatyzacji przepływów pracy i RPA
Te cztery podejścia mają inne wyzwalacze, jednostki pracy i miejsca wykonania. Cron wykonuje polecenie o określonej porze na jednym komputerze. Automatyzacja obciążeń wykonuje zadania na wielu hostach w zależności od czasu, zdarzeń lub wyników innych zadań. Automatyzacja przepływów pracy wywołuje interfejsy API aplikacji lub czeka na człowieka. RPA łączy działania na ekranie z wywołaniami API.
| Aspekt | Cron | Automatyzacja obciążeń | Automatyzacja przepływów pracy | RPA |
|---|---|---|---|---|
| Co uruchamia wykonanie | Określona godzina | Czas, kalendarze, zdarzenia i wyniki innych zadań | Zdarzenia w aplikacjach, przesłanie formularza i harmonogramy | Harmonogram, zdarzenie lub osoba |
| Jednostka pracy | Polecenie | Zadanie na hoście: skrypt, przetwarzanie wsadowe, transfer lub zadanie ERP | Krok wywołujący API aplikacji | Zarejestrowana sekwencja działań w interfejsie i wywołań API |
| Miejsce działania | Jeden komputer | Wiele hostów i usług pod centralną kontrolą, za pośrednictwem agentów, połączeń bezagentowych lub integracji | Platforma automatyzacji wywołująca API usług SaaS | Środowisko uruchomieniowe bota w sesji komputerowej lub serwerowej |
| Zależności i błędy | Brak wbudowanej obsługi; wyjście jest wysyłane pocztą | Graf zależności, ponawianie prób, alerty i historia wykonań | Odgałęzienia obsługujące błędy i ponawianie prób dla każdego przepływu | Obsługa wyjątków dla każdego bota |
| Przykładowe narzędzia | cron | Control-M, AutoSys i IBM Workload Automation; dla podobnych zadań: Rundeck, Dagu i Kestra | n8n i Zapier; pakiety BPM do zatwierdzania | UiPath, Automation Anywhere |
Czy cron jest narzędziem do automatyzacji obciążeń?
Nie. Cron to harmonogram czasowy dla jednego komputera. Według podręcznika cron(8) cron sprawdza co minutę, które zadania są zaplanowane do uruchomienia, i wysyła wyjście pocztą do właściciela pliku crontab. Kolejność zadań, współpracę hostów, historię i alerty zapewnia operator.
Strona crontab(5) dodaje, że MAILTO="" wyłącza te wiadomości, również po błędzie. Poniżej jest eksport o 01:00 i ładowanie o 02:00, a następnie typowe obejście:
# BEFORE: illustration only; do not install these commented entries.
# 0 1 * * * /opt/jobs/export-orders.sh
# 0 2 * * * /opt/jobs/load-warehouse.sh
# AFTER: replace both old entries with this single entry.
# The load runs only if the export exits successfully.
0 1 * * * /opt/jobs/export-orders.sh && /opt/jobs/load-warehouse.sh
Wiersz z && przypomina zależność, ale obejmuje jednego hosta i jeden kod zakończenia. Pozostaje pięć luk. Poza tym wierszem nie ma reguł uruchomienia po udanym zadaniu X lub uruchomienia Y po błędzie X. Nie ma koordynacji między hostami, więc ładowanie na serwerze hurtowni nie może czekać na eksport na serwerze bazy danych. Historia ogranicza się do dzienników skryptów. Jedynym alertem jest wysłane pocztą wyjście, które może pozostać nieprzeczytane. Cron(8) nie nadrabia wpisu pominiętego w czasie niedostępności hosta. Podręcznik wskazuje, że codzienne, tygodniowe i miesięczne zadania systemowe, które kiedyś były w /etc/crontab, teraz domyślnie obsługuje osobny anacron. Pliki znacznikowe, skrypty opakowujące i łańcuchy z && pozwalają obejść te ograniczenia.
BMC podaje rozróżnienie z punktu widzenia dostawcy w swoim omówieniu harmonogramowania zadań i WLA. Harmonogramowanie wykonuje wsady na jednej platformie, a automatyzacja obciążeń centralnie koordynuje zależne zadania na różnych serwerach i w różnych środowiskach. BMC podaje Harmonogram zadań systemu Windows jako przykład narzędzia dostarczanego przez popularne systemy operacyjne. Cron pełni podobną funkcję w Linuksie i Uniksie. Różnica dotyczy zakresu: jednej platformy lub wielu platform z zależnościami między nimi.
Funkcje WLA dostępne bez osobnego narzędzia
Trzy popularne narzędzia pokrywają część funkcji WLA. Kalendarzowy timer systemd (OnCalendar=) z Persistent=true nadrabia wykonanie pominięte po wyłączeniu komputera. Kubernetes CronJob z concurrencyPolicy: Forbid pomija wykonanie, gdy poprzednie nadal trwa. flock zapobiega nakładaniu się dwóch instancji zadania crona. Żadne z nich nie wymaga produktu WLA.
Według podręcznika systemd.timer opcja Persistent=true zapisuje czas ostatniego wyzwolenia na dysku. Jednostka usługi jest uruchamiana natychmiast, jeśli powinna była uruchomić się co najmniej raz w czasie bezczynności timera. Na hoście następuje jedno uruchomienie nadrabiające pominięte terminy kalendarzowe. Wymaga to dwóch plików jednostek zamiast wiersza w crontab. Porównanie crona i timerów systemd pokazuje, co daje dodatkowa konfiguracja.
Dokumentacja Kubernetes CronJob podaje, że Allow jest wartością domyślną concurrencyPolicy i pozwala uruchomić obie instancje. Forbid pomija nowe wykonanie, a Replace zastępuje trwające zadanie nowym. Poza Kubernetes flock(1) zarządza blokadami ze skryptów powłoki i utrzymuje blokadę przez cały czas wykonywania polecenia. Przy -n druga instancja kończy się błędem zamiast czekać. Dlatego */5 * * * * flock -n /tmp/sync.lock /opt/jobs/sync.sh zapobiega jednoczesnym synchronizacjom.
Nakładanie się lub spiętrzanie wykonań rozwiązuje się blokadą lub zmianą zadania. Zmiana harmonogramu nie rozwiązuje problemu. Zadanie uruchamiane co pięć minut, które czasami trwa dziesięć, potrzebuje dwukrotnie więcej czasu, niż mu przydzielono. Blokada zapobiega narastaniu kolejki. Następnie przyspiesz zadanie, przydziel mu więcej zasobów lub uruchamiaj je rzadziej. WLA zmieni miejsce zgłoszenia przekroczenia czasu, lecz go nie wyeliminuje. W wątku r/sysadmin o nakładających się zadaniach crona najwyżej oceniona odpowiedź sugeruje sprawdzenie blokady, flock pojawia się wielokrotnie, a jedna odpowiedź podsumowuje rolę harmonogramu: „Cron wykonuje polecenia. Robi to bardzo dobrze”.
Żadne z tych trzech narzędzi nie zapewnia grafu zależności między hostami ani centralnej historii. Te funkcje mogą uzasadniać koszt narzędzia WLA.
Czym automatyzacja obciążeń różni się od automatyzacji przepływów pracy
Różnica dotyczy tego, co i gdzie jest wykonywane, niezależnie od udziału człowieka. Automatyzacja obciążeń wykonuje skrypty, ładowanie danych i przesyłanie plików na serwerach. Automatyzacja przepływów pracy łączy API aplikacji, na przykład w przepływie n8n lub Zapiera, który tworzy rekord CRM z przesłanego formularza, lub przekazuje zatwierdzenia w narzędziu do zarządzania procesami biznesowymi (BPM).
Słowo automatyzacja ma tu trzy zastosowania. Pierwsze to WLA. Drugie to automatyzacja oparta na integracjach. Dokumentacja n8n opisuje n8n jako narzędzie z licencją fair-code, które łączy funkcje AI z automatyzacją procesów biznesowych. n8n i inne samodzielnie hostowane alternatywy dla Zapiera wiążą zdarzenie w jednej aplikacji z wywołaniami innych. Trzecie zastosowanie to BPM, w którym formularze i łańcuchy zatwierdzeń wstrzymują każdy krok do działania człowieka.
Stonebranch, dostawca WLA, stosuje kryterium udziału ludzi. W porównaniu z 2022 roku stwierdza, że automatyzacja przepływów zwykle przekazuje kroki między ludźmi, na przykład w celu zatwierdzenia, a zadania WLA zazwyczaj tego nie wymagają. Kryterium działa w przypadku BPM. Jednak przepływ n8n kopiujący zamówienia ze sklepu do arkusza kalkulacyjnego też nie wymaga udziału człowieka. Według tego kryterium trafiłby do tej samej grupy co zadanie wsadowe na mainframe. Dlatego rozróżnienie opiera się tu na rodzaju pracy: zadania infrastruktury, wywołania między aplikacjami lub kroki czekające na ludzi.
Samo słowo „przepływ” nie rozróżnia narzędzi. BMC przedstawia Control-M jako sposób na „orkiestrację kluczowych przepływów biznesowych” na mainframe i w środowiskach chmurowych, rozproszonych i SaaS. Dokumentacja Apache Airflow opisuje Airflow jako platformę do tworzenia, planowania i monitorowania przepływów.
Niektóre wyzwalacze są wspólne. Przepływy n8n mogą zaczynać się według harmonogramu. Przykładowe samodzielnie hostowane rozwiązanie do publikacji w mediach społecznościowych używa Schedule Trigger kilka razy dziennie. Harmonogramy WLA mogą też uruchamiać zadania po zdarzeniach, takich jak pojawienie się pliku.
Czym automatyzacja obciążeń różni się od RPA
Automatyzacja obciążeń wykonuje zadania na serwerach za interfejsem aplikacji. Robotyzacja procesów (RPA) działa w interfejsie: boty klikają, wpisują i kopiują wartości jak człowiek. RPA może również wywoływać API. Wyróżnia ją obsługa interfejsu użytkownika.
Omówienie RPA firmy IBM uwzględnia oba elementy: RPA łączy API i interakcje z interfejsem użytkownika, by integrować aplikacje biznesowe i narzędzia pracy oraz wykonywać między nimi powtarzalne zadania. Dostawca RPA UiPath kładzie nacisk na ekran i opisuje boty obsługujące ekrany oraz systemy „przez naśladowanie ludzkich działań”. Stonebranch opisuje podział od strony WLA: WLA obsługuje procesy zaplecza i przepływy danych, a RPA zazwyczaj automatyzuje ludzkie czynności w interfejsie. Jeśli aplikacja udostępnia API lub interfejs wsadowy, zaplanowane zadanie może go wywołać bezpośrednio. RPA sprawdza się, gdy ekran jest jedynym sposobem obsługi systemu.
Gdzie pasują Airflow, Rundeck, Kestra i Dagu
Kilka narzędzi open source wykonuje zadania typowe dla WLA bez używania tego terminu. Obsługują zaplanowane i zależne zadania, ponawianie prób i historię wykonań. Określają się jako orkiestratory, automatyzacja instrukcji operacyjnych lub silniki przepływów pracy. Apache Airflow skupia się na potokach danych. Rundeck, Kestra i Dagu nadają się do zadań operacyjnych i ogólnego planowania.
Jak opisują się poszczególne projekty:
- Airflow: „Przepływy pracy Airflow są definiowane w całości w Pythonie”, m.in. do wsadowych potoków danych, uczenia maszynowego i trenowania modeli (Apache-2.0).
- Rundeck: usługa open source do automatyzacji instrukcji operacyjnych na wielu węzłach, z konsolą WWW, narzędziami wiersza poleceń i interfejsem Web API (Apache-2.0).
- Kestra: platforma orkiestracji i planowania wyzwalanego zdarzeniami (Apache-2.0).
- Dagu: zamienia skrypty i instrukcje operacyjne w produkcyjne przepływy pracy z planowaniem, ponawianiem prób, zadaniami dla ludzi i historią wykonań. Zadania są definiowane w YAML (GPL-3.0).
Stonebranch pisze w swoich odpowiedziach na pytania o WLA, że narzędzia klasy Airflow są projektowane dla przepływów inżynierii danych, a WLA może wyzwalać i obsługiwać zadania Airflow w większym środowisku. To perspektywa dostawcy, ale zgadza się z przedstawianym przez Airflow ukierunkowaniem na dane. Dla zespołu operacyjnego liczy się sposób definiowania zadań i to, kto może je utrzymywać. W wątku r/sysadmin o darmowym odpowiedniku Control-M autor odrzucił DAG-i pisane w Pythonie dla Airflow i wyraził podobne obawy co do Kestry. To doświadczenie jednego zespołu. Kestra oferuje już edytor bez kodu, który pozwala budować przepływy za pomocą formularzy bez pisania YAML. Sprawdź, czy aktualny sposób tworzenia odpowiada osobom utrzymującym zadania.
Co się stało z raportem Magic Quadrant dla automatyzacji obciążeń?
Gartner opisuje teraz ten rynek jako platformy orkiestracji i automatyzacji usług (SOAP). Zgodnie z ogłoszeniem BMC pierwszy raport Magic Quadrant dla SOAP opublikowano we wrześniu 2024 roku. BMC streszcza definicję Gartnera jako połączenie orkiestracji przepływów, automatyzacji obciążeń i udostępniania zasobów. Automatyzacja obciążeń nadal odpowiada w SOAP za wykonywanie zadań.
Wcześniej istniał raport Gartner Magic Quadrant dla automatyzacji obciążeń. SOS GmbH, firma odpowiedzialna za JobScheduler, poinformowała o umieszczeniu jej w tym raporcie, opublikowanym przez Gartnera w lutym 2012 roku.
Pakiet taki jak Control-M trafia dziś do kwadrantu SOAP i jest promowany jako narzędzie orkiestracji przepływów. Zdaniem autora kategoria analityczna się poszerzyła, a jej podstawą pozostało wykonywanie zadań. Jeśli dostawca stawia na nazwę SOAP, w centrum jego oferty można się spodziewać harmonogramu obciążeń.
Dobór narzędzia do zadań
Rodzaj zadań określa klasę narzędzia. Niezależne zadania na jednym hoście obsłuży cron lub timer systemd. Przy zależnych zadaniach na kilku hostach, które wymagają historii i alertów, sprawdzi się harmonogram lub orkiestrator open source. Środowiska obejmujące całą organizację i wymagające kalendarzy firmowych, zadań wsadowych ERP i audytu to zakres korporacyjnych pakietów WLA.
Na pierwszym poziomie użyj flock przy zadaniach, które mogą potrwać dłużej, i Persistent=true w timerach OnCalendar= nadrabiających wykonania po przerwie. Na kolejnym poziomie Rundeck, Kestra i Dagu pasują do grupy zadań crona, które wystarczy wykonać we właściwej kolejności. Do potoków danych nadaje się orkiestrator klasy Airflow. Najwyższy poziom obejmuje harmonogramy zamknięcia miesiąca, zadania na mainframe i ERP oraz audyt wymagający zapisu każdego wykonania. Control-M, AutoSys i inne korporacyjne pakiety WLA i SOAP są kierowane do takich środowisk.
Liczba zadań niewiele mówi o potrzebie zmiany narzędzia. Lepszym sygnałem jest zadanie czekające na wynik innego na drugiej maszynie albo poranek, gdy bez logowania na każdym hoście nikt nie wie, co działało w nocy. Łączenie zadań odstępami czasowymi jest tanie, dopóki nie ruszą w złej kolejności. Wtedy trzeba powtórzyć ładowanie, znaleźć raporty ze starymi danymi i wyjaśnić liczby. Wypisz zaplanowane zadania, wskaż zależne od wyników innych i oszacuj czas potrzebny na sprawdzenie wykonań na każdym hoście. Jeśli kolumna zależności pozostaje pusta, a sprawdzenie zajmuje minutę, cron już jest odpowiednim narzędziem.
Najczęstsze pytania
Czy Apache Airflow jest narzędziem do automatyzacji obciążeń?
Apache Airflow wykonuje potoki danych napisane w Pythonie, w tym wsadowe ładowanie, uczenie maszynowe i trenowanie modeli, jako zależne, zaplanowane zadania z historią wykonań. Dla zespołów danych są to zadania typowe dla WLA. Dokumentacja przedstawia jednak Airflow jako platformę przepływów pracy i nie używa określenia „automatyzacja obciążeń”.
Jakie są przykłady automatyzacji obciążeń?
Nocny eksport bazy danych z następującym po nim ładowaniem na innym serwerze, przekazanie pliku partnerowi pod koniec dnia, wsadowe zadania ERP na zamknięcie miesiąca i łańcuch kopii zapasowych, w którym każda kopia jest sprawdzana przed następnym krokiem. Narzędzie WLA może zaplanować każde zadanie i wstrzymać kroki zależne do czasu pomyślnego wykonania zadania warunkującego.
Co oznacza SOAP w automatyzacji obciążeń?
SOAP oznacza tu Service Orchestration and Automation Platform, czyli platformę orkiestracji i automatyzacji usług. To aktualna nazwa tej kategorii u Gartnera. Według streszczenia BMC obejmuje automatyzację obciążeń, orkiestrację przepływów pracy i udostępnianie zasobów. Nie ma związku z SOAP, standardem komunikatów XML dla usług WWW opublikowanym przez W3C.
Czy automatyzacja obciążeń to to samo co harmonogramowanie zadań?
Pojęcia są zbliżone. BMC zwraca uwagę, że główne systemy operacyjne mają harmonogram zadań na danym komputerze, na przykład Harmonogram zadań systemu Windows. W Linuksie tę rolę pełni cron. Automatyzacja obciążeń jest potrzebna, gdy zadania na różnych serwerach zależą od siebie. Według BMC rozróżnienie dotyczy jednej platformy lub wielu.
Dyskusja
Komentarze
Zaloguj się, aby dołączyć do dyskusji.