Képzeljen el két sort egy crontab fájlban: az export 01:00-kor, az adattárház betöltése 02:00-kor indul. Az egyórás különbség az egyetlen biztosíték arra, hogy a betöltés az export után következik. Ha egy éjjel az export elhúzódik vagy félúton meghiúsul, a betöltés akkor is elindul 02:00-kor, beolvassa a tegnapi fájlt, majd hiba nélkül befejeződik. Ha senki nem olvassa el az export hibaüzenetét, a gond észrevétlen marad. A cron szempontjából mindkét feladat időben indult.
Az IT-terhelések automatizálása az export sikeres befejezéséig várakoztathatja az adattárházi betöltést. A kifejezés főként a szállítók oldalain és vállalati IT-környezetben szerepel, például a Control-M és az AutoSys kapcsán. A szóhasználat részben közös a munkafolyamat-automatizálással és a robotizált folyamatautomatizálással. A különbség abban áll, melyik eszköz mit futtat és hogyan indítja el.
A rövid verzió
- Az IT-terhelések automatizálása (WLA) több kiszolgálón, egy helyről futtat egymástól függő informatikai feladatokat, például adatbetöltést, fájlátvitelt és ERP-kötegelt feldolgozást. Újrapróbálkozást, futási előzményeket és hibariasztásokat biztosít.
- A cron a megadott percben elindít egy parancsot egy gépen, és e-mailben elküldi a kimenetét. A feladatok sorrendjéről, a gépek közötti koordinációról és a futási előzményekről az üzemeltető gondoskodik.
- A munkafolyamat-automatizálás események hatására összekapcsolja az alkalmazásokat, például az n8n vagy a Zapier segítségével, illetve jóváhagyásokat továbbít embereknek. A robotizált folyamatautomatizálás (RPA) úgy kezeli az alkalmazás felületét, mint egy ember. A WLA az alkalmazások mögötti kiszolgálókon futtat feladatokat.
- Átfedő cron-futásoknál használjon zárolást, például a
flockeszközt, vagy módosítsa a feladatot. Önmagában az átfedés miatt nem kell WLA-terméket vásárolni.
Mi az IT-terhelések automatizálása?
Az IT-terhelések automatizálása (WLA) szoftverrel futtat informatikai feladatokat a megfelelő sorrendben több gépen, egy helyről. Ilyen az éjszakai adatbetöltés, a fájlátvitel és az ERP kötegelt feldolgozása. A szoftver ütemezés vagy esemény alapján indít, megvárja az előfeltételként megadott feladatok sikerét, újrapróbálja a sikertelen futásokat, megőrzi az előzményeket és jelez hiba vagy időtúllépés esetén.
Az ütemezőben a függőség az eredményre vonatkozó szabály: a betöltés csak sikeres export után induljon, hiba esetén pedig kapjon értesítést az ügyeletes. Egy időköz csupán becslés az első feladat futási idejére. Ezen az alapelven túl a WLA-termékek gyakran hasonló funkciókat kínálnak:
- Feladatok közötti függőségek, beleértve a hiba esetén követendő ágakat
- Indítás időpont, üzleti naptár (csak munkanapok, munkaszüneti napok nélkül) vagy esemény, például egy fájl érkezése alapján
- Távoli futtatás telepített ügynökökkel, ügynök nélküli kapcsolat vagy szolgáltatásintegráció révén, a terméktől és a céltól függően
- Újrapróbálkozás, időkorlát és a beragadt feladatok leállítása
- Előzmények arról, mi, hol és mikor futott, meddig tartott, és milyen kilépési állapottal végződött
- Riasztás hibánál, a beállított futási idő túllépésekor vagy az SLA-ban előírt teljesítési határidő veszélyeztetésekor
- Kimaradt futások pótlása, hogy a gép leállása alatt esedékessé vált feladat a gép visszatérésekor fusson
Az IBM az IBM Workload Automation terméket a felügyelet nélküli és eseményvezérelt feladatokat hibrid környezetben koordináló platformként írja le. A gyakorlatban egyetlen ütemező indít időpont vagy esemény alapján feladatokat emberi beavatkozás nélkül nagyszámítógépen, helyi gépeken és felhőkörnyezetben. A leírás megfelel a termék képességeinek, de a szóhasználat megnehezíti az összevetést a meglévő cron-feladatokkal. A BMC Control-M terméke, az AutoSys, a Redwood RunMyJobs, az ActiveBatch, a Tidal és a JAMS is használja a kifejezést.
Az IT-terhelések automatizálása, a cron, a munkafolyamat-automatizálás és az RPA összehasonlítása
A négy megközelítés abban tér el, mi indítja el őket, mit futtatnak és hol. A cron adott időpontban futtat egy parancsot egy gépen. A WLA több kiszolgálón futtat feladatokat időpont, esemény vagy más feladat eredménye alapján. A munkafolyamat-automatizálás alkalmazás-API-kat hív, vagy emberi beavatkozásra vár. Az RPA képernyőműveleteket és API-hívásokat kapcsol össze.
| Aspektus | Cron | IT-terhelések automatizálása | Munkafolyamat-automatizálás | RPA |
|---|---|---|---|---|
| Mi indítja el? | Egy időpont | Időpontok, naptárak, események és más feladatok eredményei | Alkalmazásesemények, űrlapbeküldések és ütemezések | Ütemezés, esemény vagy személy |
| Munkaegység | Egy parancs | Feladat egy gépen: szkript, kötegelt futás, átvitel vagy ERP-feladat | Egy alkalmazás API-ját hívó lépés | Felületi műveletek és API-hívások rögzített sorozata |
| Futtatási környezet | Egy gépen | Több gépen és szolgáltatásban központi vezérléssel, ügynökökkel, ügynök nélküli kapcsolatokkal vagy integrációkkal | A SaaS-API-kat hívó automatizálási platformon | Bot futtatókörnyezete asztali vagy kiszolgálói munkamenetben |
| Függőségek és hibák | Nincs beépített kezelés; e-mailben küldi el a kimenetet | Függőségi gráf, újrapróbálkozás, riasztások és futási előzmények | Hibaágak és újrapróbálkozások munkafolyamatonként | Kivételkezelés botonként |
| Példák az eszközökre | cron | Control-M, AutoSys, IBM Workload Automation; hasonló feladatokra Rundeck, Dagu és Kestra | n8n és Zapier; jóváhagyásokhoz BPM-termékek | UiPath, Automation Anywhere |
A cron IT-terheléseket automatizáló eszköz?
Nem. A cron időalapú feladatütemező egy géphez. A cron(8) kézikönyvoldala szerint a cron percenként ellenőrzi, mely feladatok esedékesek, és a kimenetet e-mailben elküldi a crontab tulajdonosának. A sorrendet, a gépek koordinációját, az előzményeket és a riasztásokat az üzemeltető kezeli.
A crontab(5) oldala hozzáteszi, hogy a MAILTO="" kikapcsolja ezt az e-mailt akkor is, ha a feladat sikertelen. Az alábbi példa 01:00-kor exportál és 02:00-kor tölt be, utána pedig a szokásos kerülőútra mutat példát:
# BEFORE: illustration only; do not install these commented entries.
# 0 1 * * * /opt/jobs/export-orders.sh
# 0 2 * * * /opt/jobs/load-warehouse.sh
# AFTER: replace both old entries with this single entry.
# The load runs only if the export exits successfully.
0 1 * * * /opt/jobs/export-orders.sh && /opt/jobs/load-warehouse.sh
A && operátort használó sor függőségnek tűnik, de csak egy gépet és egy kilépési kódot kezel. Öt hiányosság marad. Ezen a soron kívül nincs olyan szabály, hogy egy feladat X sikere után induljon, vagy X hibája esetén Y fusson. Nincs gépek közötti koordináció, így az adattárház kiszolgálóján futó betöltés nem várhat az adatbázis-kiszolgálón futó exportra. Az előzmények az egyes szkriptek naplóira korlátozódnak. A riasztás az e-mailben küldött kimenet, amit nem feltétlenül olvasnak el. A cron(8) azt a futást sem pótolja, amelynek tervezett perce a gép leállása alatt telt el. A dokumentáció szerint a korábban a /etc/crontab fájlban szereplő napi, heti és havi rendszerfeladatokat alapértelmezésben már a különálló anacron futtatja. Jelölőfájlokkal, burkolószkriptekkel és && láncokkal kerülhetők meg ezek a korlátok.
A BMC feladatütemezésről és WLA-ról szóló magyarázata a szállítói megközelítést mutatja be. Feladatütemezéskor kötegelt feldolgozás fut egy platformon. A WLA több kiszolgálón és környezetben hangolja össze a függő feladatokat. A BMC a Windows Feladatütemezőt hozza fel a nagy operációs rendszerekhez mellékelt ütemező példájaként. A cron hasonló szerepet tölt be Linuxon és Unixon. A különbség a hatókör: egy platformról van-e szó, vagy több platform közötti függőségekről is.
WLA-funkciók, amelyek külön eszköz nélkül is elérhetők
Három gyakori eszköz lefedi a WLA-funkciók egy részét. Egy systemd naptáridőzítő (OnCalendar=) a Persistent=true beállítással pótolja a kikapcsolt gépen kimaradt futást. A Kubernetes CronJob a concurrencyPolicy: Forbid beállítással kihagyja az új futást, ha az előző még tart. A flock megakadályozza ugyanazon cron-feladat két példányának egyidejű futását. Egyikhez sem kell külön WLA-termék.
A systemd.timer kézikönyve szerint a Persistent=true lemezre menti az utolsó indítás időpontját. A szolgáltatásegység azonnal elindul, ha az időzítő inaktív időszakában legalább egyszer el kellett volna indulnia. Az adott gépen így egyszeri indítás pótolja a kihagyott időpontokat. Ehhez egy crontab-sor helyett két egységfájl kell. A cron és a systemd-időzítők összevetése megmutatja, mit nyújt a többletbeállítás.
A Kubernetes CronJob dokumentációja szerint a concurrencyPolicy alapértelmezett értéke Allow, amely mindkét példányt futni engedi. A Forbid kihagyja az új futást, a Replace pedig az új feladatra cseréli a futót. A Kubernetesen kívül a flock(1) parancsértelmező-szkriptekből kezel zárolásokat, és a becsomagolt parancs futásáig fenntartja őket. A -n kapcsolóval a második példány várakozás helyett hibát jelez. Így a */5 * * * * flock -n /tmp/sync.lock /opt/jobs/sync.sh nem enged két szinkronizálást egyszerre futni.
Az átfedő és felhalmozódó futásokat zárolással vagy a feladat módosításával kezelje. Az ütemező cseréje nem oldja meg a problémát. Ha egy ötpercenként ütemezett feladat néha tíz percig tart, kétszer annyi idő kell hozzá, mint amennyit kapott. A zárolás megakadályozza a felhalmozódást. A fennmaradó problémát gyorsítással, több erőforrással vagy ritkább futtatással kezelheti. Egy WLA-termék megváltoztatja, hol jelenik meg az időtúllépés, de az időtúllépést nem szünteti meg. Az átfedő cron-feladatokról szóló r/sysadmin-beszélgetésben a legtöbb szavazatot kapott válasz zárolásellenőrzést javasol, a flock többször előkerül, és egy hozzászólás így foglalja össze a szerepet: „A cron parancsokat futtat. Ezt nagyon jól csinálja.”
A három eszköz egyike sem biztosít gépek közötti függőségi gráfot vagy központi futási előzményeket. Ez a két funkció teheti indokolttá a WLA-eszköz költségét.
Az IT-terhelések automatizálása és a munkafolyamat-automatizálás közötti különbség
A különbség az, hogy mi és hol fut, függetlenül az emberi részvételtől. Az első kiszolgálókon futtat szkripteket, adatbetöltést és fájlátvitelt. A második alkalmazás-API-kat kapcsol össze, például egy n8n- vagy Zapier-folyamat űrlapbeküldésből CRM-rekordot készít, vagy jóváhagyásokat irányít egy üzletifolyamat-kezelő (BPM) eszközben.
Az automatizálás szónak itt három használata van. Az első maga a WLA. A második az integráción alapuló automatizálás. Az n8n dokumentációja fair-code licencű munkafolyamat-automatizálási eszközként írja le az n8n-t, amely AI-funkciókat kombinál az üzleti folyamatok automatizálásával. Az n8n és a többi saját üzemeltetésű Zapier-alternatíva egy alkalmazásban bekövetkező eseményhez más alkalmazások hívásait társítja. A harmadik a BPM, ahol az űrlapok és jóváhagyási láncok emberi döntésig felfüggesztik az egyes lépéseket.
A Stonebranch WLA-szállító az emberi közreműködés alapján tesz különbséget. Egy 2022-es összevetés szerint a munkafolyamat lépései általában embertől emberig jutnak, például jóváhagyáskor, míg a WLA-feladatok többnyire nem igényelnek ilyen interakciót. Ez a BPM-nél működik. De egy webáruházi rendeléseket táblázatba másoló n8n-folyamat sem igényel embert. Ugyanezen feltétellel egy nagyszámítógépen futó kötegelt feladat mellé kerülne. Ezért itt az elvégzett munka alapján különítjük el őket: infrastruktúra-feladat, alkalmazások közötti hívás vagy emberre váró lépés.
A „munkafolyamat” szó önmagában nem tesz különbséget. A BMC úgy mutatja be a Control-M-et, mint eszközt az „üzleti szempontból kritikus munkafolyamatok vezérlésére” nagyszámítógépen, felhőben, elosztott rendszereken és SaaS-környezetben. Az Apache Airflow dokumentációja fejlesztési, ütemezési és felügyeleti munkafolyamat-platformként mutatja be az Airflow-t.
Egyes indítási módok közösek. Az n8n munkafolyamatai időzítve is indulhatnak. Egy saját üzemeltetésű közösségimédia-publikálási megoldás például naponta néhányszor futtatja a Schedule Trigger lépést. A WLA-ütemezők is indíthatnak esemény, például egy fájl beérkezése alapján.
Az IT-terhelések automatizálása és az RPA közötti különbség
A WLA kiszolgálói feladatokat futtat az alkalmazás felülete mögött. A robotizált folyamatautomatizálás (RPA) a felületen dolgozik: a botok kattintanak, gépelnek és értékeket másolnak, ahogy az emberek. Az RPA API-kat is hívhat. A megkülönböztető tulajdonsága a felület vezérlése.
Az IBM RPA-ismertetője mindkettőt tárgyalja: az RPA API-kat és felületi műveleteket kombinál vállalati és irodai alkalmazások összekötésére, valamint ismétlődő feladatok végrehajtására közöttük. Az RPA-t értékesítő UiPath a felületre összpontosít, és olyan botokat ír le, amelyek „az emberi műveleteket utánozva” kezelik a képernyőket és rendszereket. A Stonebranch leírja a különbséget a WLA szemszögéből: a WLA háttérrendszeri folyamatokat és adatáramlást kezel, az RPA pedig jellemzően emberi felületi műveleteket automatizál. Ha egy alkalmazás API-t vagy kötegelt feldolgozási interfészt kínál, egy ütemezett feladat közvetlenül hívhatja. Az RPA akkor hasznos, ha a képernyőn át lehet csak elérni a rendszert.
Mire való az Airflow, a Rundeck, a Kestra és a Dagu?
Több nyílt forráskódú eszköz is végez WLA-feladatokat anélkül, hogy ezt a kifejezést használná. Ütemezett, függő feladatokat futtatnak újrapróbálkozással és előzményekkel. Orkesztrátornak, üzemeltetési eljárásokat automatizáló eszköznek vagy munkafolyamat-motornak nevezik magukat. Az Apache Airflow adatfolyamokra összpontosít. A Rundeck, a Kestra és a Dagu üzemeltetési feladatokat és általános ütemezést támogat.
Így mutatkoznak be a projektek:
- Airflow: „Az Airflow munkafolyamatait teljes egészében Pythonban definiálják”, például kötegelt adatfolyamokhoz, gépi tanuláshoz és modelltréninghez (Apache-2.0).
- Rundeck: nyílt forráskódú szolgáltatás, amely webkonzollal, parancssori eszközökkel és webes API-val automatizál üzemeltetési eljárásokat több csomóponton (Apache-2.0).
- Kestra: eseményvezérelt orkesztrációs és ütemezési platform (Apache-2.0).
- Dagu: meglévő szkriptekből és üzemeltetési eljárásokból éles munkafolyamatokat készít ütemezéssel, újrapróbálkozással, emberi feladatokkal és futási előzményekkel. A feladatokat YAML-ban definiálják (GPL-3.0).
A Stonebranch a WLA-val kapcsolatos gyakori kérdésekben azt írja, hogy az Airflow kategóriájába tartozó eszközök adatmérnöki munkafolyamatokra készülnek, és a WLA nagyobb környezetben is indíthat és kezelhet Airflow-feladatokat. Ez szállítói nézőpont, de összhangban van az Airflow adatközpontú leírásával. Az üzemeltetés szempontjából az számít, hogyan definiálhatók a feladatok, és ki tudja karbantartani őket. A Control-M ingyenes alternatíváját kereső r/sysadmin-beszélgetésben a szerző elvetette az Airflow Pythonban írt DAG-jait, és a Kestrával kapcsolatban is hasonló aggályt jelzett. Ez egy csapat tapasztalata. A Kestra ma már kínál kódmentes szerkesztőt, amellyel űrlapokon, YAML írása nélkül készíthető munkafolyamat. Érdemes ellenőrizni, megfelel-e a jelenlegi szerkesztési mód a karbantartóknak.
Mi történt a WLA Magic Quadrant jelentéssel?
A Gartner ezt a piacot ma Service Orchestration and Automation Platforms (SOAP) néven tárgyalja. A BMC közleménye szerint az első SOAP Magic Quadrant 2024 szeptemberében jelent meg. A BMC úgy foglalja össze a Gartner meghatározását, hogy a SOAP munkafolyamat-orkesztrációt, IT-terhelés-automatizálást és erőforrás-kiépítést ötvöz. A feladatfuttatás központi eleme továbbra is a WLA.
Korábban létezett Gartner Magic Quadrant az IT-terhelések automatizálásáról. A JobScheduler mögött álló SOS GmbH bejelentette, hogy bekerült a jelentésbe, amelyet a Gartner 2012 februárjában tett közzé.
Egy olyan termékcsomag, mint a Control-M, ma a SOAP-negyedben szerepel, és a munkafolyamat-orkesztrációt hangsúlyozza. A szerző értelmezése szerint az elemzői kategória tágult, miközben a feladatok futtatása maradt a középpontban. Ha egy szállító a SOAP kategóriát emeli ki, az ajánlat központi elemeként várhatóan feladatütemezőt talál.
Hogyan válasszon eszközt a feladatokhoz?
A feladat jellege határozza meg az eszköz típusát. Egy gépen futó, független feladatokhoz elegendő a cron vagy egy systemd-időzítő. Kevés gépen futó, egymástól függő feladatokhoz, amelyekhez előzmény és riasztás kell, nyílt forráskódú ütemező vagy orkesztrátor illik. A szervezet egészére kiterjedő, üzleti naptárat, ERP-kötegelt feldolgozást és auditot igénylő környezethez vállalati WLA-csomag illik.
Az első szinten használjon flock zárolást az esetleg elhúzódó feladatoknál és Persistent=true beállítást az üzemszünet után pótlást igénylő OnCalendar= időzítőknél. A következő szinten a Rundeck, a Kestra és a Dagu alkalmas olyan cron-feladatok csoportjához, amelyeknek csak megfelelő sorrendben kell futniuk. Adatfolyamokhoz például az Airflow illik. A legfelső szinthez hónapzárási naptárak, nagyszámítógépes és ERP-feladatok, valamint minden futást dokumentáló auditkövetelmények tartoznak. Az ilyen környezeteket célozza a Control-M, az AutoSys és más vállalati WLA- és SOAP-csomagok.
A feladatok száma nem sokat mond arról, mikor kell eszközt váltani. Erősebb jel, ha egy feladat egy másik gépen futó feladat eredményére vár, vagy ha reggel csak úgy derül ki, mi futott éjjel, hogy valaki minden gépre bejelentkezik. Az időközökkel összekapcsolt feladatok olcsók addig, amíg először nem futnak rossz sorrendben. Ezután újra kell futtatni a betöltést, megkeresni az elavult adatokat használó jelentéseket és megmagyarázni a számokat. Sorolja fel az ütemezett feladatokat, jelölje a függőségeket, és becsülje meg, mennyi ideig tart az egyes gépeken a futások ellenőrzése. Ha a függőségi oszlop üres és egy perc elég az ellenőrzésre, a cron már megfelelő eszköz.
Gyakori kérdések
Az Apache Airflow IT-terheléseket automatizáló eszköz?
Az Apache Airflow Pythonban írt adatfolyamokat, például kötegelt betöltést, gépi tanulást és modelltréninget futtat ütemezett, függő feladatként, futási előzményekkel. Az adatcsapatoknál ez WLA-jellegű munka. Az Airflow dokumentációja azonban munkafolyamat-platformként írja le, és nem használja az IT-terhelések automatizálása megnevezést.
Milyen példák vannak az IT-terhelések automatizálására?
Éjszakai adatbázis-export, majd betöltés egy másik kiszolgálón, nap végi fájlátvitel egy partnernek, hónapzáráskor futó ERP-kötegelt feladatok és olyan mentési lánc, amely minden másolatot ellenőriz a következő lépés előtt. A WLA-eszköz beütemezheti a feladatokat, és a függő lépéseket az előfeltétel sikeréig visszatarthatja.
Mit jelent a SOAP az IT-terhelések automatizálásában?
A SOAP itt a Service Orchestration and Automation Platform, vagyis a szolgáltatás-orkesztrációs és automatizálási platform rövidítése. Ez a Gartner aktuális kategórianeve. A BMC összefoglalása szerint a kategória az IT-terhelések automatizálását munkafolyamat-orkesztrációval és erőforrás-kiépítéssel egészíti ki. Nem kapcsolódik a W3C által közzétett SOAP webszolgáltatási XML-üzenetszabványhoz.
Az IT-terhelések automatizálása ugyanaz, mint a feladatütemezés?
A két fogalom közel áll egymáshoz. A BMC megjegyzi, hogy a fő operációs rendszerek saját gépükhöz adnak ütemezőt, ilyen a Windows Feladatütemező. Linuxon a cron tölti be ezt a szerepet. Az IT-terhelések automatizálására akkor kerül sor, amikor különböző kiszolgálókon futó feladatok egymástól függenek. A BMC megfogalmazása szerint az egy platform és a több platform a választóvonal.
Beszélgetés
Hozzászólások
Jelentkezzen be a beszélgetéshez.