Elhatároztad, hogy fine-tune-olsz egy 7B modellt a saját adataiddal. Aztán eléred az első valódi válaszutat: három módszernév, mindegyikhez más válasz tartozik. Az Unsloth dokumentációja szerint kezdd a QLoRA-val. Az Axolotl szerint a hardveredtől függ. Az átfutott blogposztok fele azt írja, "a legtöbb esethez használj LoRA-t", és továbblép. Közben te egyetlen GPU-t bámulsz, és nem vagy biztos benne, hogy az egyáltalán le tudja futtatni bármelyiket.
Ez az a döntés, amely minden más előtt áll. A választott módszer határozza meg a VRAM-büdzsédet, a VRAM-büdzsé választja ki a hardveredet, és a hardver határozza meg a költségedet. Ha rossz módszert választasz, vagy pénzt égetsz el olyan GPU-memóriára, amire nem is volt szükséged, vagy egy egész hétvégét azzal töltesz, hogy out-of-memory hibákat kergetsz egy olyan kártyán, amely sosem lett volna elég a feladathoz.
Tisztázzuk hát. Itt van, mi különbözteti meg valójában a LoRA-t, a QLoRA-t és a full fine-tuningot, mennyibe kerül mindegyik memóriában és minőségben, és egy szabály, amellyel a saját eseted az egyikhez rendelheted.
A rövid verzió
- Az alapértelmezett a QLoRA. A legtöbb egy-GPU-s fine-tuninghoz kezdd a QLoRA-val. Az Axolotl táblázata szerint egy 7-8B-os QLoRA futás körülbelül 10-14 GB VRAM-ot igényel, rövid kontextust és kicsi micro-batcheket feltételezve. Ez ráfér sok 12-24 GB-os fogyasztói vagy prosumer kártyára, de nem minden alacsony VRAM-mal rendelkező kártyára. Nyúlj az egyszerű LoRA-hoz, ha van felesleges memóriád és gyorsabb lépéseket akarsz; a full fine-tuningot tartsd meg azokra a ritka esetekre, amikor valóban szükség van rá.
- A VRAM-igény közötti különbség nagy. Egy 7B modell fine-tuningja körülbelül 60-80 GB-ot igényel full fine-tuning esetén, 16-24 GB-ot LoRA esetén, és 10-14 GB-ot QLoRA esetén, az Axolotl közzétett adatai szerint. Ez a különbség maga az oka annak, hogy a paraméterhatékony módszerek egyáltalán léteznek.
- A minőségromlás feladatfüggő, nem egységes. A legtöbb utasításkövetési és strukturált kimeneti feladatnál a LoRA és a QLoRA néhány százalékon belül marad a teljes fine-tuninghoz képest. A különbség összetett gondolkodást igénylő feladatoknál, mint a matematika, nagyobb lesz. Itt éri meg még mindig a teljes fine-tuning az árát.
- A teljes fine-tuning kivétel, nem az alapértelmezett. Ehhez akkor nyúlunk, ha nagy eloszlásváltozás, előtanítási méretű módosítás, vagy gondolkodás szempontjából kritikus feladat áll fenn, ahol a benchmarkok kimutatják a különbséget, nem pedig biztonságos alapértelmezett választásként.
Mit nem fed le ez az útmutató
Ez egy módszerválasztási útmutató, nem implementációs bemutató. Néhány dolog szándékosan kimarad:
- LoRA-variánsok (DoRA, VeRA, LoRA+). A három alapmódszer az elsődleges döntés; a variánsok olyan finomítások, amelyekhez később nyúlunk.
- Lépésről lépésre kód. Itt nincsenek telepítési parancsok vagy tanítási szkriptek. Ez egy külön gyakorlati útmutató témája, amit itt nem tárgyalunk.
- Több GPU-s tanítás (FSDP, DeepSpeed ZeRO) és az adathalmaz előkészítése: mindkettő önmagában is hatalmas téma.
- RLHF, DPO és preferenciaoptimalizálás. Ez egy más célfüggvény-osztály, mint a felügyelt finomhangolás.
- Hogy egyáltalán érdemes-e finomhangolni. Ha nem biztos abban, hogy a finomhangolás a megfelelő eszköz a retrievallal szemben, az az összehasonlítás önálló választ igényel, mielőtt itt módszert választana.
Mi különbözteti meg valójában a LoRA-t, a QLoRA-t és a teljes finomhangolást?
A teljes finomhangolás a modell minden paraméterét frissíti. A LoRA lefagyasztja az alapmodellt, és helyette kicsi, alacsony rangú adaptermátrixokat tanít (a paraméterek számának körülbelül 0,1-2%-a). A QLoRA egy további lépést tesz a LoRA-hoz: 4 bites pontosságra kvantálja a lefagyasztott alapmodellt (egy NF4, azaz NormalFloat nevű adattípus segítségével), így az alap sokkal kevesebb memóriát foglal, amíg az adaptereket tanítja.
A három módszert a legegyszerűbben úgy tarthatja fejben, mint egy lépcsőt, ahol minden fok elvesz egy költséget az alatta lévőtől.
A teljes finomhangolás a legalsó fok, és a legnehezebb. Minden súly tanítható, így az optimalizálónak a modell minden paraméteréhez gradienst és optimalizálóállapotot kell nyomon követnie. Ide megy el a memória, a matematikára a következő részben térünk rá.
LoRA (Low-Rank Adaptation) lefagyasztja az eredeti súlyokat, és kis, tanítható mátrixokat illeszt a modell rétegeibe. Csak ezek a mátrixok tanulnak; az alapmodell csak sodródik az árral. A LoRA cikk szerint ez egy 175B-es modellnél akár 10 000x-szel csökkenti a tanítható paraméterek számát, és ebben a méretben körülbelül 3x-szal csökkenti a GPU-memóriát, míg a szerzők által tesztelt modelleken "a finomhangolással egyenértékű vagy jobb" modellminőséget ér el. Mivel ilyen kevés paraméter változik, a betanított eredmény apró. A Hugging Face PEFT blog két hasznos referenciapontot ad meg: egy 40 GB-os teljes checkpointot bigscience/mt0-xxlhasznál, a másik pedig egy külön LoRA-példa, ahol a mentett adapter mérete csupán 19 MB. A lényeg ugyanaz marad: a PEFT checkpointok jellemzően apróságnak számítanak a teljes modell checkpointjaihoz képest.
QLoRA a LoRA-t veszi alapul, és tovább zsugorítja azt a részt, amit a LoRA érintetlenül hagyott: a lefagyasztott alapot. Ezeknek a súlyoknak a 4 bites NF4-re kvantálása azt jelenti, hogy az alapmodell csak egy töredékét foglalja el annak a memóriának, amit 16 biten foglalna, míg az adapterek felette továbbra is teljes pontossággal tanulnak. A QLoRA cikk az NF4-et "információelméleti szempontból optimálisnak" írja le a normál eloszlású súlyok esetén, ami pontos módja annak kifejezésére, hogy a 4 bites ábrázolást úgy választják, hogy megfeleljen a modell súlyainak tényleges eloszlásának, így kevesebbet veszítesz, mint amennyit egy naiv 4 bites kerekítés kerülne.
Ez a teljes fogalmi felépítés: a teljes finomhangolás mindent tanít, a LoRA lefagyasztja az alapot és adaptereket tanít, a QLoRA összetömöríti a lefagyasztott alapot és adaptereket tanít. Minden más (VRAM, minőség, mikor melyiket használjuk) ebből a három döntésből következik.
Mennyi VRAM-ra van szüksége az egyes módszereknek?
Egy 7B-es modell esetén a durva számok körülbelül 60-80 GB a full fine-tuninghoz, 16-24 GB a LoRA-hoz, és 10-14 GB a QLoRA-hoz, a az Axolotl közzétett táblázata. A gyakorlati következmény: a QLoRA jellemzően elfér sok egyedi, 12-24 GB-os fogyasztói vagy prosumer GPU-n rövid kontextusú, kis batch-es beállítások mellett, míg egy 7B-es modell full fine-tuningja adatközponti memóriát vagy több GPU-s felállást igényel.
Miért olyan nehéz a full fine-tuning? Egy rövid számítás. Amikor minden paramétert tanítasz, a GPU három dolgot tart paraméterenként: magát a súlyt, annak gradientjét és az optimizer állapotát (az Adam-típusú optimizerek két extra értéket tartanak súlyonként). Ezért a memóriaköltség a modell méretének többszöröse. A LoRA befagyasztja az alapot, így ezt a gradient-és-optimizer adót csak az apró adaptermátrixokra fizeti. A QLoRA ráadásul a befagyasztott alapot 4-bit formátumban tárolja 16-bit helyett, ami a legnagyobb megmaradó költséget vágja le.
Így viszonyul egymáshoz a három módszer a modellméretek szerint, az Axolotl dokumentációja és a QLoRA cikk alapján a nagy modellek adataihoz:
| Módszer | 1-3B modell | 7-8B modell | 70B+ modell |
|---|---|---|---|
| Full fine-tuning (bf16 + AdamW) | 24-32 GB | 60-80 GB | 4-8x 80 GB |
| LoRA (bf16) | 8-12 GB | 16-24 GB | 2x 80 GB |
| QLoRA (4-bit NF4) | 6-8 GB | 10-14 GB | 40-48 GB |
Források: az Axolotl dokumentációja mindhárom módszerhez a különböző modellméreteken; a QLoRA tanulmány függetlenül arról számol be, hogy egy 65B-s modellt egyetlen 48 GB-os GPU-n finomhangoltak "a teljes 16 bites finetuning feladatteljesítmény megőrzése mellett," amely egybecseng a 70B-s QLoRA-adattal. A Hugging Face 4 bites kvantálásról szóló blog külön bemutat egy 13B-s modellt, amelyet egyetlen 16 GB-os T4-en tanítottak, valamint egy 33B-s modellt egy 24 GB-os GPU-n QLoRA használatával. Ezek hasznos viszonyítási pontok, ha a célod a táblázat sorai közé esik.
Az egyetlen szám, amit érdemes megjegyezni: egy 65B-s modell egyetlen 48 GB-os kártyán. Ez a QLoRA legfontosabb eredménye, és újraértelmezi, mit is jelent az, hogy "csak egy GPU-m van".
A szakasz tanulsága: a VRAM-hierarchia full >> LoRA > QLoRA, és a full és a QLoRA közötti ugrás elég nagy ahhoz, hogy egy feladatot egy több GPU-s rackről egyetlen kártyára helyezzen át.
Tényleg minőségromlást okoz a LoRA vagy a QLoRA?
A legtöbb utasításkövetési és strukturáltkimenet-feladat esetében a LoRA és a QLoRA csak néhány százalékponttal marad el a teljes fine-tuningtól. A különbség nagyobb lesz komplex következtetésnél (különösen matematikánál), ahol a teljes fine-tuning továbbra is jól látható előnyben van. A válasz tehát nem "közel egyenértékű" vagy "rosszabb". Feladatfüggő, és a feladat típusa megmutatja, melyik oldalán állsz ennek a határnak.
A feladatonkénti legvilágosabb bizonyíték egy 2023 szeptemberi Anyscale tanulmányból származik a Anyscale tanulmány a Llama 2-ről. A ViGGO-n, egy strukturált funkcionális reprezentációs feladaton, a LoRA a teljes finomhangolás pontosságának körülbelül 95%-át érte el 7B és 13B modelleken: 2%-os eltérés, amit a szerzők elfogadható kompromisszumnak tekintettek. Az SQL-generálásnál a LoRA majdnem megegyezett a teljes finomhangolással, és a LoRA 13B modell valójában legyőzte a teljesen finomhangolt 7B modellt. A GSM8k-n, egy matematikai következtetési benchmarkon, a LoRA következetesen alulmaradt a teljes finomhangoláshoz képest 7B és 13B esetén, a különbség csak 70B-nál szűkült. Az Anyscale csapat értelmezése szerint a LoRA alacsony rangú közelítése talán nem képes megragadni egy olyan bonyolult készséget, mint a többlépéses matematika.
Egy megjegyzés ezekhez a számokhoz: az a tanulmány a Llama 2-n futott 2023 szeptemberében. A feladattípus szerinti minta (közeli strukturált kimenet, távolabbi komplex következtetés) a tartós tanulság, amely lényegében azóta is fennmaradt. De a pontos százalékok eltérhetnek egy újabb alapmodellnél, mint a Llama 3 vagy a Mistral, ezért kezeld a számokat a kompromisszum formájaként, nem a modelledre vonatkozó garanciaként.
A QLoRA minőségi története saját magáé. A QLoRA cikk szerint a Guanaco, a QLoRA-val betanított 65B modell, a ChatGPT teljesítményének 99,3%-át érte el a Vicuna benchmarkon. Erős, de az adott benchmarkhoz és a 2023-as összehasonlításhoz kötött, nem általános "QLoRA egyenlő ChatGPT-vel" állítás. A sima LoRA-val szemben az Axolotl a QLoRA-t úgy jellemzi, mint amely "enyhe romlást hordoz a kvantálási zaj miatt": a 4 bites alap kis hibákat vezet be, amelyek a LoRA teljes pontosságú alapjánál nincsenek. A legtöbb munkánál ez láthatatlan; egy kis pontosságeltolódásokra érzékeny feladatnál viszont ez olyasmi, amit érdemes ellenőrizni, nem csak feltételezni.
Profi tipp: A leggyakoribb minőségi meglepetés nem a QLoRA versus LoRA. Ez egy finomhangolt modell, amely rosszabbul teljesít, mint az alapmodell, amelyből kiindultál. Ez általában azt jelenti, hogy a betanítás valami nem szándékolt dolgot tett: túl agresszív volt egy szűk adathalmazon, vagy csak az új feladaton lett kiértékelve, míg az általános képesség csendben visszaesett. Mindig teszteld a finomhangolt modellt néhány prompttal a betanítási eloszláson kívül, mielőtt megbíznál benne. Egy visszaesés ott a jelzés a visszalépésre, nem a kiadásra.
A szakasz tanulsága: a minőségi paritás feladatfüggő. A strukturált kimenet és az utasításkövetés biztonságos a LoRA/QLoRA-nál; a komplex következtetés az, ahol a teljes finomhangolás még megéri a költségét.
Mikor Melyik Módszert Válasszuk?
Kezdd a QLoRA-val a legtöbb egy-GPU-s finomhangoláshoz. Lépj át egyszerű LoRA-ra, ha van VRAM-mozgástered, és gyorsabb lépéseket vagy némileg magasabb minőségi plafont szeretnél. Tartsd meg a teljes finomhangolást azokra az esetekre, amelyeknek valóban szükségük van rá: nagy eloszlásváltozások, előtanítási méretű változások, vagy következtetés-kritikus feladatok, ahol a benchmark-különbség valós. Három bemenet szerint navigálj, sorrendben: elérhető VRAM, feladattípus és minőségi követelmény, majd sebesség.
Itt van az irányvonal "ezt tedd, ne azt" formában:
1. Először ellenőrizd a VRAM-odat. Ha egyetlen kártyád van 24 GB vagy kevesebb memóriával (a legtöbb fogyasztói és prosumer GPU ilyen), a QLoRA az alapértelmezett módszered, mert a három közül ez az egyetlen, amelyik megbízhatóan elfér egy 7B modellel ebben a keretben. Ne nyúlj a full fine-tuninghoz egyetlen fogyasztói kártyán; a fenti táblázat máris megmutatja, hogy egy 7B-s feladat nem fog beleférni, és a hétvégédet azzal töltöd, hogy ezt a nehezebb úton tanulod meg.
2. Ezután nézd meg a feladatodat és a minőségi elvárásodat. Ha a feladatod utasításkövetés, strukturált kimenet, SQL vagy általános tartományi adaptáció, az Anyscale bizonyítékai szerint a LoRA és a QLoRA majdnem teljes minőséget ad. Maradj az alapértelmezett választásnál. Ha a feladatod erősen következtetés-igényes (többlépéses matematika, összetett logikai láncok), és a minőség nem alkuképes, ez az első valódi okod arra, hogy elgondolkodj a full fine-tuningra való átállásról, mert ez az egyetlen feladattípus, ahol a benchmarkok folyamatos különbséget mutatnak.
3. Ezután mérlegeld a sebességet. A QLoRA némi sebességet ad fel lépésenként a memóriamegtakarítás érdekében: a 4 bites alapot menet közben kell dekvantálni. Ha van elég VRAM-od a sima LoRA futtatásához (16-24 GB egy 7B modellhez), gyorsabb lépéseket kapsz, és elkerülöd a kvantálásból eredő zajt, ami a LoRA-t jobb választássá teszi, ha a memória nem a korlátozó tényező, és sokat iterálsz.
Mikor is a full fine-tuning a helyes válasz? Az Axolotl útmutatása egyértelmű: pre-traininghez szükséges, és ez a választás, "amikor bőséges GPU-memóriád vagy több GPU-s konfigurációd van, és maximális teljesítményre van szükséged." Ezeken a feltételeken kívül (és a gyakorlati fine-tuning túlnyomó többségénél, ahol egy meglévő modellt adaptálnak egy adott viselkedéshez vagy tartományhoz) a paraméterhatékony módszerek a hardver töredékéért adják a minőség nagy részét.
Az Unsloth egyszerűen kimondja az alapértelmezett választást:
"Azt javasoljuk, hogy a QLoRA-val kezdjen, mivel ez az egyik legkönnyebben hozzáférhető és leghatékonyabb módszer a modellek betanítására."
Ez a szabály. Alapértelmezés szerint QLoRA-t használj, lépj LoRA-ra a sebesség kedvéért, ha van elég memóriád, és csak akkor válts teljes fine-tuningra, ha a feladat vagy a méret ezt megköveteli.
A szakasz tanulsága: A QLoRA az alapértelmezett választás; a LoRA a sebességet és mozgásteret adó fejlesztés; a teljes fine-tuning az a kivétel, amelyet eloszlásváltással, előtanítással vagy egy következtetési benchmarkkal indokolsz.
Mit értenek félre az emberek a fine-tuning módszerekkel kapcsolatban?
Két téves elképzelés áll a legtöbb elvesztegetett hétvége hátterében. Az első az, hogy a fine-tuningot úgy kezelik, mintha az arra szolgálna, hogy a modellnek új tényeket tanítson, miközben a fő hatása a viselkedés alakítása. A második az a feltételezés, hogy a minőséget egyszerűen egy gomb elforgatásával meg lehet venni: hogy egy magasabb LoRA rank, vagy full fine-tuning QLoRA helyett, automatikusan jobb modellt eredményez. Mindkét állítás félig igaz, és pontosan ezért vezetnek félre.
Új tényeket tanít a fine-tuning egy modellnek?
Ebben a kérdésben valódi szakértői megosztottság van, ezért érdemesebb pontosan érteni az árnyalatot, mint oldalt választani. Több gyakorlati útmutató az „a fine-tuning új tényeket tanít” állítást nevezi az egyes számú téves elképzelésnek: az álláspontjuk szerint a fine-tuning sokkal jobb abban, hogy formálja, hogyan válaszol egy modell, mint abban, hogy megbízhatóan beépítsen olyan konkrét tényeket, amelyeket sosem látott az előtanítás során. Az Unsloth dokumentációja ezzel közvetlenül szembeszáll, „hamisnak” nevezve azt az állítást, hogy a fine-tuning nem tud új tudást tanítani, és a fine-tuningot úgy írja le, mint egy módot arra, hogy „új, domainspecifikus információt injektáljunk és tanuljunk meg”.
Mindkét fél részben igazat mond, és a kibékítő olvasat ez: a fine-tuning megbízható a viselkedés alakításában és az alapmodellben már meglévő, látens tudás megerősítésében, és képes domainspecifikus mintákat kódolni. Amiben nem megbízható, az az, hogy olyan elszigetelt tényeket ültessen be, amelyek teljesen hiányoztak az előtanításból. Minél inkább a célod úgy néz ki, mint "jegyezzem meg ezt a konkrét dokumentumot", annál nagyobb az esély, hogy rossz eszközt választottál, és a retrieval jobban szolgálhat. Így a gyakorlati tanács túléli a nézeteltérést: a viselkedésre és stílusra támaszkodj a fine-tuningnál, de légy szkeptikus vele mint ténybefecskendezési mechanizmussal szemben.
A magasabb LoRA rank mindig javítja a minőséget?
Nem, és ez az a gomb, amit a legkönnyebb túlforgatni. Az intuíció szerint a magasabb rank több kapacitást ad az adapternek, tehát a több biztosan jobb. A Databricks empirikusan tesztelte ezt és megállapította, hogy a rank duplázása "látszólag nem eredményez semmilyen érzékelhető javulást a kimenet minőségében". Amitől kísérleteikben valóban változott az eredmény, az az volt, mely réteget célozták meg (az összes lineáris réteg adaptálása, nem csak az attention blokkoké), nem a rank szám feltornázása. A levonható tanulság: a hangolási erőfeszítést a célmodulokra és az adatminőségre fordítsd, mielőtt a rank felfújására költenéd.
A LoRA minősége mindig megegyezik a teljes finomhangolással?
Nem általánosan, és egy friss kutatási tanulmány rámutat egy konkrét hibamódra. "LoRA vs Full Fine-tuning: An Illusion of Equivalence" (Shuttleworth és mtsai) megállapítja, hogy a LoRA-tréning "betolakodó dimenziókat" okozhat (magas rangú szinguláris vektorok, amelyek a teljesen finomhangolt modellekben nincsenek jelen), és ezeket az elfelejtéssel köti össze a folyamatos tanulási (continual-learning) helyzetekben, ahol ugyanazt a modellt ismételten finomhangolják. Ez egy konkrét fenntartás, nem általános elutasítás: ha egyetlen finomhangolási kört végzel egyetlen feladatra, a minőségi egyenértékűségre vonatkozó általános bizonyítékok továbbra is érvényesek. Ha egymás után láncolod a finomhangolásokat, és fontos számodra az alapmodell általános képességének megőrzése, ez az a hibamód, amit figyelni kell.
Gyakran ismételt kérdések
Mi a különbség a LoRA, a QLoRA és a teljes finomhangolás között?
A teljes finomhangolás minden paramétert frissít a modellben. A LoRA lefagyasztja az alapmodellt, és helyette kicsi, alacsony rangú adaptermátrixokat tanít, a paraméterek mintegy 0,1-2%-át. A QLoRA mindent megtesz, amit a LoRA, ráadásul a lefagyasztott alapmodellt 4 bites NF4 pontosságra kvantálja, így az alap sokkal kevesebb memóriát igényel az adapterek tanítása közben. Az eredmény egy tiszta memórialétra: a teljes finomhangolás a legnehezebb, a LoRA könnyebb, a QLoRA a legkönnyebb.
Mennyi VRAM-ra van szükségem egy 7B-s modell finomhangolásához?
Egy 7B-s modell esetén az Axolotl adatai szerint a teljes finomhangolás körülbelül 60-80 GB-ot, a LoRA 16-24 GB-ot, a QLoRA pedig 10-14 GB-ot igényel. A három közül csak a QLoRA fér el jellemzően egyetlen, 12-24 GB-os fogyasztói vagy prosumer GPU-n; egy 7B-s modell teljes finomhangolásához adatközpont-szintű memória vagy több GPU szükséges.
A QLoRA minősége rosszabb, mint a LoRA vagy a teljes finomhangolás?
Ez a feladattól függ. A legtöbb utasításkövetési és strukturált kimeneti munkánál a QLoRA néhány százalékon belül marad a teljes finomhangolástól, és az Axolotl csak "enyhe romlást ír le a kvantálási zaj miatt" a sima LoRA-hoz képest. A különbség nő a komplex következtetési feladatoknál, mint a matematika, ahol a teljes finomhangolás következetes előnyt mutatott egy 2023-as Anyscale tanulmányban a Llama 2-n.
Mikor Éri Meg Igazán a Teljes Finomhangolás?
A teljes finomhangolás megéri a költségét az előtanításnál, nagy eloszlásváltozásoknál, és következtetés-kritikus feladatoknál, ahol a benchmarkok valódi minőségi különbséget mutatnak. Ez az út akkor is, ha bőséges GPU-memóriád vagy több GPU-s beállításod van, és maximális minőségre van szükséged. A gyakori esetben (egy meglévő modell adaptálása egy adott viselkedéshez vagy területhez) a LoRA vagy a QLoRA a minőség nagy részét adja a hardver töredékéért.
Új tényeket tanít a fine-tuning egy modellnek?
Részben. A finomhangolás megbízható a viselkedés alakításában és az alapmodellben már látens tudás megerősítésében, és képes doménspecifikus mintákat kódolni. Megbízhatatlan olyan különálló tények beültetésében, amelyek teljesen hiányoztak az előtanításból. Itt valódi szakértői véleménykülönbség van. Az Unsloth dokumentációja azt állítja, hogy a finomhangolás új tudást taníthat, míg más útmutatók ezt a legfőbb téveszmének nevezik, és a megbékítő nézet az, hogy a finomhangolást viselkedésre és stílusra használjuk, és a retrieval-hoz nyúljunk, amikor a cél konkrét tények felidézése.
Hova Vezet Ez
A módszerválasztás egy alapértelmezett opcióra és két menekülőútra redukálódik: kezdd a QLoRA-val, lépj át LoRA-ra, amikor a memória nem korlátozó tényező és gyorsabb lépéseket akarsz, lépj át teljes finomhangolásra csak akkor, amikor egy eloszlásváltozás, előtanítás vagy egy következtetési benchmark kikényszeríti.
A módszer eldöntésével a következő döntés a hardver, amit ez implikál. A módszerválasztásod éppen most mondta meg, hogy egyetlen fogyasztói kártyát keresel-e, vagy adatközponti memóriát. Ha konkrét kártyákat szeretnél összehasonlítani AI-munkaterhelésekhez, a H100 vs RTX 4090 benchmark teljesítményteszt ezt a területet fedi le. A kiválasztott módszerhez való GPU-méretezés, valamint a maga a betanítási feladat futtatásához szükséges lépésenkénti útmutató saját, külön útmutatók.
