Zdecydowałeś się na fine-tuning modelu 7B na własnych danych. Wtedy trafiasz na pierwszy prawdziwy rozdroże: trzy nazwy metod, każda z inną odpowiedzią. Dokumentacja Unsloth mówi, żeby zacząć od QLoRA. Axolotl mówi, że to zależy od twojego sprzętu. Połowa przeglądanych postów na blogach mówi „użyj LoRA do większości rzeczy” i idzie dalej. Tymczasem wpatrujesz się w jedną kartę graficzną, nie wiedząc, czy uda się na niej odpalić którąkolwiek z tych metod.
To decyzja, która stoi na czele wszystkich innych. Wybrana metoda ustala twój budżet VRAM, budżet VRAM wybiera sprzęt, a sprzęt wybiera koszt. Wybierz źle metodę i albo wydasz pieniądze na pamięć GPU, której nie potrzebowałeś, albo spędzisz weekend na gonieniu awarii z braku pamięci na karcie, która od początku nie miała szans obsłużyć tego zadania.
Więc rozstrzygnijmy to. Wyjaśniamy, czym naprawdę różnią się LoRA, QLoRA i full fine-tuning, ile każda z nich kosztuje w pamięci i jakości, oraz regułę, jak przypisać swój przypadek do jednej z nich.
Krótka wersja
- Domyślnym wyborem jest QLoRA. Do większości fine-tuningów na jednej karcie graficznej zacznij od QLoRA. Tabela Axolotl podaje, że przebieg QLoRA dla modelu 7-8B zajmuje w przybliżeniu 10-14 GB VRAM, przy krótkim kontekście i małych micro-batchach. To wystarcza na wielu kartach konsumenckich lub prosumerskich z 12-24 GB, ale nie na każdej karcie z małą ilością VRAM. Sięgnij po zwykłą LoRA, gdy masz pamięć w zapasie i chcesz szybszych kroków; full fine-tuning zachowaj na rzadkie przypadki, które go naprawdę wymagają.
- Różnica w VRAM jest duża. Fine-tuning modelu 7B wymaga w przybliżeniu 60-80 GB dla full fine-tuning, 16-24 GB dla LoRA i 10-14 GB dla QLoRA, według opublikowanych danych Axolotl. Ta różnica jest całym powodem istnienia metod efektywnych parametrycznie.
- Utrata jakości zależy od zadania, nie jest jednolita. W większości zadań związanych z wykonywaniem instrukcji i ustrukturyzowanym wyjściem LoRA i QLoRA znajdują się w zasięgu kilku procent od pełnego fine-tuningu. Różnica rośnie przy złożonym rozumowaniu, takim jak matematyka. To właśnie tam pełny fine-tuning wciąż jest wart swojej ceny.
- Pełny fine-tuning jest wyjątkiem, nie punktem wyjścia. Sięgasz po niego przy dużych przesunięciach rozkładu danych, zmianach na skalę pre-treningu lub zadaniach kluczowych dla rozumowania, gdzie benchmarki pokazują różnicę, a nie jako bezpieczny wybór domyślny.
Czego ten przewodnik nie obejmuje
To przewodnik po wyborze metody, a nie omówienie implementacji. Kilka rzeczy jest celowo poza jego zakresem:
- Warianty LoRA (DoRA, VeRA, LoRA+). Trzy podstawowe metody to decyzja, która ma znaczenie w pierwszej kolejności; warianty to udoskonalenia, po które sięga się później.
- Kod krok po kroku. Nie znajdziesz tu poleceń instalacyjnych ani skryptów treningowych. To osobny praktyczny przewodnik, nieopisany w tym miejscu.
- Trenowanie na wielu GPU (FSDP, DeepSpeed ZeRO) i przygotowanie zbioru danych: obie te kwestie same w sobie są obszernymi tematami.
- RLHF, DPO i optymalizacja preferencji. To zupełnie inna klasa celów niż supervised fine-tuning.
- Czy w ogóle warto robić fine-tuning. Jeśli nie jesteś pewien, czy fine-tuning to właściwe narzędzie w porównaniu z retrievalem, to porównanie zasługuje na własną odpowiedź, zanim wybierzesz tu metodę.
Co naprawdę różni LoRA, QLoRA i pełny fine-tuning?
Pełny fine-tuning aktualizuje każdy parametr modelu. LoRA zamraża model bazowy i zamiast tego trenuje małe macierze adapterów o niskiej randze (około 0,1-2% liczby parametrów). QLoRA dodaje jeszcze jeden krok w porównaniu z LoRA: kwantyzuje zamrożony model bazowy do precyzji 4-bitowej (za pomocą typu danych zwanego NF4, NormalFloat), dzięki czemu model bazowy zajmuje znacznie mniej pamięci podczas trenowania adapterów.
Najprościej zapamiętać te trzy metody jako drabinę, gdzie każdy szczebel usuwa jeden koszt tego znajdującego się poniżej.
Pełny fine-tuning to najniższy szczebel i najbardziej wymagający. Każda waga jest trenowalna, więc optymalizator musi śledzić gradient i stan optymalizatora dla każdego parametru modelu. Tam właśnie ucieka pamięć, a do matematyki przejdziemy w następnej sekcji.
LoRA (Low-Rank Adaptation) zamraża oryginalne wagi i wstrzykuje małe trenowalne macierze w warstwy modelu. Uczą się tylko te macierze; model bazowy jedzie na gapę. Artykuł o LoRA podaje, że przy modelu 175B redukuje to trenowalne parametry nawet 10 000x i zmniejsza pamięć GPU w tej skali około 3x, uzyskując przy tym wyniki "na równi lub lepsze niż fine-tuning pod względem jakości modelu" na modelach testowanych przez autorów. Ponieważ zmienia się tak mało parametrów, wytrenowany wynik jest maleńki. Blog blog PEFT podaje dwa przydatne punkty odniesienia: pełny checkpoint o rozmiarze 40 GB dla bigscience/mt0-xxl, oraz osobny przykład LoRA, w którym zapisany adapter ma tylko 19 MB. Sens jest wciąż ten sam: checkpointy PEFT są zazwyczaj maleńkie w porównaniu z pełnymi checkpointami modelu.
QLoRA bierze LoRA i zmniejsza część, którą LoRA pozostawiła nietkniętą: zamrożoną bazę. Kwantyzacja tych wag do 4-bitowego NF4 oznacza, że model bazowy zajmuje tylko część pamięci, jaką zajmowałby przy 16 bitach, podczas gdy adaptery na wierzchu wciąż trenują z pełną precyzją. Artykuł o QLoRA opisuje NF4 jako "optymalny teoretycznoinformacyjnie dla wag o rozkładzie normalnym", co jest precyzyjnym sposobem powiedzenia, że reprezentacja 4-bitowa jest wybrana tak, aby odpowiadać rzeczywistemu rozkładowi wag modelu, więc tracisz mniej, niż kosztowałoby naiwne zaokrąglanie 4-bitowe.
To jest cały koncepcyjny stos: pełny fine-tuning trenuje wszystko, LoRA zamraża bazę i trenuje adaptery, QLoRA kompresuje zamrożoną bazę i trenuje adaptery. Wszystko inne (VRAM, jakość, kiedy czego używać) wynika z tych trzech wyborów.
Ile VRAM potrzebuje każda metoda?
Dla modelu 7B przybliżone wartości to około 60-80 GB dla full fine-tuning, 16-24 GB dla LoRA i 10-14 GB dla QLoRA, według opublikowana tabela Axolotl. Praktyczna konsekwencja: QLoRA zazwyczaj mieści się na wielu pojedynczych kartach GPU klasy konsumenckiej lub prosumenckiej o pojemności 12-24 GB przy ustawieniach krótkiego kontekstu i małego batcha, podczas gdy full fine-tuning modelu 7B wymaga pamięci klasy data center lub konfiguracji wielu GPU.
Dlaczego full fine-tuning jest tak ciężki? Krótka matematyka. Gdy trenujesz każdy parametr, GPU przechowuje trzy rzeczy na parametr: samą wagę, jej gradient i stan optymalizatora (optymalizatory w stylu Adam przechowują dwie dodatkowe wartości na wagę). Dlatego rachunek pamięci jest kilkukrotnie wyższy niż sam rozmiar modelu. LoRA zamraża bazę, więc płaci ten podatek gradientowo-optymalizacyjny tylko za małe macierze adaptera. QLoRA dodatkowo przechowuje zamrożoną bazę w 4-bit zamiast 16-bit, redukując największy pozostały koszt.
Tak wypadają te trzy metody w porównaniu dla różnych rozmiarów modeli, na podstawie dokumentacji Axolotl oraz artykułu o QLoRA dla danych dużych modeli:
| Metoda | Model 1-3B | Model 7-8B | Model 70B+ |
|---|---|---|---|
| Full fine-tuning (bf16 + AdamW) | 24-32 GB | 60-80 GB | 4-8x 80 GB |
| LoRA (bf16) | 8-12 GB | 16-24 GB | 2x 80 GB |
| QLoRA (4-bit NF4) | 6-8 GB | 10-14 GB | 40-48 GB |
Źródła: dokumentacja Axolotl dla wszystkich trzech metod w różnych rozmiarach modeli; artykuł o QLoRA niezależnie podaje fine-tuning modelu 65B na jednym GPU 48 GB "przy zachowaniu pełnej wydajności zadania jak przy 16-bitowym finetuningu," co zgadza się z wynikiem 70B dla QLoRA. Blog Hugging Face o blog o kwantyzacji 4-bitowej pokazuje odrębnie model 13B wytrenowany na jednej karcie 16 GB T4 oraz model 33B na GPU o pojemności 24 GB przy użyciu QLoRA. To przydatne punkty odniesienia, jeśli twój cel znajduje się między wierszami tabeli.
Jedna liczba, którą warto zapamiętać: model 65B na jednej karcie 48 GB. To flagowy wynik QLoRA, który zmienia sens słów "mam tylko jedno GPU".
Wniosek z sekcji: hierarchia VRAM to full >> LoRA > QLoRA, a skok z full do QLoRA jest wystarczająco duży, by przenieść zadanie z szafy z wieloma GPU na jedną kartę.
Czy LoRA lub QLoRA rzeczywiście kosztują cię jakość?
W przypadku większości zadań związanych z wykonywaniem instrukcji i ustrukturyzowanym wyjściem LoRA i QLoRA plasują się w granicach kilku procent od pełnego fine-tuningu. Różnica rośnie przy złożonym rozumowaniu (szczególnie w matematyce), gdzie pełny fine-tuning wciąż wyraźnie prowadzi. Odpowiedź nie jest więc "prawie równoważna" ani "gorsza". Zależy to od zadania, a typ zadania mówi, po której stronie tej granicy się znajdujesz.
Najwyraźniejsze dowody dla poszczególnych zadań pochodzą z badania Anyscale z września 2023 roku na badanie Anyscale na Llama 2. W ViGGO, zadaniu strukturalnej reprezentacji funkcjonalnej, LoRA osiągnęła około 95% dokładności pełnego fine-tuningu na modelach 7B i 13B: różnica 2%, którą autorzy uznali za akceptowalny kompromis. W generowaniu SQL LoRA prawie zrównała się z pełnym fine-tuningiem, a model LoRA 13B faktycznie pobił w pełni dostrojony model 7B. W GSM8k, benchmarku rozumowania matematycznego, LoRA konsekwentnie wypadała słabiej niż pełny fine-tuning na 7B i 13B, a różnica zmniejszała się tylko przy 70B. Zespół Anyscale uważa, że niskorzędowa aproksymacja LoRA może nie uchwycić tak skomplikowanej umiejętności jak wieloetapowa matematyka.
Jedna uwaga do tych liczb: to badanie przeprowadzono na Llama 2 we wrześniu 2023 roku. Wzorzec według typu zadania (uporządkowane wyjście bliżej, złożone rozumowanie dalej) to trwały wniosek, który w istocie utrzymuje się od tego czasu. Ale dokładne procenty mogą się różnić na nowszym modelu bazowym, takim jak Llama 3 czy Mistral, więc traktuj te liczby jako kształt kompromisu, a nie gwarancję dla twojego modelu.
Historia jakości QLoRA jest jej własna. Artykuł o QLoRA podaje, że Guanaco, jego model 65B wytrenowany z QLoRA, osiągnął 99,3% wydajności ChatGPT w benchmarku Vicuna. Silne, ale związane z tym konkretnym benchmarkiem i porównaniem z 2023 roku, nie ogólne twierdzenie "QLoRA równa się ChatGPT". W porównaniu do zwykłego LoRA, Axolotl charakteryzuje QLoRA jako niosące "niewielką degradację z powodu szumu kwantyzacji": baza 4-bitowa wprowadza małe błędy, których nie ma baza LoRA o pełnej precyzji. Dla większości pracy jest to niewidoczne; dla zadania czułego na małe zmiany precyzji jest to coś, co warto sprawdzić, a nie zakładać.
Wskazówka: Najczęstsza niespodzianka jakościowa to nie QLoRA kontra LoRA. To model po fine-tuningu, który wypada gorzej niż model bazowy, od którego zacząłeś. Zwykle oznacza to, że trening zrobił coś niezamierzonego: był zbyt agresywny na wąskim zbiorze danych, albo był oceniany tylko na nowym zadaniu, podczas gdy ogólna zdolność po cichu się pogarszała. Zawsze testuj model po fine-tuningu na kilku promptach poza twoim rozkładem treningowym, zanim mu zaufasz. Regres tam jest sygnałem, by się wycofać, nie by wypuszczać.
Wniosek z sekcji: parytet jakości zależy od zadania. Uporządkowane wyjście i śledzenie instrukcji są bezpieczne dla LoRA/QLoRA; złożone rozumowanie to miejsce, gdzie pełny fine-tuning wciąż zarabia na swój koszt.
Kiedy Powinieneś Wybrać Każdą Metodę?
Zacznij od QLoRA dla większości fine-tuningów na jednym GPU. Przejdź na zwykłe LoRA, gdy masz zapas VRAM i chcesz szybszych kroków lub trochę wyższego sufitu jakości. Zarezerwuj pełny fine-tuning dla przypadków, które go naprawdę potrzebują: dużych przesunięć rozkładu, zmian na skali pre-treningu, lub zadań krytycznych dla rozumowania, gdzie różnica w benchmarku jest realna. Kieruj się trzema wejściami, w tej kolejności: dostępny VRAM, typ zadania i wymóg jakości, potem szybkość.
Tutaj jest kierowanie w formie "zrób to, nie to":
1. Najpierw sprawdź swoją pamięć VRAM. Jeśli masz jedną kartę z 24 GB pamięci lub mniej (większość konsumenckich i prosumenckich GPU), QLoRA jest twoją domyślną metodą, bo to jedyna z trzech, która wiarygodnie zmieści model 7B w tym limicie. Nie sięgaj po full fine-tuning na jednej konsumenckiej karcie; tabela powyżej już mówi, że zadanie 7B się nie zmieści, a ty spędzisz weekend, ucząc się tego na własnej skórze.
2. Następnie sprawdź swoje zadanie i wymagany poziom jakości. Jeśli twoim zadaniem jest wykonywanie instrukcji, generowanie ustrukturyzowanych danych wyjściowych, SQL lub ogólna adaptacja do domeny, dane Anyscale wskazują, że LoRA i QLoRA dają jakość bliską pełnej. Zostań przy domyślnej opcji. Jeśli twoje zadanie wymaga intensywnego rozumowania (matematyka wieloetapowa, złożone łańcuchy logiczne) a jakość jest niepodlegająca negocjacjom, to twój pierwszy realny powód, by rozważyć przejście na full fine-tuning, ponieważ to jedyny typ zadania, w którym benchmarki pokazują stałą różnicę.
3. Następnie rozważ szybkość. QLoRA poświęca część szybkości na krok w zamian za oszczędność pamięci: baza 4-bitowa musi być dekwantyzowana na bieżąco. Jeśli masz wystarczającą pamięć VRAM, aby uruchomić zwykłą LoRA (16-24 GB dla modelu 7B), zyskujesz szybsze kroki i unikasz szumu związanego z kwantyzacją, co czyni LoRA lepszym wyborem, gdy pamięć nie jest czynnikiem ograniczającym i często iterujesz.
Kiedy is czy full fine-tuning to właściwa odpowiedź? Wskazówka Axolotla jest jasna: jest wymagany do pre-trainingu i jest wyborem "gdy masz dużo pamięci GPU lub konfigurację wielu GPU i potrzebujesz maksymalnej wydajności". Poza tymi warunkami (a dla ogromnej większości praktycznego fine-tuningu, czyli adaptacji istniejącego modelu do konkretnego zachowania lub domeny) metody efektywne parametrycznie dają większość jakości za ułamek sprzętu.
Unsloth jasno przedstawia domyślny wybór:
"Zalecamy zaczynać od QLoRA, ponieważ jest to jedna z najbardziej dostępnych i skutecznych metod trenowania modeli."
Taka jest zasada. Domyślnie wybieraj QLoRA, przechodź na LoRA dla szybkości, gdy masz wystarczającą pamięć, a na pełny fine-tuning przechodź tylko wtedy, gdy wymusza to zadanie lub skala.
Wniosek z sekcji: QLoRA to opcja domyślna; LoRA to aktualizacja dająca szybkość i większy zapas; pełny fine-tuning to wyjątek, który uzasadnia się przesunięciem rozkładu, pre-treningiem lub benchmarkiem rozumowania.
Co ludzie najczęściej rozumieją źle w metodach fine-tuningu?
Za większością zmarnowanych weekendów stoją dwa błędne przekonania. Pierwsze to traktowanie fine-tuningu jako sposobu na nauczenie modelu nowych faktów, gdy jego głównym efektem jest kształtowanie zachowania. Drugie to założenie, że jakość można kupić, przekręcając jeden gałkę: że wyższy rank LoRA albo full fine-tuning zamiast QLoRA automatycznie dają lepszy model. Oba są prawdziwe tylko w połowie, i właśnie dlatego wprowadzają w błąd.
Czy fine-tuning uczy model nowych faktów?
W tej sprawie istnieje prawdziwy podział wśród ekspertów, więc lepiej dobrze zrozumieć niuans, niż wybierać stronę. Kilka praktycznych przewodników nazywa stwierdzenie „fine-tuning uczy nowych faktów” błędnym przekonaniem numer jeden: ich argument brzmi, że fine-tuning jest dużo lepszy w kształtowaniu tego, jak model odpowiada, niż w rzetelnym wprowadzaniu konkretnych faktów, których nigdy nie widział podczas pre-treningu. Dokumentacja Unsloth zdecydowanie się z tym nie zgadza, nazywając stwierdzenie, że fine-tuning nie może nauczyć nowej wiedzy, „fałszywym”, i opisując fine-tuning jako sposób na „wprowadzanie i uczenie się nowych informacji specyficznych dla danej dziedziny”.
Obie strony mają częściowo rację, a łącząca interpretacja jest taka: fine-tuning jest wiarygodny w kształtowaniu zachowania i wzmacnianiu wiedzy już utajonej w modelu bazowym, i może kodować wzorce specyficzne dla danej dziedziny. Niewiarygodny jest natomiast w osadzaniu odosobnionych faktów, które były całkowicie nieobecne podczas pre-treningu. Im bardziej twój cel przypomina „zapamiętać ten konkretny dokument”, tym większa szansa, że sięgasz po niewłaściwe narzędzie, a retrieval może służyć lepiej. Praktyczna wskazówka przetrwa więc ten spór: opieraj się na fine-tuningu w zakresie zachowania i stylu, ale zachowaj skepetycyzm wobec niego jako mechanizmu wprowadzania faktów.
Czy wyższy rank LoRA zawsze poprawia jakość?
Nie, i to jest gałka, którą najłatwiej przekręcić za daleko. Intuicja podpowiada, że wyższy rank daje adapterowi większą pojemność, więc więcej musi być lepsze. Databricks przetestował to empirycznie i odkrył, że podwojenie rangi "zdaje się nie prowadzić do żadnego zauważalnego wzrostu jakości wyjścia". Tym, co faktycznie miało znaczenie w ich eksperymentach, było to, które warstwy były celem (adaptacja wszystkich warstw liniowych, a nie tylko bloków attention), a nie zwiększanie liczby rank. Wniosek, który warto wyciągnąć: poświęć wysiłek na dostrajanie modułów docelowych i jakość danych, zanim poświęcisz go na rozdmuchiwanie rangi.
Czy jakość LoRA jest zawsze równa pełnemu fine-tuningowi?
Nie zawsze, a niedawny artykuł badawczy wskazuje konkretny tryb błędu. "LoRA vs Full Fine-tuning: An Illusion of Equivalence" autorstwa Shuttleworth et al. wykazuje, że trenowanie LoRA może wprowadzać "wymiary intruzów" (wysoko rangowane wektory singularne nieobecne w modelach po pełnym fine-tuningu) i łączy je z zapominaniem w scenariuszach ciągłego uczenia, gdzie ten sam model jest fine-tunowany wielokrotnie. To konkretne zastrzeżenie, a nie ogólne obalenie: jeśli robisz jedną rundę fine-tuningu dla jednego zadania, szeroko potwierdzona równość jakości wciąż obowiązuje. Jeśli łączysz fine-tuningi w łańcuch i dbasz o zachowanie ogólnych zdolności modelu bazowego, to właśnie ten tryb błędu należy obserwować.
Często zadawane pytania
Jaka jest różnica między LoRA, QLoRA i pełnym fine-tuningiem?
Pełny fine-tuning aktualizuje każdy parametr modelu. LoRA zamraża model bazowy i zamiast tego trenuje niewielkie matryce adapterów o niskiej randze, stanowiące około 0,1-2% parametrów. QLoRA robi to, co LoRA, a dodatkowo kwantyzuje zamrożony model bazowy do precyzji 4-bitowej NF4, dzięki czemu baza zajmuje znacznie mniej pamięci podczas trenowania adapterów. Wynikiem jest wyraźna hierarchia zużycia pamięci: pełny fine-tuning jest najbardziej wymagający, LoRA lżejszy, a QLoRA najlżejszy.
Ile VRAM potrzebuję do fine-tuningu modelu 7B?
Dla modelu 7B dane Axolotl wskazują, że pełny fine-tuning wymaga około 60-80 GB, LoRA 16-24 GB, a QLoRA 10-14 GB. QLoRA jest jedyną z trzech metod, która zwykle mieści się na jednym konsumenckim lub prosumenckim GPU o pojemności 12-24 GB; pełny fine-tuning modelu 7B wymaga pamięci klasy centrum danych lub wielu GPU.
Czy jakość QLoRA jest gorsza niż LoRA lub pełnego fine-tuningu?
To zależy od zadania. Dla większości pracy związanej ze śledzeniem instrukcji i uporządkowanym wyjściem QLoRA znajduje się w granicach kilku procent pełnego fine-tuningu, a Axolotl opisuje tylko "niewielką degradację z powodu szumu kwantyzacji" w porównaniu do zwykłego LoRA. Różnica rośnie w złożonych zadaniach rozumowania, takich jak matematyka, gdzie pełny fine-tuning wykazał konsekwentną przewagę w badaniu Anyscale z 2023 roku na Llama 2.
Kiedy Pełny Fine-Tuning Naprawdę Się Opłaca?
Pełny fine-tuning jest wart swojego kosztu dla pre-treningu, dużych przesunięć rozkładu i zadań krytycznych dla rozumowania, gdzie benchmarki pokazują realną różnicę jakości. To także droga, gdy masz obfitą pamięć GPU lub konfigurację wielu GPU i potrzebujesz maksymalnej jakości. W typowym przypadku (adaptacja istniejącego modelu do konkretnego zachowania lub domeny) LoRA lub QLoRA daje ci większość jakości za ułamek sprzętu.
Czy fine-tuning uczy model nowych faktów?
Częściowo. Fine-tuning jest wiarygodny w kształtowaniu zachowania i wzmacnianiu wiedzy już utajonej w modelu bazowym, i może kodować wzorce specyficzne dla domeny. Jest niewiarygodny w wszczepianiu odrębnych faktów, które były całkowicie nieobecne w pre-treningu. Jest tu prawdziwy spór ekspertów. Dokumentacja Unsloth argumentuje, że fine-tuning może uczyć nowej wiedzy, podczas gdy inne przewodniki nazywają to głównym błędnym przekonaniem, a godzące spojrzenie to używanie fine-tuningu do zachowania i stylu, a sięganie po retrieval, gdy celem jest przywoływanie konkretnych faktów.
Gdzie To Cię Zostawia
Wybór metody sprowadza się do jednej domyślnej opcji i dwóch wyjść ewakuacyjnych: zacznij od QLoRA, przejdź na LoRA, gdy pamięć nie jest ograniczeniem i chcesz szybszych kroków, przejdź na pełny fine-tuning tylko wtedy, gdy wymusi to przesunięcie rozkładu, pre-trening lub benchmark rozumowania.
Po ustaleniu metody, następną decyzją jest sprzęt, który ona sugeruje. Twój wybór metody właśnie powiedział ci, czy szukasz jednej karty konsumenckiej, czy pamięci centrum danych. Jeśli chcesz porównać konkretne karty do obciążeń AI, nasz H100 vs RTX 4090 benchmark obejmuje ten temat. Dobór rozmiaru GPU do wybranej metody i przewodnik krok po kroku dotyczący uruchomienia samego zadania treningowego to własne, osobne przewodniki.