LoRA vs. QLoRA vs. Full Fine-Tuning: Welche Methode solltest du nutzen?

Du hast dich entschieden, ein 7B-Modell auf deinen eigenen Daten zu fine-tunen. Dann triffst du auf die erste echte Weggabelung: drei Methodennamen, jeder mit einer anderen Antwort. Die Unsloth-Docs sagen, fang mit QLoRA an. Axolotl sagt, es hängt von deiner Hardware ab. Die Hälfte der Blogposts, die du überflogen hast, sagt „nimm für das meiste LoRA“ und macht weiter. Währenddessen starrst du auf eine einzige GPU und bist nicht sicher, ob sie überhaupt eine davon stemmen kann.

Das ist die Entscheidung, die allem anderen vorgelagert ist. Die gewählte Methode legt dein VRAM-Budget fest, das VRAM-Budget bestimmt deine Hardware, und die Hardware bestimmt deine Kosten. Wählst du die falsche Methode, verbrennst du entweder Geld für GPU-Speicher, den du nicht brauchtest, oder du verbringst ein Wochenende mit der Jagd nach Out-of-Memory-Abstürzen auf einer Karte, die für die Aufgabe nie gepasst hätte.

Also klären wir das. Hier ist, was LoRA, QLoRA und Full Fine-Tuning tatsächlich unterscheidet, was jede davon an Speicher und Qualität kostet, und eine Regel, um deinen eigenen Fall einer davon zuzuordnen.

Die Kurzfassung

• Der Standard ist QLoRA. Für die meisten Single-GPU-Fine-Tunings starte mit QLoRA. Axolottls Tabelle setzt einen 7-8B-QLoRA-Lauf bei etwa 10-14 GB VRAM an, unter der Annahme kurzer Kontexte und kleiner Micro-Batches. Das passt auf viele Consumer- oder Prosumer-Karten mit 12-24 GB, aber nicht auf jede Karte mit wenig VRAM. Greif zu einfachem LoRA, wenn du Speicher übrig hast und schnellere Schritte willst; reserviere Full Fine-Tuning für die seltenen Fälle, die es wirklich brauchen.
• Die VRAM-Lücke ist groß. Das Fine-Tuning eines 7B-Modells benötigt laut den veröffentlichten Zahlen von Axolotl etwa 60-80 GB für Full Fine-Tuning, 16-24 GB für LoRA und 10-14 GB für QLoRA. Diese Spanne ist der ganze Grund, warum die parameter-effizienten Methoden überhaupt existieren.
• Der Qualitätsverlust ist aufgabenabhängig, nicht einheitlich. Bei den meisten Aufgaben zur Befolgung von Anweisungen und strukturierten Ausgaben liegen LoRA und QLoRA innerhalb weniger Prozent des vollständigen Fine-Tunings. Die Lücke wird bei komplexem Reasoning wie Mathematik größer. Genau dort rechtfertigt vollständiges Fine-Tuning noch seine Kosten.
• Vollständiges Fine-Tuning ist die Ausnahme, nicht die Grundlage. Man greift dazu bei großen Verteilungsverschiebungen, Änderungen im Maßstab des Pre-Trainings oder reasoning-kritischen Aufgaben, bei denen Benchmarks die Lücke zeigen, nicht als sichere Standardwahl.

Was dieser Leitfaden nicht abdeckt

Dies ist ein Leitfaden zur Methodenauswahl, keine Implementierungsanleitung. Einiges liegt bewusst außerhalb des Umfangs:

• LoRA-Varianten (DoRA, VeRA, LoRA+). Die drei Kernmethoden sind die Entscheidung, die zuerst zählt; die Varianten sind Verfeinerungen, zu denen man später greift.
• Schritt-für-Schritt-Code. Hier gibt es keine Installationsbefehle oder Trainingsskripte. Das ist eine separate praktische Anleitung, die hier nicht behandelt wird.
• Multi-GPU-Training (FSDP, DeepSpeed ZeRO) und die Datensatzvorbereitung: beide sind für sich genommen schon umfangreiche Themen.
• RLHF, DPO und Präferenzoptimierung. Das ist eine andere Zielklasse als supervised Fine-Tuning.
• Ob man überhaupt Fine-Tuning betreiben sollte. Wenn Sie nicht sicher sind, ob Fine-Tuning gegenüber Retrieval das richtige Werkzeug ist, verdient dieser Vergleich eine eigene Antwort, bevor Sie hier eine Methode auswählen.

Was unterscheidet LoRA, QLoRA und vollständiges Fine-Tuning wirklich?

Vollständiges Fine-Tuning aktualisiert jeden Parameter des Modells. LoRA friert das Basismodell ein und trainiert stattdessen kleine Low-Rank-Adaptermatrizen (etwa 0,1-2 % der Parameteranzahl). QLoRA fügt LoRA noch einen weiteren Schritt hinzu: Es quantisiert das eingefrorene Basismodell auf 4-Bit-Präzision (mit einem Datentyp namens NF4, NormalFloat), sodass die Basis während des Trainings der Adapter deutlich weniger Speicher benötigt.

Am klarsten behält man die drei im Kopf, wenn man sie sich als Leiter vorstellt, bei der jede Stufe eine Kostenkomponente der darunterliegenden entfernt.

Vollständiges Fine-Tuning ist die unterste Stufe, und die schwerste. Jedes Gewicht ist trainierbar, sodass der Optimizer für jeden Parameter im Modell einen Gradienten und einen Optimizer-Zustand verfolgen muss. Dort geht der Speicher hin, und die Rechnung folgt im nächsten Abschnitt.

LoRA (Low-Rank Adaptation) friert die ursprünglichen Gewichte ein und injiziert kleine trainierbare Matrizen in die Schichten des Modells. Nur diese Matrizen lernen; das Basismodell fährt einfach mit. Das LoRA-Paper berichtet, dass dies die trainierbaren Parameter bei einem 175B-Modell um bis zu 10.000x reduziert und den GPU-Speicher in dieser Größenordnung um etwa das 3-fache senkt, während dabei eine Leistung erzielt wird, die "gleichwertig oder besser als Fine-Tuning in der Modellqualität" ist, bei den von den Autoren getesteten Modellen. Weil so wenige Parameter sich ändern, ist das trainierte Ergebnis winzig. Der PEFT-Blog liefert zwei nützliche Referenzpunkte: einen vollständigen 40-GB-Checkpoint für bigscience/mt0-xxl, und ein separates LoRA-Beispiel, bei dem der gespeicherte Adapter nur 19 MB groß ist. Der Punkt bleibt derselbe: PEFT-Checkpoints sind im Vergleich zu vollständigen Modell-Checkpoints meist winzig.

QLoRA nimmt LoRA und verkleinert den Teil, den LoRA unangetastet gelassen hat: die eingefrorene Basis. Diese Gewichte auf 4-Bit-NF4 zu quantisieren bedeutet, dass das Basismodell nur einen Bruchteil des Speichers belegt, den es bei 16-Bit belegen würde, während die Adapter oben drauf weiterhin mit voller Präzision trainiert werden. Das QLoRA-Paper beschreibt NF4 als "informationstheoretisch optimal für normalverteilte Gewichte", was eine präzise Formulierung dafür ist, dass die 4-Bit-Darstellung so gewählt wird, dass sie zur tatsächlichen Verteilung der Modellgewichte passt, sodass weniger verloren geht, als eine naive 4-Bit-Rundung kosten würde.

Das ist der gesamte konzeptionelle Stack: Vollständiges Fine-Tuning trainiert alles, LoRA friert die Basis ein und trainiert Adapter, QLoRA komprimiert die eingefrorene Basis und trainiert Adapter. Alles andere (VRAM, Qualität, wann man was nutzt) ergibt sich aus diesen drei Entscheidungen.

Wie viel VRAM benötigt jede Methode?

Für ein 7B-Modell liegen die groben Werte bei etwa 60-80 GB für vollständiges Fine-Tuning, 16-24 GB für LoRA und 10-14 GB für QLoRA, laut Axolotls veröffentlichte Tabelle. Die praktische Konsequenz: QLoRA passt üblicherweise auf viele einzelne Consumer- oder Prosumer-GPUs mit 12-24 GB bei kurzem Kontext und kleinen Batches, während vollständiges Fine-Tuning eines 7B-Modells Rechenzentrumsspeicher oder ein Multi-GPU-Setup benötigt.

Warum ist vollständiges Fine-Tuning so aufwendig? Kurze Rechnung. Wenn du jeden Parameter trainierst, hält die GPU drei Dinge pro Parameter: das Gewicht selbst, seinen Gradienten und den Optimizer-Zustand (Adam-artige Optimizer speichern zwei zusätzliche Werte pro Gewicht). Deshalb ist die Speicherrechnung ein Vielfaches der reinen Modellgröße. LoRA friert die Basis ein, sodass diese Gradient-und-Optimizer-Steuer nur für die winzigen Adapter-Matrizen anfällt. QLoRA speichert die eingefrorene Basis zusätzlich in 4-bit statt 16-bit, was die größte verbleibende Kostenposition senkt.

So schneiden die drei Methoden bei verschiedenen Modellgrößen ab, basierend auf der Axolotl-Dokumentation und dem QLoRA-Paper für die Werte großer Modelle:

Quellen: die Axolotl-Dokumentation für alle drei Methoden über verschiedene Modellgrößen hinweg; das QLoRA-Paper berichtet unabhängig davon, dass ein 65B-Modell auf einer einzigen 48-GB-GPU feingetunt wurde, „bei gleichzeitigem Erhalt der vollen 16-Bit-Finetuning-Leistung", was mit dem 70B-QLoRA-Wert übereinstimmt. Der 4-Bit-Quantisierungs-Blog zeigt separat ein 13B-Modell, das auf einer einzigen 16-GB-T4 trainiert wurde, sowie ein 33B-Modell auf einer 24-GB-GPU mit QLoRA. Das sind nützliche Anhaltspunkte, wenn dein Ziel zwischen den Zeilen der Tabelle liegt.

Die eine Zahl, die man sich merken sollte: ein 65B-Modell auf einer einzigen 48-GB-Karte. Das ist das Kernergebnis von QLoRA, und es definiert neu, was „ich habe nur eine GPU" bedeutet.

Fazit des Abschnitts: die VRAM-Hierarchie lautet full >> LoRA > QLoRA, und der Sprung von full zu QLoRA ist groß genug, um einen Job von einem Multi-GPU-Rack auf eine einzige Karte zu verlagern.

Kosten LoRA oder QLoRA dich wirklich Qualität?

Bei den meisten Aufgaben zum Befolgen von Anweisungen und zur strukturierten Ausgabe liegen LoRA und QLoRA nur wenige Prozentpunkte hinter vollständigem Fine-Tuning. Die Lücke wird bei komplexem Reasoning größer (vor allem bei Mathematik), wo vollständiges Fine-Tuning weiterhin klar vorne liegt. Die Antwort ist also nicht „nahezu gleichwertig" oder „schlechter". Es hängt von der Aufgabe ab, und die Art der Aufgabe zeigt dir, auf welcher Seite dieser Grenze du stehst.

Die klarsten aufgabenbezogenen Belege stammen aus einer Anyscale-Studie vom September 2023 zu Anyscale-Studie zu Llama 2. Bei ViGGO, einer Aufgabe zur strukturierten funktionalen Darstellung, erreichte LoRA etwa 95% der Genauigkeit des vollständigen Fine-Tunings bei 7B- und 13B-Modellen: eine Lücke von 2%, die die Autoren als akzeptablen Kompromiss ansahen. Bei der SQL-Generierung kam LoRA fast an das vollständige Fine-Tuning heran, und das LoRA-13B-Modell schlug sogar das vollständig fine-getunte 7B-Modell. Bei GSM8k, einem Mathe-Reasoning-Benchmark, blieb LoRA bei 7B und 13B durchweg hinter dem vollständigen Fine-Tuning zurück, wobei sich die Lücke erst bei 70B verringerte. Das Anyscale-Team vermutet, dass LoRAs Low-Rank-Näherung eine so komplexe Fähigkeit wie mehrstufige Mathematik möglicherweise nicht erfasst.

Ein Vorbehalt zu diesen Zahlen: Diese Studie lief im September 2023 mit Llama 2. Das Muster nach Aufgabentyp (strukturierte Ausgabe nah, komplexes Reasoning weiter entfernt) ist die dauerhafte Erkenntnis, die sich im Kern seitdem gehalten hat. Aber die genauen Prozentsätze können bei einem neueren Basismodell wie Llama 3 oder Mistral abweichen, also behandle die Zahlen als die Form des Kompromisses, nicht als Garantie für dein Modell.

QLoRAs Qualitätsgeschichte ist ihre eigene. Das QLoRA-Paper berichtet, dass Guanaco, sein mit QLoRA trainiertes 65B-Modell, 99,3% der Leistung von ChatGPT im Vicuna-Benchmark erreichte. Stark, aber gebunden an diesen spezifischen Benchmark und diesen Vergleich aus 2023, keine allgemeine Aussage „QLoRA gleich ChatGPT". Im Vergleich zu einfachem LoRA charakterisiert Axolotl QLoRA als mit einer „leichten Verschlechterung durch Quantisierungsrauschen" versehen: die 4-Bit-Basis führt kleine Fehler ein, die LoRAs Vollpräzisionsbasis nicht hat. Für die meisten Arbeiten ist das unsichtbar; für eine Aufgabe, die empfindlich auf kleine Präzisionsverschiebungen reagiert, ist das etwas, das man prüfen sollte, statt es anzunehmen.

Profi-Tipp: Die häufigste Qualitätsüberraschung ist nicht QLoRA gegen LoRA. Es ist ein fine-getuntes Modell, das schlechter ausfällt als das Basismodell, von dem du ausgegangen bist. Das bedeutet meist, dass das Training etwas Ungewolltes getan hat: zu aggressiv auf einem engen Datensatz, oder nur auf der neuen Aufgabe bewertet, während sich die allgemeine Fähigkeit still verschlechterte. Teste das fine-getunte Modell immer mit ein paar Prompts außerhalb deiner Trainingsverteilung, bevor du ihm vertraust. Eine Verschlechterung dort ist das Signal, zurückzurudern, nicht zu veröffentlichen.

Fazit des Abschnitts: die Qualitätsparität ist aufgabenabhängig. Strukturierte Ausgabe und Befolgen von Anweisungen sind sicher für LoRA/QLoRA; komplexes Reasoning ist der Bereich, in dem vollständiges Fine-Tuning seine Kosten noch rechtfertigt.

Wann Solltest Du Welche Methode Wählen?

Beginne mit QLoRA für die meisten Single-GPU-Fine-Tunings. Steige auf einfaches LoRA um, wenn du VRAM-Spielraum hast und schnellere Schritte oder eine etwas höhere Qualitätsobergrenze willst. Reserviere vollständiges Fine-Tuning für Fälle, die es wirklich brauchen: große Verteilungsverschiebungen, Änderungen im Pre-Training-Maßstab oder reasoning-kritische Aufgaben, bei denen die Benchmark-Lücke real ist. Richte dich nach drei Eingaben, in dieser Reihenfolge: verfügbares VRAM, Aufgabentyp und Qualitätsanforderung, dann Geschwindigkeit.

Hier ist die Routenführung als „mach dies, nicht das":

1. Prüfe zuerst deinen VRAM. Wenn du eine einzelne Karte mit 24 GB oder weniger hast (die meisten Consumer- und Prosumer-GPUs), ist QLoRA deine Standardmethode, weil es von den drei Methoden die einzige ist, die ein 7B-Modell zuverlässig in diesen Rahmen passt. Greife bei einer einzelnen Consumer-Karte nicht zum full fine-tuning; die Tabelle oben zeigt dir bereits, dass ein 7B-Job nicht passt, und du verbringst das Wochenende damit, das auf die harte Tour zu lernen.

2. Dann prüfe deine Aufgabe und deinen Qualitätsanspruch. Wenn deine Aufgabe Instruction-Following, strukturierte Ausgaben, SQL oder allgemeine Domänenanpassung ist, zeigen die Anyscale-Daten, dass LoRA und QLoRA dir eine Qualität liefern, die fast an full fine-tuning heranreicht. Bleib bei der Standardwahl. Wenn deine Aufgabe stark auf Reasoning basiert (mehrstufige Mathematik, komplexe logische Ketten) und Qualität nicht verhandelbar ist, ist das dein erster echter Grund, den Wechsel zu full fine-tuning zu erwägen, denn das ist der einzige Aufgabentyp, bei dem Benchmarks eine durchgängige Lücke zeigen.

3. Dann wäge die Geschwindigkeit ab. QLoRA opfert etwas Geschwindigkeit pro Schritt für seine Speicherersparnis: Die 4-Bit-Basis muss on the fly dequantisiert werden. Wenn du genug VRAM für reines LoRA hast (16-24 GB für ein 7B-Modell), bekommst du schnellere Schritte und sparst dir das Quantisierungsrauschen, was LoRA zur besseren Wahl macht, wenn Speicher nicht die begrenzende Größe ist und du viel iterierst.

Wann is ist full fine-tuning die richtige Antwort? Axolotls Empfehlung ist eindeutig: Es ist für das Pre-Training erforderlich und die Wahl, „wenn du reichlich GPU-Speicher oder Multi-GPU-Setups hast und maximale Leistung brauchst.“ Außerhalb dieser Bedingungen (und für die große Mehrheit des praktischen Fine-Tunings, bei dem es darum geht, ein bestehendes Modell an ein bestimmtes Verhalten oder eine Domäne anzupassen) liefern dir die parametereffizienten Methoden den größten Teil der Qualität bei einem Bruchteil der Hardware.

Unsloth formuliert die Standardregel unverblümt:

„Wir empfehlen, mit QLoRA zu beginnen, da es eine der zugänglichsten und effektivsten Methoden zum Trainieren von Modellen ist.“

Das ist die Regel. Standardmäßig QLoRA verwenden, bei ausreichend Speicher für mehr Geschwindigkeit zu LoRA wechseln, und nur dann zum vollständigen Fine-Tuning greifen, wenn die Aufgabe oder der Umfang es erfordern.

Fazit des Abschnitts: QLoRA ist die Standardwahl; LoRA ist das Upgrade für Geschwindigkeit und Spielraum; vollständiges Fine-Tuning ist die Ausnahme, die man mit einer Distributionsverschiebung, einem Pre-Training oder einem Reasoning-Benchmark begründet.

Was verstehen die meisten beim Fine-Tuning falsch?

Zwei Missverständnisse sind für die meisten verschwendeten Wochenenden verantwortlich. Das erste ist, Fine-Tuning als Methode zu behandeln, um einem Modell neue Fakten beizubringen, obwohl seine Hauptwirkung darin besteht, Verhalten zu formen. Das zweite ist die Annahme, man könne Qualität einfach durch das Drehen eines Reglers kaufen: dass ein höherer LoRA-Rang oder full fine-tuning statt QLoRA automatisch ein besseres Modell liefert. Beides ist halb wahr, und genau deshalb führen sie in die Irre.

Bringt Fine-Tuning einem Modell neue Fakten bei?

Hier gibt es eine echte Meinungsverschiedenheit unter Experten, daher lohnt es sich, die Nuance zu verstehen, statt einfach eine Seite zu wählen. Mehrere praktische Leitfäden nennen die Aussage „Fine-Tuning bringt neue Fakten bei“ das Missverständnis Nummer eins: Ihr Argument ist, dass Fine-Tuning viel besser darin ist, zu formen, wie ein Modell antwortet, als zuverlässig spezifische Fakten einzubringen, die es im Pre-Training nie gesehen hat. Die Unsloth-Dokumentation widerspricht dem direkt und bezeichnet die Behauptung, Fine-Tuning könne kein neues Wissen vermitteln, als „falsch“, und beschreibt Fine-Tuning als eine Möglichkeit, „neue domänenspezifische Informationen einzubringen und zu erlernen“.

Beide haben teilweise recht, und die versöhnende Lesart ist folgende: Fine-Tuning ist zuverlässig darin, Verhalten zu formen und Wissen zu verstärken, das im Basismodell bereits latent vorhanden ist, und es kann domänenspezifische Muster kodieren. Unzuverlässig ist es dabei, einzelne Fakten einzupflanzen, die im Pre-Training vollständig gefehlt haben. Je mehr Ihr Ziel wie „dieses spezifische Dokument auswendig lernen“ aussieht, desto wahrscheinlicher greifen Sie zum falschen Werkzeug, und Retrieval könnte Ihnen besser dienen. Der praktische Rat überlebt also die Meinungsverschiedenheit: Verlassen Sie sich beim Fine-Tuning auf Verhalten und Stil, seien Sie skeptisch, wenn es als Mechanismus zur Fakteninjektion eingesetzt wird.

Verbessert ein höherer LoRA-Rang immer die Qualität?

Nein, und das ist der Regler, den man am leichtesten überdreht. Die Intuition sagt, dass ein höherer Rang dem Adapter mehr Kapazität gibt, also müsse mehr auch besser sein. Databricks hat dies empirisch getestet und stellte fest, dass eine Verdoppelung des Rangs „scheinbar zu keiner wahrnehmbaren Verbesserung der Ausgabequalität führt“. Was in ihren Experimenten den entscheidenden Unterschied machte, war die Auswahl der Zielschichten (Anpassung aller linearen Schichten statt nur der Attention-Blöcke), nicht das Hochdrehen der Rang-Zahl. Die Erkenntnis, die man mitnehmen sollte: Investieren Sie Ihren Tuning-Aufwand in Zielmodule und Datenqualität, bevor Sie ihn in die Aufblähung des Rangs investieren.

Ist die Qualität von LoRA immer gleich dem vollständigen Fine-Tuning?

Nicht universell, und ein aktuelles Forschungspapier identifiziert einen konkreten Fehlermodus. "LoRA vs Full Fine-tuning: An Illusion of Equivalence" von Shuttleworth et al. zeigt, dass LoRA-Training "Eindringling-Dimensionen" (hochrangige Singulärvektoren, die in vollständig fine-getunten Modellen fehlen) einführen kann, und bringt sie mit Vergessen in Continual-Learning-Szenarien in Verbindung, bei denen dasselbe Modell wiederholt fine-getunt wird. Das ist ein spezifischer Vorbehalt, keine pauschale Widerlegung: Wer eine einzelne Fine-Tuning-Runde für eine einzelne Aufgabe durchführt, für den gilt die breite Evidenz zur Qualitätsparität weiterhin. Wer Fine-Tunes verkettet und die allgemeine Fähigkeit des Basismodells erhalten möchte, sollte genau diesen Fehlermodus im Blick behalten.

Häufig gestellte Fragen

Was ist der Unterschied zwischen LoRA, QLoRA und vollständigem Fine-Tuning?

Vollständiges Fine-Tuning aktualisiert jeden Parameter im Modell. LoRA friert das Basismodell ein und trainiert stattdessen kleine Low-Rank-Adaptermatrizen, etwa 0,1-2% der Parameter. QLoRA macht das, was LoRA macht, und quantisiert zusätzlich das eingefrorene Basismodell auf 4-Bit-NF4-Präzision, sodass die Basis während des Adaptertrainings deutlich weniger Speicher benötigt. Das Ergebnis ist eine klare Speicherhierarchie: Vollständiges Fine-Tuning ist am aufwendigsten, LoRA leichter, QLoRA am leichtesten.

Wie viel VRAM brauche ich, um ein 7B-Modell zu fine-tunen?

Für ein 7B-Modell liegen die Werte von Axolotl bei vollständigem Fine-Tuning bei etwa 60-80 GB, bei LoRA bei 16-24 GB und bei QLoRA bei 10-14 GB. QLoRA ist von den drei die einzige Methode, die üblicherweise in viele einzelne Consumer- oder Prosumer-GPUs mit 12-24 GB passt; vollständiges Fine-Tuning eines 7B-Modells benötigt Speicher der Rechenzentrumsklasse oder mehrere GPUs.

Ist die Qualität von QLoRA schlechter als bei LoRA oder vollständigem Fine-Tuning?

Das hängt von der Aufgabe ab. Für die meisten Arbeiten zum Befolgen von Anweisungen und strukturierter Ausgabe liegt QLoRA innerhalb weniger Prozent des vollständigen Fine-Tunings, und Axolotl beschreibt gegenüber einfachem LoRA nur eine „leichte Verschlechterung durch Quantisierungsrauschen". Die Lücke wird größer bei komplexen Reasoning-Aufgaben wie Mathematik, wo vollständiges Fine-Tuning in einer Anyscale-Studie von 2023 zu Llama 2 einen konsistenten Vorteil zeigte.

Wann Lohnt Sich Vollständiges Fine-Tuning Wirklich?

Vollständiges Fine-Tuning rechtfertigt seine Kosten für Pre-Training, große Verteilungsverschiebungen und reasoning-kritische Aufgaben, bei denen Benchmarks eine echte Qualitätslücke zeigen. Es ist auch der Weg, wenn du reichlich GPU-Speicher oder ein Multi-GPU-Setup hast und maximale Qualität brauchst. Für den üblichen Fall (Anpassung eines bestehenden Modells an ein bestimmtes Verhalten oder eine Domäne) liefert dir LoRA oder QLoRA den größten Teil der Qualität für einen Bruchteil der Hardware.

Bringt Fine-Tuning einem Modell neue Fakten bei?

Teilweise. Fine-Tuning ist zuverlässig beim Formen von Verhalten und Verstärken von Wissen, das bereits im Basismodell latent vorhanden ist, und es kann domänenspezifische Muster kodieren. Es ist unzuverlässig beim Einpflanzen diskreter Fakten, die im Pre-Training völlig fehlten. Hier gibt es eine echte Expertenmeinungsverschiedenheit. Unsloths Dokumentation argumentiert, dass Fine-Tuning neues Wissen lehren kann, während andere Leitfäden das als Hauptmissverständnis bezeichnen, und die versöhnliche Sichtweise ist, Fine-Tuning für Verhalten und Stil zu nutzen und bei der Suche nach spezifischen Fakten auf Retrieval zurückzugreifen.

Wo Das Dich Hinbringt

Die Methodenwahl läuft auf eine Standardoption und zwei Notausgänge hinaus: Beginne mit QLoRA, steige auf LoRA um, wenn Speicher nicht die Einschränkung ist und du schnellere Schritte willst, steige nur auf vollständiges Fine-Tuning um, wenn eine Verteilungsverschiebung, Pre-Training oder ein Reasoning-Benchmark es erzwingt.

Nachdem die Methode feststeht, ist die nächste Entscheidung die dadurch implizierte Hardware. Deine Methodenwahl hat dir gerade gesagt, ob du eine einzelne Consumer-Karte oder Rechenzentrums-Speicher suchst. Wenn du bestimmte Karten für KI-Workloads vergleichen möchtest, zeigt unser H100 vs. RTX 4090-Benchmark das ab. Die richtige GPU-Größe für die gewählte Methode und eine Schritt-für-Schritt-Anleitung zum Ausführen des Trainingsjobs selbst sind eigene, separate Leitfäden.