LoRA vs. QLoRA vs. Full Fine-Tuning: Metode Mana yang Harus Dipakai?

Anda memutuskan untuk fine-tune model 7B dengan data Anda sendiri. Lalu Anda tiba di percabangan nyata pertama: tiga nama metode, masing-masing dengan jawaban berbeda. Dokumentasi Unsloth bilang mulai dengan QLoRA. Axolotl bilang itu tergantung hardware Anda. Separuh dari postingan blog yang Anda baca sekilas bilang "gunakan LoRA untuk kebanyakan kasus" dan lanjut. Sementara itu Anda menatap satu GPU, tidak yakin apakah itu bisa menjalankan salah satu dari metode tersebut.

Ini adalah keputusan yang mendasari semua yang lain. Metode yang Anda pilih menentukan budget VRAM Anda, budget VRAM menentukan hardware Anda, dan hardware menentukan biaya Anda. Salah pilih metode dan Anda akan menghabiskan uang untuk memori GPU yang tidak Anda butuhkan, atau menghabiskan akhir pekan mengejar crash out-of-memory pada kartu yang sejak awal tidak akan cukup untuk pekerjaan itu.

Jadi mari kita selesaikan. Berikut adalah perbedaan sebenarnya antara LoRA, QLoRA, dan full fine-tuning, biaya masing-masing dalam hal memori dan kualitas, serta aturan untuk mengarahkan kasus Anda ke salah satunya.

Versi Singkat

• Standarnya adalah QLoRA. Untuk sebagian besar fine-tuning satu GPU, mulailah dengan QLoRA. Tabel Axolotl menempatkan run QLoRA 7-8B pada kisaran 10-14 GB VRAM, dengan asumsi konteks pendek dan micro-batch kecil. Itu cocok untuk banyak kartu konsumen atau prosumer 12-24 GB, tapi tidak untuk setiap kartu dengan VRAM rendah. Gunakan LoRA biasa saat Anda punya memori berlebih dan ingin langkah yang lebih cepat; simpan full fine-tuning untuk kasus-kasus jarang yang benar-benar membutuhkannya.
• Kesenjangan VRAM-nya besar. Fine-tuning model 7B membutuhkan sekitar 60-80 GB untuk full fine-tuning, 16-24 GB untuk LoRA, dan 10-14 GB untuk QLoRA, berdasarkan angka yang dipublikasikan Axolotl. Kesenjangan itulah alasan utama mengapa metode yang efisien parameter ini ada.
• Penurunan kualitas bergantung pada tugas, bukan konstan. Pada sebagian besar tugas pengikutan instruksi dan output terstruktur, LoRA dan QLoRA berada dalam selisih beberapa persen dari fine-tuning penuh. Selisihnya melebar pada penalaran kompleks seperti matematika. Di situlah fine-tuning penuh masih sepadan dengan biayanya.
• Fine-tuning penuh adalah pengecualian, bukan standar dasar. Anda beralih ke metode ini untuk perubahan distribusi besar, perubahan skala pre-training, atau tugas yang sangat bergantung pada penalaran di mana benchmark menunjukkan selisihnya, bukan sebagai pilihan default yang aman.

Apa yang Tidak Dicakup Panduan Ini

Ini adalah panduan pemilihan metode, bukan panduan implementasi. Beberapa hal secara sengaja tidak dibahas di sini:

• Varian LoRA (DoRA, VeRA, LoRA+). Ketiga metode inti adalah keputusan yang paling penting untuk diambil dulu; varian-variannya adalah penyempurnaan yang digunakan nanti.
• Kode langkah demi langkah. Tidak ada perintah instalasi atau skrip pelatihan di sini. Itu adalah panduan praktis terpisah yang tidak dibahas di sini.
• Pelatihan multi-GPU (FSDP, DeepSpeed ZeRO) dan persiapan dataset: keduanya adalah topik besar tersendiri.
• RLHF, DPO, dan optimasi preferensi. Ini adalah kelas tujuan yang berbeda dari supervised fine-tuning.
• Apakah Anda perlu melakukan fine-tuning sama sekali. Jika Anda tidak yakin fine-tuning adalah alat yang tepat dibandingkan retrieval, perbandingan itu layak mendapat jawabannya sendiri sebelum Anda memilih metode di sini.

Apa Sebenarnya yang Membedakan LoRA, QLoRA, dan Full Fine-Tuning?

Full fine-tuning memperbarui setiap parameter dalam model. LoRA membekukan model dasar dan sebagai gantinya melatih matriks adapter low-rank kecil (kira-kira 0,1-2% dari jumlah parameter). QLoRA menambahkan satu langkah lagi di atas LoRA: ia mengkuantisasi model dasar yang dibekukan hingga presisi 4-bit (menggunakan tipe data bernama NF4, NormalFloat) sehingga model dasar membutuhkan jauh lebih sedikit memori saat Anda melatih adapter.

Cara paling jelas untuk mengingat ketiganya adalah sebagai sebuah tangga, setiap anak tangga menghilangkan satu biaya dari anak tangga di bawahnya.

Full fine-tuning adalah anak tangga paling bawah, dan paling berat. Setiap bobot dapat dilatih, sehingga optimizer harus melacak gradien dan status optimizer untuk setiap parameter dalam model. Di situlah memori terpakai, dan kita akan membahas hitungannya di bagian berikutnya.

LoRA (Low-Rank Adaptation) membekukan bobot asli dan menyisipkan matriks kecil yang dapat dilatih ke dalam layer model. Hanya matriks itu yang belajar; model dasar sekadar ikut serta. Paper LoRA melaporkan bahwa ini memangkas parameter yang dapat dilatih hingga 10.000x untuk model 175B dan mengurangi memori GPU sekitar 3x pada skala tersebut, sambil menghasilkan performa "setara atau lebih baik dibanding fine-tuning dalam kualitas model" pada model-model yang diuji para penulis. Karena begitu sedikit parameter yang berubah, hasil pelatihannya sangat kecil. blog PEFT memberikan dua titik referensi yang berguna: sebuah checkpoint penuh 40 GB untuk bigscience/mt0-xxl, dan contoh LoRA terpisah di mana adapter yang disimpan hanya berukuran 19 MB. Intinya tetap sama: checkpoint PEFT biasanya sangat kecil dibandingkan dengan checkpoint model penuh.

QLoRA mengambil LoRA dan memperkecil bagian yang tidak disentuh LoRA: basis yang dibekukan. Mengkuantisasi bobot tersebut menjadi NF4 4-bit berarti model dasar hanya menempati sebagian kecil dari memori yang dibutuhkan pada 16-bit, sementara adapter di atasnya tetap dilatih dengan presisi penuh. Paper QLoRA menggambarkan NF4 sebagai "optimal secara teori informasi untuk bobot yang terdistribusi normal," yang merupakan cara tepat untuk menyatakan bahwa representasi 4-bit dipilih agar sesuai dengan bagaimana bobot model sebenarnya terdistribusi, sehingga kerugian yang dialami lebih kecil dibandingkan pembulatan 4-bit yang naif.

Itulah seluruh susunan konseptualnya: full fine-tuning melatih semuanya, LoRA membekukan basis dan melatih adapter, QLoRA mengompresi basis yang dibekukan dan melatih adapter. Semua hal lainnya (VRAM, kualitas, kapan menggunakan yang mana) mengikuti dari tiga pilihan tersebut.

Berapa Banyak VRAM yang Dibutuhkan Setiap Metode?

Untuk model 7B, angka kasarnya sekitar 60-80 GB untuk full fine-tuning, 16-24 GB untuk LoRA, dan 10-14 GB untuk QLoRA, menurut tabel yang dipublikasikan oleh Axolotl. Konsekuensi praktisnya: QLoRA umumnya cocok dengan banyak GPU konsumen atau prosumer tunggal 12-24 GB pada pengaturan konteks pendek dan batch kecil, sementara full fine-tuning model 7B membutuhkan memori data center atau setup multi-GPU.

Mengapa full fine-tuning begitu berat? Hitungan singkat. Saat Anda melatih setiap parameter, GPU menyimpan tiga hal per parameter: bobotnya sendiri, gradiennya, dan status optimizer (optimizer bertipe Adam menyimpan dua nilai tambahan per bobot). Itulah sebabnya biaya memori bisa berkali-kali lipat ukuran model itu sendiri. LoRA membekukan base, sehingga hanya membayar pajak gradient-and-optimizer itu pada matriks adapter yang kecil. QLoRA juga menyimpan base yang dibekukan dalam 4-bit bukan 16-bit, memangkas biaya sisa terbesar.

Berikut perbandingan ketiga metode di berbagai ukuran model, diambil dari dokumentasi Axolotl ditambah paper QLoRA untuk angka model besar:

Sumber: dokumentasi Axolotl untuk ketiga metode di berbagai ukuran model; makalah QLoRA secara independen melaporkan fine-tuning model 65B pada satu GPU 48 GB "sambil menjaga performa tugas finetuning 16-bit penuh," yang sejalan dengan angka QLoRA 70B. Blog Hugging Face tentang blog kuantisasi 4-bit secara terpisah menunjukkan model 13B yang dilatih pada satu T4 16 GB dan model 33B pada GPU 24 GB dengan QLoRA. Itu adalah titik acuan yang berguna jika target Anda berada di antara baris-baris tabel.

Satu-satunya angka yang layak diingat: model 65B pada satu kartu 48 GB. Itulah hasil utama QLoRA, dan itu mengubah makna dari "saya hanya punya satu GPU".

Inti bagian ini: hierarki VRAM adalah full >> LoRA > QLoRA, dan lompatan dari full ke QLoRA cukup besar untuk memindahkan sebuah pekerjaan dari rak multi-GPU ke satu kartu saja.

Apakah LoRA atau QLoRA Benar-Benar Mengorbankan Kualitas?

Untuk sebagian besar tugas instruction-following dan output terstruktur, LoRA dan QLoRA berada dalam selisih beberapa persen dari full fine-tuning. Kesenjangan itu melebar pada penalaran kompleks (matematika khususnya), di mana full fine-tuning masih jelas lebih unggul. Jadi jawabannya bukan "hampir setara" atau "lebih buruk". Semuanya bergantung pada tugasnya, dan jenis tugas itu menunjukkan di sisi mana dari garis tersebut Anda berada.

Bukti paling jelas per jenis tugas datang dari studi Anyscale bulan September 2023 tentang studi Anyscale tentang Llama 2. Pada ViGGO, tugas representasi fungsional terstruktur, LoRA mencapai sekitar 95% akurasi fine-tuning penuh pada model 7B dan 13B: selisih 2% yang dianggap penulis sebagai trade-off yang dapat diterima. Pada generasi SQL, LoRA hampir menyamai fine-tuning penuh, dan model LoRA 13B bahkan mengalahkan model 7B yang di-fine-tune penuh. Pada GSM8k, benchmark penalaran matematika, LoRA secara konsisten berperforma di bawah fine-tuning penuh pada 7B dan 13B, dengan selisih hanya menyempit pada 70B. Interpretasi tim Anyscale adalah bahwa aproksimasi low-rank LoRA mungkin tidak menangkap keterampilan rumit seperti matematika multi-langkah.

Satu catatan tentang angka-angka ini: studi itu dilakukan pada Llama 2 pada September 2023. Pola jenis tugas (output terstruktur dekat, penalaran kompleks lebih jauh) adalah kesimpulan yang tahan lama dan tetap berlaku secara esensial sejak itu. Namun persentase pastinya mungkin berbeda pada model dasar yang lebih baru seperti Llama 3 atau Mistral, jadi perlakukan angka-angka itu sebagai bentuk trade-off, bukan garansi untuk model Anda.

Kisah kualitas QLoRA adalah miliknya sendiri. Paper QLoRA melaporkan bahwa Guanaco, model 65B-nya yang dilatih dengan QLoRA, mencapai 99,3% dari performa ChatGPT pada benchmark Vicuna. Kuat, tetapi terikat pada benchmark spesifik itu dan perbandingan 2023 itu, bukan klaim umum bahwa "QLoRA setara ChatGPT". Dibandingkan dengan LoRA biasa, Axolotl mencirikan QLoRA sebagai memiliki "sedikit degradasi akibat noise kuantisasi": basis 4-bit memperkenalkan kesalahan kecil yang tidak dimiliki basis presisi penuh LoRA. Untuk sebagian besar pekerjaan ini tidak terlihat; untuk tugas yang sensitif terhadap perubahan presisi kecil, ini adalah hal yang layak diperiksa daripada diasumsikan.

Tips Pro: Kejutan kualitas paling umum bukanlah QLoRA versus LoRA. Ini adalah model fine-tuned yang hasilnya lebih buruk daripada model dasar yang Anda mulai. Biasanya ini berarti pelatihan melakukan sesuatu yang tidak Anda maksudkan: terlalu agresif pada dataset yang sempit, atau hanya dievaluasi pada tugas baru sementara kemampuan umum diam-diam menurun. Selalu uji model fine-tuned pada beberapa prompt di luar distribusi pelatihan Anda sebelum mempercayainya. Regresi di sana adalah sinyal untuk mundur, bukan untuk dirilis.

Inti bagian ini: paritas kualitas bergantung pada tugas. Output terstruktur dan pengikutan instruksi aman untuk LoRA/QLoRA; penalaran kompleks adalah tempat fine-tuning penuh masih sepadan dengan biayanya.

Kapan Anda Harus Memilih Setiap Metode?

Mulailah dengan QLoRA untuk sebagian besar fine-tuning GPU tunggal. Naik ke LoRA biasa saat Anda memiliki keleluasaan VRAM dan menginginkan langkah lebih cepat atau plafon kualitas sedikit lebih tinggi. Simpan fine-tuning penuh untuk kasus yang benar-benar membutuhkannya: pergeseran distribusi besar, perubahan skala pra-pelatihan, atau tugas kritis penalaran di mana kesenjangan benchmark nyata. Arahkan dengan tiga input, secara berurutan: VRAM yang tersedia, jenis tugas dan persyaratan kualitas, lalu kecepatan.

Berikut adalah routing sebagai "lakukan ini, bukan itu":

1. Periksa VRAM Anda dulu. Jika Anda menggunakan satu kartu dengan 24 GB atau lebih rendah (sebagian besar GPU konsumen dan prosumer), QLoRA adalah metode default Anda, karena ini satu-satunya dari ketiga metode yang secara andal dapat menampung model 7B dalam batas tersebut. Jangan langsung memilih full fine-tuning pada satu kartu konsumen; tabel di atas sudah menunjukkan bahwa tugas 7B tidak akan cukup, dan Anda akan menghabiskan akhir pekan untuk mempelajarinya dengan cara yang sulit.

2. Lalu periksa tugas Anda dan standar kualitas yang diinginkan. Jika tugas Anda adalah mengikuti instruksi, output terstruktur, SQL, atau adaptasi domain umum, bukti dari Anyscale menunjukkan bahwa LoRA dan QLoRA memberikan kualitas yang mendekati penuh. Tetap gunakan pilihan default. Jika tugas Anda sangat bergantung pada penalaran (matematika multi-langkah, rangkaian logika kompleks) dan kualitas tidak bisa dikompromikan, itulah alasan nyata pertama untuk mempertimbangkan beralih ke full fine-tuning, karena inilah satu-satunya jenis tugas di mana benchmark menunjukkan kesenjangan yang konsisten.

3. Lalu pertimbangkan kecepatan. QLoRA menukar sedikit kecepatan per langkah demi penghematan memorinya: basis 4-bit harus di-dequantize secara langsung saat berjalan. Jika Anda memiliki VRAM untuk menjalankan LoRA biasa (16-24 GB untuk model 7B), Anda mendapatkan langkah yang lebih cepat dan menghindari noise dari kuantisasi, yang membuat LoRA pilihan lebih baik ketika memori bukan kendala utama dan Anda banyak melakukan iterasi.

Lalu, kapan is apakah full fine-tuning jawaban yang tepat? Panduan Axolotl bersifat langsung: ini diperlukan untuk pre-training, dan menjadi pilihan "ketika Anda memiliki memori GPU yang cukup besar atau setup multi-GPU, dan membutuhkan performa maksimal." Di luar kondisi tersebut (dan untuk sebagian besar fine-tuning praktis, yaitu mengadaptasi model yang sudah ada ke perilaku atau domain tertentu), metode yang efisien dalam parameter memberikan sebagian besar kualitas dengan hanya sebagian kecil kebutuhan hardware.

Unsloth menyatakan pilihan default secara jelas:

"Kami menyarankan untuk memulai dengan QLoRA, karena ini adalah salah satu metode yang paling mudah diakses dan efektif untuk melatih model."

Itulah aturannya. Gunakan QLoRA sebagai default, naik ke LoRA untuk kecepatan jika memori mencukupi, dan baru beralih ke full fine-tuning ketika tugas atau skalanya memaksa.

Inti bagian ini: QLoRA adalah pilihan default; LoRA adalah peningkatan untuk kecepatan dan ruang gerak; full fine-tuning adalah pengecualian yang dijustifikasi dengan adanya distribution shift, pre-training, atau benchmark penalaran.

Apa yang sering disalahpahami orang tentang metode fine-tuning?

Dua kesalahpahaman menjadi penyebab sebagian besar akhir pekan yang terbuang. Pertama adalah memperlakukan fine-tuning sebagai cara untuk mengajarkan fakta baru pada model, padahal efek utamanya adalah membentuk perilaku. Kedua adalah anggapan bahwa Anda bisa membeli kualitas hanya dengan memutar satu tombol: bahwa LoRA rank yang lebih tinggi, atau full fine-tuning dibanding QLoRA, secara otomatis menghasilkan model yang lebih baik. Keduanya separuh benar, dan itulah sebabnya keduanya menyesatkan.

Apakah Fine-Tuning Mengajarkan Fakta Baru pada Model?

Yang satu ini memang menjadi perdebatan nyata di antara para ahli, jadi lebih baik memahami nuansanya dengan benar daripada memilih salah satu pihak. Beberapa panduan praktisi menyebut "fine-tuning mengajarkan fakta baru" sebagai kesalahpahaman nomor satu: intinya adalah fine-tuning jauh lebih baik dalam membentuk cara model merespons dibandingkan dalam menyuntikkan fakta spesifik secara andal yang belum pernah dilihatnya selama pre-training. Dokumentasi Unsloth membantah hal ini secara langsung, menyebut klaim bahwa fine-tuning tidak bisa mengajarkan pengetahuan baru sebagai "salah", dan menggambarkan fine-tuning sebagai cara untuk "menyuntikkan dan mempelajari informasi baru yang spesifik pada domain tertentu".

Keduanya sebagian benar, dan pemahaman yang menjembatani keduanya adalah: fine-tuning bisa diandalkan untuk membentuk perilaku dan memperkuat pengetahuan yang sudah laten dalam model dasar, serta dapat mengkodekan pola-pola spesifik domain. Yang tidak bisa diandalkan adalah menanamkan fakta-fakta terpisah yang sama sekali tidak ada selama pre-training. Semakin tujuan Anda terlihat seperti "menghafal dokumen spesifik ini", semakin besar kemungkinan Anda menggunakan alat yang salah, dan retrieval mungkin lebih membantu. Jadi panduan praktisnya tetap berlaku di tengah perbedaan pendapat ini: andalkan fine-tuning untuk perilaku dan gaya, tetapi bersikap skeptis terhadapnya sebagai mekanisme penyuntikan fakta.

Apakah LoRA Rank yang Lebih Tinggi Selalu Meningkatkan Kualitas?

Tidak, dan ini adalah tombol yang paling mudah diputar berlebihan. Intuisinya adalah rank yang lebih tinggi memberi adapter kapasitas lebih besar, jadi lebih banyak pasti lebih baik. Databricks menguji hal ini secara empiris dan menemukan bahwa menggandakan rank "tampaknya tidak menghasilkan peningkatan yang terlihat dalam kualitas output". Yang benar-benar berpengaruh dalam eksperimen mereka adalah lapisan mana yang mereka targetkan (mengadaptasi semua lapisan linear alih-alih hanya blok attention), bukan menaikkan angka rank. Pelajaran yang layak diambil: curahkan upaya tuning Anda pada modul target dan kualitas data sebelum menghabiskannya untuk menggembungkan rank.

Apakah Kualitas LoRA Selalu Setara dengan Full Fine-Tuning?

Tidak selalu, dan sebuah makalah penelitian terbaru menemukan mode kegagalan tertentu. "LoRA vs Full Fine-tuning: An Illusion of Equivalence" oleh Shuttleworth et al. menemukan bahwa pelatihan LoRA dapat menimbulkan "dimensi penyusup" (vektor singular berperingkat tinggi yang tidak ada pada model yang menjalani full fine-tuning) dan mengaitkannya dengan kelupaan (forgetting) pada skenario continual learning, di mana model yang sama menjalani fine-tuning berulang kali. Ini adalah catatan khusus, bukan penolakan menyeluruh: jika Anda melakukan satu putaran fine-tuning untuk satu tugas, bukti luas mengenai kesetaraan kualitas tetap berlaku. Jika Anda merangkai fine-tuning secara berantai dan peduli menjaga kemampuan umum model dasar, inilah mode kegagalan yang perlu diwaspadai.

Pertanyaan yang Sering Diajukan

Apa Perbedaan Antara LoRA, QLoRA, dan Full Fine-Tuning?

Full fine-tuning memperbarui setiap parameter dalam model. LoRA membekukan model dasar dan sebagai gantinya melatih matriks adapter low-rank kecil, sekitar 0,1-2% dari parameter. QLoRA melakukan apa yang dilakukan LoRA dan juga mengkuantisasi model dasar yang dibekukan tersebut ke presisi 4-bit NF4, sehingga model dasar membutuhkan memori jauh lebih kecil saat adapter dilatih. Hasilnya adalah tangga memori yang jelas: full fine-tuning paling berat, LoRA lebih ringan, QLoRA paling ringan.

Berapa Banyak VRAM yang Saya Perlukan untuk Fine-Tune Model 7B?

Untuk model 7B, data dari Axolotl menunjukkan full fine-tuning membutuhkan sekitar 60-80 GB, LoRA 16-24 GB, dan QLoRA 10-14 GB. QLoRA adalah satu-satunya dari ketiganya yang umumnya dapat berjalan pada satu GPU konsumen atau prosumer 12-24 GB; full fine-tuning model 7B membutuhkan memori setingkat data center atau beberapa GPU.

Apakah Kualitas QLoRA Lebih Buruk daripada LoRA atau Full Fine-Tuning?

Itu tergantung pada tugasnya. Untuk sebagian besar pekerjaan pengikutan instruksi dan output terstruktur, QLoRA berada dalam beberapa persen dari fine-tuning penuh, dan Axolotl hanya menggambarkan "sedikit degradasi akibat noise kuantisasi" dibandingkan LoRA biasa. Kesenjangan melebar pada tugas penalaran kompleks seperti matematika, di mana fine-tuning penuh menunjukkan keunggulan konsisten dalam studi Anyscale 2023 tentang Llama 2.

Kapan Fine-Tuning Penuh Sebenarnya Layak Dilakukan?

Fine-tuning penuh sepadan dengan biayanya untuk pra-pelatihan, pergeseran distribusi besar, dan tugas kritis penalaran di mana benchmark menunjukkan kesenjangan kualitas yang nyata. Ini juga jalan yang tepat ketika Anda memiliki memori GPU yang cukup atau pengaturan multi-GPU dan memerlukan kualitas maksimum. Untuk kasus umum (mengadaptasi model yang ada ke perilaku atau domain tertentu), LoRA atau QLoRA memberi Anda sebagian besar kualitas dengan sebagian kecil dari perangkat keras.

Apakah Fine-Tuning Mengajarkan Fakta Baru pada Model?

Sebagian. Fine-tuning dapat diandalkan dalam membentuk perilaku dan memperkuat pengetahuan yang sudah laten dalam model dasar, dan dapat mengkodekan pola spesifik domain. Ini tidak dapat diandalkan dalam menanamkan fakta-fakta diskret yang sepenuhnya tidak ada dalam pra-pelatihan. Ada ketidaksepakatan ahli yang nyata di sini. Dokumentasi Unsloth berargumen bahwa fine-tuning dapat mengajarkan pengetahuan baru, sementara panduan lain menyebut ini sebagai kesalahpahaman utama, dan pandangan yang mendamaikan adalah menggunakan fine-tuning untuk perilaku dan gaya, dan beralih ke retrieval ketika tujuannya adalah mengingat fakta spesifik.

Ke Mana Ini Membawa Anda

Pilihan metode bermuara pada satu default dan dua jalan keluar: mulai dengan QLoRA, naik ke LoRA saat memori bukan kendala dan Anda menginginkan langkah lebih cepat, naik ke fine-tuning penuh hanya ketika pergeseran distribusi, pra-pelatihan, atau benchmark penalaran memaksanya.

Dengan metode ditetapkan, keputusan selanjutnya adalah perangkat keras yang diimplikasikannya. Pilihan metode Anda baru saja memberi tahu Anda apakah Anda mencari satu kartu konsumen atau memori data center. Jika Anda ingin membandingkan kartu spesifik untuk beban kerja AI, H100 vs RTX 4090 benchmark mencakup hal itu. Menentukan ukuran GPU untuk metode yang Anda pilih, dan panduan langkah demi langkah untuk menjalankan pekerjaan pelatihan itu sendiri, adalah panduan terpisah tersendiri.