CUDA Core Nedir ve GPU VPS Seçiminde Neden Önemlidir?

Sayılarla dolu teknik özellikler sayfalarına baktığınızda GPU VPS seçmek bunaltıcı gelebilir. Çekirdek sayıları 2.560'tan 21.760'a sıçradı, peki bu ne anlama geliyor?

CUDA çekirdeği, NVIDIA GPU'ların içinde aynı anda binlerce hesaplamayı yürüten ve yapay zeka eğitiminden 3D görüntülemeye kadar her şeye güç sağlayan paralel bir işlem birimidir. Bu kılavuzda bunların nasıl çalıştıkları, CPU ve Tensor çekirdeklerinden nasıl farklı oldukları ve fazla ödeme yapmadan hangi çekirdek sayılarının ihtiyaçlarınızı karşıladığı açıklanmaktadır.

CUDA Çekirdekleri Nedir?

CUDA çekirdekleri, NVIDIA GPU'ların içindeki talimatları paralel olarak yürüten ayrı işlem birimleridir. Temelinde CUDA çekirdek teknolojisi nedir? Bu birimleri aynı işin parçalarıyla aynı anda uğraşan küçük işçiler olarak düşünün.

NVIDIA, grafiklerin ötesinde genel bilgi işlem için GPU gücünü kullanmak üzere 2006 yılında CUDA'yı (Bilgi İşlem Birleştirilmiş Cihaz Mimarisi) tanıttı. resmi CUDA belgeleri kapsamlı teknik ayrıntılar sağlar. Her ünite, kayan nokta sayıları üzerinde temel aritmetik işlemleri gerçekleştirir; bu, tekrarlanan hesaplamalar için mükemmeldir.

Modern NVIDIA GPU'lar bu birimlerin binlercesini tek bir çipte paketliyor. En yeni nesil tüketici GPU'ları 21.000'den fazla çekirdek içerirken, Hopper mimarisine dayalı veri merkezi GPU'ları 16.896'ya kadar. Bu birimler Akışlı Çoklu İşlemciler (SM'ler) aracılığıyla birlikte çalışır.

Birimler SIMT (Tek Komut, Çoklu İş Parçacığı) işlemlerini paralel hesaplama yöntemleriyle yürütür. Bir talimat birçok veri noktasında aynı anda yürütülür. Sinir ağlarını eğitirken veya 3 boyutlu sahneleri işlerken binlerce benzer işlem gerçekleşir. Bu işi eşzamanlı akışlara böldüler ve sıralı olarak yerine aynı anda yürüttüler.

CUDA Çekirdekleri ve CPU Çekirdekleri: Onları Farklı Kılan Nedir?

CPU'lar ve GPU'lar sorunları temelde farklı şekillerde çözer. Modern bir sunucu CPU'su, yüksek saat hızlarında çalışan 8-128'den fazla çekirdeğe sahip olabilir. Bu işlemciler, her adımın bir önceki sonuca bağlı olduğu sıralı işlemlerde mükemmeldir. Karmaşık mantığı ve dallanmayı verimli bir şekilde yönetirler.

GPU'lar bu yaklaşımı tersine çeviriyor. Daha düşük saat hızlarında çalışan binlerce basit CUDA çekirdeğini paketliyorlar. Bu üniteler paralellik yoluyla düşük hızları telafi eder. 16.000 kişi birlikte çalıştığında, toplam verim standart CPU kapasitesini aşıyor.

CPU'lar işletim sistemi kodunu ve karmaşık uygulama mantığını yürütür. GPU'lar aktarım hızına öncelik verirken, görev başlatma ve senkronizasyondan kaynaklanan ek yük, daha yüksek gecikmeye neden olur. Paralel grafik işleme, verilerin taşınmasına öncelik verir. Başlamaları daha uzun sürse de büyük veri kümelerini CPU'lardan daha hızlı işlerler.

Sanal GPU (vGPU) ve Çoklu Örnek GPU (MIG) teknolojileri, işlemcileri birden fazla kullanıcıya dağıtmak için kaynak bölümleme ve planlamayı yönetir. Bu kurulum, ekiplerin, yapılandırmaya bağlı olarak zaman dilimli paylaşım veya özel donanım örnekleri aracılığıyla donanım kullanımını en üst düzeye çıkarmasına olanak tanır.

Sinir ağlarının eğitimi milyarlarca matris çarpımını içerir. 10.000 birimlik bir GPU, 10.000 işlemi aynı anda yürütmekle kalmaz; bunun yerine, verimi en üst düzeye çıkarmak için "warp'lar" halinde gruplandırılmış binlerce paralel iş parçacığını yönetir. Bu devasa paralellik, bu birimlerin yapay zeka geliştiricileri için mutlaka bilinmesi gereken bir konu olmasının nedenidir.

CUDA Çekirdekleri ve Tensör Çekirdekleri: Farkı Anlamak

NVIDIA GPU'lar birlikte çalışan iki özel birim tipi içerir: standart CUDA çekirdekleri ve Tensor çekirdekleri. Rakip teknolojiler değiller; farklı iş yükü kısımlarına hitap ederler.

Standart birimler, FP32 ve FP64 hesaplamalarını, tamsayı matematiğini ve koordinat dönüşümlerini gerçekleştiren genel amaçlı paralel işlemcilerdir. Bu temel CUDA teknolojisi, fizik simülasyonlarından veri ön işlemeye kadar her şeyi özel bir hızlandırma olmadan çalıştırarak GPU hesaplamanın temelini oluşturur.

Tensör çekirdekleri, matris çarpımı ve yapay zeka görevleri için özel olarak tasarlanmış özel birimlerdir. NVIDIA'nın Volta mimarisinde (2017) tanıtılan bu cihazlar, FP16 ve TF32 hassas hesaplamalarında mükemmeldir. En yeni nesil, daha hızlı yapay zeka çıkarımı için FP8'i destekler.

Modern GPU'lar her ikisini de birleştirir. RTX 5090'da 21.760 standart ünitenin yanı sıra 680 beşinci nesil Tensor çekirdeği bulunur. H100, derin öğrenmeyi hızlandırmak için 16.896 standart üniteyi 528 dördüncü nesil Tensor çekirdeğiyle eşleştirir.

Sinir ağlarını eğitirken Tensör çekirdekleri, model boyunca ileri ve geri geçişler sırasında ağır kaldırma işlemini gerçekleştirir. Standart birimler veri yüklemeyi, ön işlemeyi, kayıp hesaplamalarını ve optimize edici güncellemelerini yönetir. Her iki tür de birlikte çalışarak Tensor çekirdeklerinin hesaplama açısından yoğun işlemleri hızlandırmasını sağlar.

Rastgele ormanlar veya gradyan artırma gibi geleneksel makine öğrenimi algoritmaları için standart birimler, Tensor çekirdeklerinin hızlandırdığı matris çarpım modellerini kullanmadığından işi yönetir. Ancak transformatör modelleri ve evrişimli sinir ağları için Tensor çekirdekleri dramatik hızlanmalar sağlıyor.

CUDA Çekirdekleri Ne İçin Kullanılır?

CUDA çekirdekleri, eş zamanlı olarak çok sayıda aynı hesaplamanın yapılmasını gerektiren görevleri güçlendirir. Matris işlemlerini veya tekrarlanan sayısal hesaplamaları içeren herhangi bir çalışma, bunların mimarisinden yararlanır.

Yapay Zeka ve Makine Öğrenimi Uygulamaları

Derin öğrenme, eğitim ve çıkarım sırasında matris çarpımlarına dayanır. Sinir ağlarını eğitirken, her ileri geçiş, ağırlık matrisleri boyunca milyonlarca çarpma toplama işlemi gerektirir. Geri yayılım, geri geçiş sırasında milyonlarca kişi daha ekler.

Birimler veri ön işlemeyi, görüntüleri tensörlere dönüştürmeyi, değerleri normalleştirmeyi ve büyütme dönüşümlerini uygulamayı yönetir. Binlerce görevi aynı anda gerçekleştirebilme yeteneği, GPU'ların yapay zeka için önemli olmasının nedenidir.

Eğitim sırasında öğrenme hızı programlarını, gradyan hesaplamalarını ve optimize edici durum güncellemelerini denetlerler.

Öneri sistemlerini veya sohbet robotlarını çalıştıran AI çıkarım işlemlerine yönelik VPS için, istekleri eş zamanlı olarak işleyerek yüzlerce tahmini aynı anda yürütürler. Bu konudaki rehberimiz AI 2025 için en iyi GPU farklı model boyutları için hangi konfigürasyonların işe yaradığını kapsar.

H100'ün 16.896 birimi Tensor çekirdekleriyle bir araya gelerek 7 milyar parametreli bir modeli aylar yerine haftalar içinde eğitir. Binlerce kullanıcıya hizmet veren sohbet robotları için gerçek zamanlı çıkarım, benzer eşzamanlı yürütme gücü gerektirir.

Bilimsel Hesaplama ve Araştırma

Araştırmacılar bu işlemcileri moleküler dinamik simülasyonları, iklim modellemesi ve genomik analizler için kullanıyor. Her hesaplamanın bağımsız olması, onları eş zamanlı yürütme için mükemmel kılar. Finans kurumları aynı anda milyonlarca senaryoyu içeren Monte Carlo simülasyonlarını çalıştırıyor.

3D Rendering ve Video Prodüksiyonu

Işın izleme, her pikseldeki bağımsız ışınları izleyerek 3 boyutlu sahnelerden yansıyan ışığı hesaplar. Özel RT çekirdekleri geçişi yönetirken, standart birimler doku örneklemeyi ve aydınlatmayı yönetir. Bu bölünme, milyonlarca ışın içeren sahnelerin hızını belirler.

NVENC, H.264 ve H.265 için kodlamayı yönetirken, en yeni mimariler (Ada Lovelace ve Hopper) AV1 için donanım desteği sunar. CUDA efektler, filtreler, ölçeklendirme, gürültü giderme, renk dönüşümleri ve boru hattı tutkalı konularında yardımcı olur. Bu, kodlama motorunun daha hızlı video üretimi için paralel işlemcilerle birlikte çalışmasına olanak tanır.

Blender veya Maya'daki 3D işleme, milyarlarca yüzey gölgelendirici hesaplamasını mevcut birimlere böler. Parçacık sistemleri aynı anda etkileşime giren binlerce parçacığı simüle ettiğinden fayda sağlar. Bu özellikler üst düzey dijital yaratımın anahtarıdır.

CUDA Çekirdekleri GPU Performansını Nasıl Etkiler?

Çekirdek sayıları, eşzamanlı yürütme kapasitesi hakkında size kabaca bir fikir verir, ancak CUDA çekirdekleri sayıların ötesine bakmayı gerektirir. Saat hızı, bellek bant genişliği, mimari verimliliği ve yazılım optimizasyonunun tümü önemli rol oynar.

2,0 GHz'de çalışan 10.000 birimli bir GPU, 1,5 GHz'de 10.000 birimli bir GPU'dan farklı sonuçlar verir. Daha yüksek saat hızı, her birimin saniyede daha fazla hesaplama tamamlaması anlamına gelir. Daha yeni mimariler, daha iyi talimat planlaması yoluyla her döngüye daha fazla iş sığdırır.

Cihazı meşgul edip etmediğinizi kontrol edin ancak şunu unutmayın nvidia-smi kullanım kaba bir ölçümdür. Kaç çekirdeğin iş yaptığını değil, bir çekirdeğin aktif olduğu sürenin yüzdesini ölçer.

# Check GPU utilization percentage

nvidia-smi --query-gpu=utilization.gpu,utilization.memory --format=csv,noheader

Örnek çıktı: %85, %92 (%85 süre etkin, %92 bellek denetleyici etkinliği)

GPU'nuz %60-70 kullanım gösteriyorsa, muhtemelen CPU veri yükleme veya küçük toplu iş boyutları gibi yukarı akış darboğazları yaşıyorsunuz demektir. Ancak çekirdekleriniz belleğe bağlı veya tek iş parçacıklıysa %100 kullanım bile yanıltıcı olabilir. Çekirdek doygunluğunun gerçek bir resmini elde etmek için "SM Verimliliği" veya "SM Aktif" ölçümlerini izlemek üzere Nsight Systems gibi profil oluşturucuları kullanın.

Bellek bant genişliği, bilgi işlem kapasitesi maksimuma çıkarılmadan önce sıklıkla darboğaz haline gelir. GPU'nuz verileri belleğin sağladığından daha hızlı işlerse birimler boşta kalır. H100 SXM5 modeli 3,35 TB/s bant genişliği kullanır 16.896 çekirdeğini beslemek için. Ancak PCIe sürümü bunu 2 TB/s'ye düşürür.

Benzer sayımlara sahip ancak daha düşük bant genişliğine sahip (yaklaşık 1 TB/s) tüketici GPU'ları, yoğun bellek kullanan işlemlerde gerçek dünya hızının azaldığını gösteriyor.

VRAM kapasitesi görevlerinizin boyutunu belirler. FP16 ağırlıkları olsun 70B modeli, tam eğitim daha fazla hafıza gerektirir. Degradeleri ve optimize edici durumlarını hesaba katmalısınız. Bu durumlar, boşaltma stratejilerini kullanmadığınız sürece genellikle ayak izini üç katına çıkarır

A100 80GB, yüksek verimli çıkarımı ve ince ayarı hedefler. Bu arada, sıklıkla 7B modelleri için bahsedilen 24 GB RTX 4090, INT4 gibi modern niceleme tekniklerini kullanırsanız şaşırtıcı bir şekilde 30B+ parametreli modelleri çalıştırabilir. Ancak VRAM'ın tükenmesi, verimi düşüren CPU-GPU veri aktarımlarını zorlar.

Yazılım optimizasyonu, kodunuzun gerçekten tüm bu birimleri kullanıp kullanmadığını belirler. Kötü yazılmış çekirdekler mevcut kaynakların yalnızca bir kısmını meşgul edebilir. Derin öğrenme için cuDNN ve veri bilimi için RAPIDS gibi kütüphaneler, kullanımı en üst düzeye çıkaracak şekilde yoğun şekilde ayarlanmıştır.

Daha Fazla CUDA Çekirdeği Her Zaman Daha İyi Performans Anlamına Gelmez

En yüksek çekirdek sayısına sahip bir GPU satın almak mantıklı görünebilir, ancak birimler diğer sistem bileşenlerini geride bırakırsa veya göreviniz çekirdek sayısına göre ölçeklenmezse para israf etmiş olursunuz.

Bellek bant genişliği ilk sınırı oluşturur. RTX 5090'ın 21.760 birimi, 1.792 GB/s bellek bant genişliğinden besleniyor. Daha az birime sahip eski GPU'lar birim başına orantılı olarak daha yüksek bant genişliğine sahip olabilir.

Mimari farklılıklar önemlidir. 2,2 GHz'de 14.000 birimlik daha yeni bir GPU, saat başına daha iyi talimatlar sayesinde 1,8 GHz'de 16.000 birimlik eski bir GPU'dan daha iyi performans gösterir. Kodunuzun 20.000 birimi etkili bir şekilde kullanabilmesi için uygun paralelleştirmeye ihtiyacı var.

GPU VPS Seçerken CUDA Çekirdekleri Neden Önemlidir?

VPS'niz için doğru CUDA çekirdek GPU yapılandırmasını seçmek, kullanılmayan kaynaklara para israfını veya proje ortasında darboğazlarla karşılaşmayı önler.

H100'ün 80 GB belleği, 4 bit niceleme kullanarak 70B parametre modelleri için çıkarımı yönetir. Ancak tam eğitim için, degradeleri ve optimize edici durumlarını hesaba kattığınızda 34B modeli için 80 GB bile genellikle yetersiz kalır. FP16 eğitiminde bellek alanı önemli ölçüde genişler ve çoğu zaman çoklu GPU parçalama gerektirir.

Gerçek zamanlı tahminler sunan çıkarım işlemleri daha az birime ihtiyaç duyar ancak düşük gecikme süresinden yararlanır. Geliştirme ve prototip oluşturma, algoritmaları test etmek ve kodda hata ayıklamak için orta sınıf GPU'larla iyi çalışır.

4.352 üniteli RTX 4060 Ti, aşırı donanıma para ödemeden test yapmanıza olanak tanır. Yaklaşımınızı doğruladıktan sonra tam eğitim çalıştırmaları için üretim GPU'larına ölçeklendirin.

İşleme ve video çalışması birimlerle bir noktaya kadar ölçeklenir. Blender'ın Döngü oluşturucusu mevcut tüm kaynakları verimli bir şekilde kullanır. 8.000-10.000 birimli bir GPU, sahneleri 4.000 birimli bir GPU'ya göre 2-3 kat daha hızlı işler.

Cloudzy'de yüksek performans sunuyoruz GPU VPS'si Ağır kaldırma için tasarlanmış barındırma. Hızlı işleme ve uygun maliyetli yapay zeka çıkarımı için RTX 5090 veya RTX 4090'ı seçin veya çok büyük derin öğrenme iş yükleri için A100'lere kadar ölçeklendirin. Tüm planlar, gizliliğe öncelik veren politikalar ve kripto para birimi ödeme seçenekleriyle 40 Gbps'lik bir ağ üzerinde çalışır ve kurumsal bürokratik işlemler olmadan size ham güç sağlar.

Yapay zeka modellerini eğitmek, 3D sahneleri oluşturmak veya bilimsel simülasyonları çalıştırmak olsun, ihtiyaçlarınıza uygun çekirdek sayısını seçersiniz. 

Bütçe hususları önemlidir. 6.912 adetlik bir A100'ün maliyeti, 16.896 adetlik bir H100'den çok daha düşük. Birçok operasyon için iki A100, bir H100'den daha iyi bir fiyat-hız oranı sağlar. Başabaş noktası, kodunuzun birden fazla GPU'da ölçeklenip ölçeklenmeyeceğine bağlıdır.

Doğru Sayıda CUDA Çekirdeği Nasıl Seçilir

Piyasadaki mevcut en yüksek rakamları kovalamak yerine gereksinimlerinizi gerçek iş yükü özelliklerine göre eşleştirin.

Mevcut çalışmanızın profilini çıkararak başlayın. Modelleri yerel donanım veya bulut örnekleri üzerinde eğitiyorsanız GPU kullanım ölçümlerini kontrol edin. Mevcut GPU'nuz sürekli olarak %60-70 kullanım gösteriyorsa birimleri maksimuma çıkarmıyorsunuz demektir.

# Quick benchmark to test if you need more cores

import torch

import time

# Test matrix multiplication (CUDA core workload)

size = 10000

a = torch.randn(size, size).cuda()

b = torch.randn(size, size).cuda()

start = time.time()

c = torch.matmul(a, b)

torch.cuda.synchronize()

elapsed = time.time() - start

print(f"Matrix multiplication time: {elapsed:.3f}s")

print(f"TFLOPS: {(2 * size**3) / (elapsed * 1e12):.2f}")

Bu basit kıyaslama, GPU çekirdeklerinizin beklenen verimi sağlayıp sağlamadığını gösterir. Sonuçlarınızı GPU modeliniz için yayınlanan kıyaslamalarla karşılaştırın.

Yükseltme yardımcı olmaz. Öncelikle bellek, bant genişliği veya CPU duraklamaları gibi darboğazları gidermeniz gerekir. Daha sonra bayt cinsinden model boyutunu artı etkinleştirme belleğini hesaplayarak bellek gereksinimlerini tahmin edin.

Toplu iş boyutu çarpı katman çıktılarını ekleyin ve optimize edici durumlarını ekleyin. Bu toplamın VRAM'a sığması gerekir. Gerekli belleği öğrendikten sonra hangi GPU'ların bu eşiği karşıladığını kontrol edin.

# Calculate VRAM needed for a model

# Formula: (parameters × bytes_per_param × 1.2) for overhead

# Example: 7B parameter model in FP16

# 7,000,000,000 × 2 bytes × 1.2 = 16.8 GB VRAM needed

# Check your available VRAM:

nvidia-smi --query-gpu=memory.total --format=csv,noheader

# 24576 MiB (24 GB available - model fits!)

Zaman çizelgenizi düşünün. Sonuçlara saatler içinde ihtiyacınız varsa daha fazla birim için ödeme yapın. Günler sürebilen eğitim çalışmaları, daha küçük GPU'larda ve orantılı olarak daha uzun tamamlama sürelerinde sorunsuz çalışır.

Saat başına maliyet çarpı ihtiyaç duyulan saat toplam maliyeti verir ve bazen daha yavaş GPU'ları genel olarak daha ucuz hale getirir. Performans değişikliklerini gösteren kıyaslama araçları sağlayan birçok çerçeveyi kullanarak ölçeklendirme verimliliğini test edin.

Birimlerin iki katına çıkarılması yalnızca 1,5 kat hızlanma sağlıyorsa, ekstralar maliyetlerine değmez. Fiyat-hız oranının zirve yaptığı tatlı noktaları arayın.

Popüler VPS GPU'lar ve CUDA Çekirdek Sayıları

Farklı GPU katmanları farklı kullanıcı segmentlerine hizmet eder. GPUaaS nedir? Cloudzy gibi sağlayıcıların, fiziksel donanımı kendiniz satın almanıza ve bakımını yapmanıza gerek kalmadan bu güçlü NVIDIA GPU'lara isteğe bağlı erişim sunduğu Hizmet Olarak GPU'dur.

Tüketici RTX kartları (4070, 4080, 4090, 5080, 5090) içerik oluşturucuları ve oyunları hedef alır ancak yapay zeka gelişimi için iyi çalışır. Veri merkezi kartlarından daha düşük fiyatlarla güçlü tek GPU hızı sunarlar.

VPS sağlayıcıları genellikle bunları maliyete duyarlı kullanıcılar için stoklar. Veri merkezi kartları (A100, H100, L40) güvenilirliğe, ECC belleğe ve çoklu GPU ölçeklendirmesine öncelik verir. 7/24 işlemleri yönetirler ve gelişmiş özellikleri desteklerler.

Çoklu Örnek GPU (MIG), bir GPU'yu birden çok yalıtılmış örneğe bölmenize olanak tanır. A100, dengeli özellikleri nedeniyle yeni seçeneklere rağmen popülerliğini koruyor.

NVIDIA çekirdekleri, belleği ve fiyatı arasındaki denge, onu çoğu üretim yapay zeka operasyonu için güvenli bir seçim haline getiriyor. H100 2,4 kat daha fazla ünite sunar ancak maliyeti çok daha fazladır.

Çözüm

Paralel işleme motorları modern yapay zekayı, işlemeyi ve bilimsel hesaplamayı mümkün kılar. Bunların nasıl çalıştığı ve bellekle, saat hızlarıyla ve yazılımla nasıl etkileşime girdiği, GPU VPS yapılandırmalarını seçmenize yardımcı olur.

Daha fazla birim, çalışmanızın etkili bir şekilde paralelleşmesine ve bellek bant genişliği gibi bileşenlerin buna ayak uydurmasına yardımcı olur. Ancak en yüksek çekirdek sayısını körü körüne kovalamak, eğer darboğazlarınız başka yerdeyse para israfına neden olur.

Gerçek operasyonlarınızın profilini çıkararak, zamanın nerede harcandığını belirleyerek ve gereksiz kapasiteyi aşırı satın almadan GPU özelliklerini bu gereksinimlerle eşleştirerek başlayın.

Çoğu yapay zeka geliştirme çalışması için 6.000-10.000 birim, maliyet ve yetenek arasındaki hassas noktayı sağlar. Büyük modelleri eğiten veya yüksek verimli çıkarım sunan üretim operasyonları, H100 gibi 14.000'den fazla birim GPU'dan yararlanır.

İşleme ve video çalışması, yaklaşık 16.000'e kadar birimlerle verimli bir şekilde ölçeklenir, bundan sonra bellek bant genişliği sınırlayıcı faktör haline gelir.

SSS