Hangi NVIDIA GPU Kartı Size Uygun?

Eğitim, fine-tuning ve inference arasındaki fark

AI model eğitimi sırasında modelin parametreleri veriler üzerinden güncellenir. Eğitim için hesaplama gücünün yanında ara sonuçlara, gradyanlara ve optimizasyon verilerine ayrılacak bellek de gerekir. Eğitilmiş bir modelden tahmin veya yanıt üretmek ise inference, yani çıkarım olarak adlandırılır. GPU inference hizmetinde saniyede tamamlanan istek sayısı ve kullanıcıların bekleme süresi belirleyici olabilir.

Fine-tuning, önceden eğitilmiş bir modeli kendi verilerinize veya görevinize uyarlamaktır. Kullanılan yöntem donanım ihtiyacını değiştirir. LoRA gibi yöntemlerde modelin tamamı yerine eklenen küçük parametre grupları eğitilir. Bu yaklaşım, tüm ağırlıkların güncellendiği fine-tuning çalışmasına göre bellek ihtiyacını azaltabilir. Aynı modeli kullanan iki projenin farklı GPU'larla çalışabilmesinin nedenlerinden biri budur.

Bellek kapasitesi ve bellek bant genişliği

GPU belleği, modelin ve çalışma sırasında gereken verilerin tutulduğu alandır. LLM kullanırken model ağırlıklarına ek olarak geçici hesaplamalara ve önceki token bilgilerini saklayan KV önbelleğine yer ayrılır. Token, modelin işlediği metin parçasıdır. Uzun belgeler ve eş zamanlı kullanıcılar, bu önbelleğin büyümesine neden olabilir.

Kabaca bir örnek verelim: Yedi milyar parametreli bir modelin 16 bit biçimindeki ağırlıkları yaklaşık 14 GB yer kaplar. Bu hesap, 16 GB GPU belleğinin uygulamanın tamamına yeteceğini göstermez. Çalıştırma yazılımının ve ek verilerin ihtiyacını da hesaba katmalısınız. Modeli gerçek isteklerle denemek, başlangıçtaki bu hesabı doğrulamanızı sağlar.

Bellek bant genişliği ise GPU'nun bellekteki verilere hangi hızla erişebildiğini ifade eder. İki GPU'nun bellek kapasitesi benzer olsa bile uygulamadaki davranışları farklı olabilir. Özellikle LLM yanıt üretiminin bazı aşamalarında veriyi bellekten taşıma hızı önem kazanır. GPU'nun hesaplama kapasitesiyle bellek kapasitesini ve bant genişliğini birlikte değerlendirin.

Yanıt süresi, ölçeklenebilirlik ve toplam maliyet

Bir sohbet uygulamasında ilk yanıtın ne kadar sürede başladığını ölçmek gerekir. Gece çalışan toplu analiz işinde ise bütün işlemin sabaha kadar tamamlanması öncelikli olabilir. Testlerinizi bu hedeflere göre kurun. Tek kullanıcıyla hızlı çalışan bir modelin, aynı anda yüzlerce istek geldiğinde nasıl davrandığını da görün.

Çoklu GPU kullanacaksanız kartlar arasındaki bağlantıyı, sunucular arası ağı ve depolama hızını inceleyin. NVLink, destekleyen sistemlerde GPU'lar arasındaki veri aktarımını hızlandıran bağlantı teknolojisidir. Ancak uygulamanın da birden fazla GPU üzerinde çalışacak şekilde yapılandırılması gerekir. Kaynak sayısını artırmadan önce işlemin nerede yavaşladığını belirlemek faydalıdır.

Maliyet hesabında saatlik GPU bedeliyle birlikte işin tamamlanma süresini değerlendirin. Daha yüksek saatlik bedelle sunulan bir seçenek, işi daha kısa sürede bitiriyorsa toplamda avantajlı olabilir. Inference için hedef gecikmeyi koruyarak belirli sayıda isteği işleme maliyetini karşılaştırabilirsiniz. Kullanılmayan kapasite, depolama, veri aktarımı ve gerekli yazılım lisansları da bütçenin parçasıdır.

Yazılım uyumluluğunu da bu aşamada kontrol etmek gerekir. Kullandığınız framework, sürücü ve model çalıştırma yazılımının seçilen GPU'yu ve hedeflenen sayısal hassasiyeti desteklemesi önemlidir. Donanımda bulunan bir özellik, mevcut uygulamanız tarafından kullanılmıyorsa beklenen katkıyı sağlamayabilir.

NVIDIA T4 ile küçük modelleri ve inference servislerini çalıştırmak

NVIDIA T4, Turing mimarisine dayanır ve 16 GB GDDR6 belleğe sahiptir. FP16 ve INT8 gibi sayısal biçimleri destekleyen Tensor Core birimleri, uygun yazılımlarla çıkarım işlemlerini hızlandırır. Tensor Core, yapay zeka modellerinde sık kullanılan matris hesaplamaları için geliştirilmiş donanım birimidir. T4'ün 70 watt güç tasarımı da bu modelin öne çıkan özelliklerindendir.

Küçük görüntü sınıflandırma modelleri, ses işleme, öneri sistemleri ve belirli görevler için hazırlanmış tahmin servisleri T4 ile değerlendirilebilir. Örneğin gelen destek taleplerini kategorilere ayıran bir modelde, gerekli yanıt süresi sağlanıyorsa daha büyük bir GPU'ya geçmek gerekmeyebilir. Başlangıç testini, günlük beklenen istek sayısını temsil eden bir yükle yapmak daha anlamlıdır.

T4 seçerken ilk kontrol, modelin ve çalışma verilerinin 16 GB belleğe sığıp sığmadığıdır. Uzun bağlam kullanan büyük dil modelleri veya yoğun eğitim işleri için daha geniş bellekli seçeneklere bakmak gerekir. Aynı işi eğitimle birlikte yürütecekseniz A30; görsel üretim ve daha büyük AI modelleri için L40S değerlendirmeye alınabilir. T4'ün maliyet avantajı olup olmadığını ise güncel hizmet teklifi ve ölçülen performans belirler.

NVIDIA A30 ile eğitim, inference ve bilimsel hesaplamayı bir araya getirmek

NVIDIA A30, Ampere mimarisiyle geliştirilen bir veri merkezi GPU'sudur. 24 GB HBM2 belleği ve 933 GB/s bellek bant genişliği bulunur. T4'e göre daha geniş bellek alanı sunar. TF32 ve BF16 desteği, uygun eğitim yazılımlarında farklı hassasiyet seçenekleriyle çalışmayı mümkün kılar. FP64, yani çift hassasiyet desteği de bilimsel hesaplama tarafında önemlidir.

Tahmin modellerini düzenli olarak yeniden eğiten, veri analitiği yapan veya orta ölçekli AI projeleri yürüten ekipler A30'u değerlendirebilir. Örneğin bir perakende şirketi talep tahmini modelini belirli aralıklarla eğitip gün içinde tahmin üretebilir. Eğitim ve çıkarım sürelerini birlikte ölçmek, A30'un bu iş düzenine uygunluğunu gösterir.

A30, Multi-Instance GPU adı verilen MIG teknolojisiyle en fazla dört bağımsız GPU bölümüne ayrılabilir. Böylece uygun yapılandırmada farklı küçük işler aynı fiziksel GPU'nun ayrılmış kaynaklarını kullanabilir. Bu bölümlerde tüm kartın 24 GB belleği her kullanıcıya verilmez; seçilen profilin kapasitesi geçerlidir.

Modeliniz 24 GB sınırını aşıyorsa daha fazla bellek veya birden fazla GPU gerekir. Rendering ağırlıklı projelerde L40S ve RTX PRO 6000'in grafik özellikleri daha ilgili olabilir. Büyük ölçekli eğitimde ise H100 veya H200'ün bellek ve bağlantı yapısını inceleyebilirsiniz. A30'un güçlü tarafı, bu üst ölçekli ihtiyaçlara geçmeden farklı hesaplama işlerini karşılayabilmesidir.

NVIDIA L40S ile üretken yapay zeka ve görsel iş yüklerini desteklemek

NVIDIA L40S, Ada Lovelace mimarisine sahip, 48 GB GDDR6 ECC bellekli bir GPU'dur. Bellek bant genişliği 864 GB/s düzeyindedir. Dördüncü nesil Tensor Core birimlerini, ışın izlemeyi hızlandıran üçüncü nesil RT Core birimleriyle bir araya getirir. Böylece yapay zeka ve grafik hesaplamaları için aynı altyapı değerlendirilebilir.

Computer Vision, görsel üretimi, video işleme ve rendering yapan şirketler açısından bu birleşim kullanışlıdır. Bir e-ticaret ekibinin ürün görselleri hazırladığını ve aynı ortamda görüntü analizi modelleri çalıştırdığını düşünün. L40S, bu iki çalışma için aday olabilir. Daha küçük modellerin fine-tuning işlemleri de kullanılan yönteme ve bellek ihtiyacına göre planlanabilir.

A30 ile karşılaştırıldığında L40S'nin bellek kapasitesi daha büyüktür; buna rağmen A30'un bellek bant genişliği daha yüksektir. Bu ayrım, tek bir teknik değerin seçim için yeterli olmadığını gösterir. RT Core desteği ve daha geniş bellek alanı gerektiren görsel işlerde L40S'nin özellikleri daha doğrudan karşılık bulur.

L40S'de NVLink ve MIG desteği bulunmaz. Birden fazla L40S kullanmak mümkündür; ancak yoğun GPU iletişimi gerektiren büyük bir eğitim işinde bağlantı yapısını özellikle test etmelisiniz. Tek GPU'da daha fazla belleğe ve grafik özelliklerine ihtiyaç varsa RTX PRO 6000, HBM belleği ve çoklu GPU iletişimi öncelikliyse H100 veya H200 incelenebilir.

NVIDIA RTX PRO 6000 ile yüksek bellekli AI ve profesyonel grafik çalışmaları

RTX PRO 6000 ailesinde farklı sürümler bulunur. Bu bölümde, veri merkezi kullanımı için geliştirilen NVIDIA RTX PRO 6000 Blackwell Server Edition'ın özelliklerini esas alıyoruz. DT Cloud ürün sayfasında alt sürüm belirtilmediği için teklif aşamasında tam model adını doğrulamanız gerekir. Workstation Edition ile Server Edition'ın özelliklerini aynı kabul etmemelisiniz.

Blackwell Server Edition, 96 GB GDDR7 bellek ve yaklaşık 1,6 TB/s bellek bant genişliği sunar. Beşinci nesil Tensor Core, dördüncü nesil RT Core ve FP4 desteğine sahiptir. L40S'nin 48 GB belleğine sığmayan büyük sahneler veya AI modelleri için daha geniş çalışma alanı sağlar.

Mimari görselleştirme, dijital ikiz, sentetik görüntü üretimi ve grafikle yapay zekayı birlikte kullanan projeler bu modelin değerlendirilebileceği alanlardır. Örneğin bir üretim şirketi, tesisin üç boyutlu ortamından görüntü üretip bunları görüntü analizi modelinin geliştirilmesinde kullanabilir. Server Edition'ın dört adede kadar MIG bölümü oluşturabilmesi, farklı işler için kaynak ayırmayı da destekler.

H100 veya H200'ü yalnızca model adlarından hareketle bu kartın yerine koymak doğru bir seçim yöntemi olmaz. RT Core gerektiren görsel uygulamalarla FP64 ağırlıklı bilimsel hesaplamalar farklı donanım özelliklerinden yararlanır. Grafik ihtiyacı bulunmayan, yüksek bellek bant genişliğine duyarlı LLM servislerinde H200'ü de karşılaştırmaya dahil edin. İş L40S üzerinde hedefleri karşılıyorsa iki seçeneğin toplam maliyetini ölçebilirsiniz.

NVIDIA H100 ile büyük ölçekli model eğitimi ve HPC

NVIDIA H100, Hopper mimarisini ve FP8 destekli Transformer Engine teknolojisini kullanır. Transformer Engine, uygun modellerde farklı sayısal hassasiyetleri kullanarak eğitim ve çıkarım hesaplamalarını hızlandırır. H100 SXM sürümünde 80 GB HBM3 bellek ve 3,35 TB/s bellek bant genişliği bulunur. H100 NVL'de GPU başına bellek 94 GB'dir; bu yüzden teklifleri tam sürüm adıyla karşılaştırmak önemlidir.

Sıfırdan model eğiten, büyük modelleri uyarlayan veya çok sayıda GPU ile çalışan ekipler için H100 güçlü bir adaydır. SXM yapılandırmasındaki dördüncü nesil NVLink, GPU'lar arasında 900 GB/s bağlantı bant genişliği sunar. Eğitim verisini besleyen depolama ve sunucular arasındaki ağ da bu sistemin verimini etkiler.

H100'ün FP64 hesaplama yeteneği, çift hassasiyet gerektiren bilimsel uygulamalarda ayrıca değerlendirilmelidir. Mühendislik simülasyonu, bilimsel araştırma veya sayısal analiz çalışmasında kullanılan yazılımın GPU desteğini inceleyin. Bir AI benchmark'ında görülen sonuç, farklı hesaplama yöntemleri kullanan bu uygulamaların süresini doğrudan açıklamaz.

GPU belleği dolduğu için istek sayısını veya bağlam uzunluğunu düşürüyorsanız H200 daha uygun olabilir. Küçük bir inference servisi içinse H100 kapasitesinin ne kadarının kullanılacağına bakın. T4, A30 ya da L40S hedeflenen hizmet seviyesini karşılıyorsa kararı maliyet testiyle verebilirsiniz. H100 seçimini, eğitim veya üretim sürecinizde çözdüğü somut ihtiyaca dayandırın.

NVIDIA H200 ile büyük modeller ve yüksek bellek ihtiyacı

NVIDIA H200 de Hopper mimarisine dayanır. H100'e kıyasla öne çıkan değişiklik, 141 GB HBM3e bellek ve 4,8 TB/s bellek bant genişliğidir. Daha fazla model verisini ve çalışma önbelleğini GPU üzerinde tutabilmek, bellek sınırına takılan uygulamalar açısından önemlidir.

Uzun belgeleri işleyen bir kurumsal asistan, çok sayıda kullanıcıya yanıt veren LLM servisi veya büyük veriyle çalışan bilimsel uygulama H200 için değerlendirilebilir. Modeli belleğe yerleştirdikten sonra eş zamanlı isteklere de alan kalması gerekir. H200'ün ek kapasitesi, uygun modellerde bu alanı büyütmeye yardımcı olur. Sağlayacağı kazanç, kullanılan modele ve servis ayarlarına bağlıdır.

H100 ile seçim yaparken önce mevcut darboğazı ölçün. Uygulama veriyi CPU'dan veya depolamadan bekliyorsa daha fazla GPU belleği tek başına sorunu çözmeyebilir. Model ve çalışma verileri mevcut belleğe rahatça sığıyorsa H200'e geçişin katkısını test sonucuyla değerlendirmek gerekir.

Rendering ve grafik öncelikli projelerde L40S veya RTX PRO 6000 daha uygun özellikler sunabilir. Daha büyük AI modelleri ve yeni nesil çıkarım kapasitesi için plan yapıyorsanız B300 de değerlendirme kapsamına girebilir. H200, özellikle bellek kapasitesi ve bellek erişim hızının birlikte belirleyici olduğu işler için kısa listenizde yer alabilir.

NVIDIA B300 ile Blackwell Ultra tabanlı AI projelerine hazırlık

NVIDIA B300, Blackwell Ultra mimarisinin büyük ölçekli AI iş yüklerine yönelik seçeneklerinden biridir. Model eğitimi, eğitim sonrası uyarlama ve akıl yürütme odaklı çıkarım için geliştirilmiştir. Bir soruya yanıt üretmeden önce daha fazla hesaplama yapan modeller, yoğun kullanıcı talebiyle birleştiğinde farklı bir kapasite ihtiyacı oluşturur. B300 bu tür projeler için değerlendirilmelidir.

NVIDIA'nın güncel Blackwell Ultra veri sayfasında, HGX B300 yapılandırmasındaki GPU başına 270 GB HBM3e bellek ve 7,7 TB/s bellek bant genişliği belirtilir. Bu değerler, mimari tanıtımlarında görülebilen 288 GB üst sınırından farklıdır. Planlama yaparken seçilen ürün yapılandırmasının değerlerini kullanmak gerekir. HGX B300 platformu, sekiz Blackwell Ultra GPU'yu beşinci nesil NVLink ile bir araya getirir.

Beşinci nesil Tensor Core ve ikinci nesil Transformer Engine, FP4 dahil düşük hassasiyetli AI hesaplamalarını destekler. FP4, sayısal değerleri daha az bit ile temsil eder. Bundan yararlanmak için modelin ve kullanılan yazılımın uygun olması gerekir. Düşük hassasiyetle çalışırken çıktı kalitesini kendi verileriniz üzerinde kontrol etmelisiniz.

Uzun bağlamlı LLM'ler, çok modlu üretken yapay zeka, AI ajanları ve yüksek hacimli çıkarım hizmetleri B300'ün incelenebileceği alanlardır. H200 üzerinde bellek sınırına yaklaşan veya daha fazla eş zamanlı kullanıcı hedefleyen projelerde yeni bir seçenek oluşturabilir. Daha küçük bir model mevcut GPU'larla gereken hizmet seviyesini sağlıyorsa geçişin maliyetini ve yazılım uyarlamasını birlikte değerlendirin. FP64 ağırlıklı HPC işlerinde de H100 ve H200 ile uygulama bazında karşılaştırma yapılmalıdır.

NVIDIA B300, DT Cloud GPU Cloud'a yakında geliyor. Bu aşamada B300 ihtiyacınız için ekibimize ön talep iletebilirsiniz. Modelinizin boyutunu, hedef kullanıcı yükünü ve büyüme planınızı paylaşmanız, uygun yapılandırmanın değerlendirilmesine yardımcı olur. Ön talep sürecinde erişim takvimi ve hizmet kapsamı ekibimizle netleştirilmelidir.

Küçük AI projeleri ve gerçek zamanlı inference

Küçük bir tahmin veya sınıflandırma modeli için T4 ve A30 ile başlayıp beklenen trafik altında ölçüm yapabilirsiniz. Kabul edilebilir gecikme sağlanıyor ve bellek yetiyorsa daha üst modele geçme ihtiyacı olmayabilir. İstek sayısı arttığında tek GPU'yu büyütmekle aynı modelin birden fazla kopyasını çalıştırmayı karşılaştırın. Her kopyanın bellekte ayrı yer tuttuğunu unutmayın.

Gerçek zamanlı Computer Vision projelerinde kamera sayısı, görüntü çözünürlüğü ve saniyede işlenecek kare miktarı sonucu değiştirir. L40S veya RTX PRO 6000'i daha yoğun görsel işlerde karşılaştırmaya alabilirsiniz. Testi yalnızca modelin çalışma süresiyle sınırlamayın; görüntünün alınması, çözülmesi ve sonucun uygulamaya iletilmesi de toplam gecikmeye dahildir.

LLM, fine-tuning ve model eğitimi

Hazır bir modeli şirket verileriyle uyarlayacaksanız önce fine-tuning yöntemini seçin. Küçük model ve sınırlı bellek gerektiren bir LoRA denemesiyle tüm parametreleri güncelleyen eğitim aynı kaynak planını gerektirmez. A30 veya L40S ile başlayan değerlendirme, bellek ihtiyacına göre RTX PRO 6000, H100 veya H200'e genişleyebilir.

Büyük ölçekli eğitim ve yoğun LLM servislerinde H100 ile H200'ü, hedeflediğiniz model ve trafik üzerinden karşılaştırın. B300'ü ise Blackwell Ultra'ya uygun yazılım ve kapasite planıyla birlikte ele alın. Kurumsal bir asistanın uzun belgeler üzerinde çalışması ile kısa sorulara yanıt vermesi arasında ciddi kaynak farkları olabilir. Test verileriniz bu kullanım biçimini temsil etmelidir.

Rendering, görsel üretim ve bilimsel hesaplama

Rendering, video ve üretken görsel AI aynı projede bulunuyorsa L40S ile RTX PRO 6000 doğal bir karşılaştırma oluşturur. Sahnenin veya modelin belleğe sığması, kullanılan render motorunun desteği ve tamamlanma süresi üzerinden karar verebilirsiniz. Kullanıcıların interaktif çalıştığı bir ortamda ekran akışının gecikmesini de ölçün.

HPC tarafında ise kullanılan sayısal hassasiyet seçimde belirleyicidir. FP64 gerektiren bir simülasyonda A30, H100 ve H200'ün ilgili hesaplama özelliklerini inceleyin. FP4 veya FP8 için yayımlanan yüksek AI işlem değerlerini bu senaryoya doğrudan taşımayın. Kullanılan bilimsel yazılım ve veri setiyle yapılmış test, burada daha anlamlı bir ölçüttür.

DT Cloud GPU Cloud ile iş yüküne uygun altyapıyı belirlemek

DT Cloud GPU Cloud, kurumsal AI ve görsel hesaplama projeleri için farklı NVIDIA GPU seçeneklerini Türkiye lokasyonlu veri merkezlerinde sunar. İş yüküne göre ayrılmış veya paylaşımlı GPU kaynakları, GPU destekli sanal makineler ve Kubernetes ortamları değerlendirilebilir. Seçilen modelin, bellek profilinin ve desteklenen teknolojilerin teklif kapsamında netleştirilmesi gerekir.

DT Cloud olarak model boyutunuzu, veri setinizi, performans beklentinizi ve bütçenizi birlikte değerlendiriyoruz. GPU seçiminde teknik danışmanlık ve farklı mimarilerde benchmark çalışmalarıyla destek sağlıyoruz. Eğitim süresi, ilk token'a kadar geçen süre, bellek kullanımı ve performans/maliyet dengesi bu değerlendirmede kullanılabilecek ölçütler arasındadır.

Görüşmeye modelinizin adı, kullanılacak yazılım, tahmini eş zamanlı kullanıcı sayısı ve kabul edilebilir yanıt süresiyle gelebilirsiniz. Böylece genel bir donanım listesinden projenize uygun yapılandırmalara geçmek kolaylaşır. Sunulacak GPU modeli ve kaynak kapsamı, ihtiyacınız ve güncel envanter doğrultusunda belirlenir.

İki adet 24 GB GPU, tek bir 48 GB GPU gibi kullanılabilir mi?
Bellekler kendiliğinden tek bir alan olarak birleşmez. Modeli birden fazla GPU'ya dağıtan yazılım ve uygun bağlantı yapısı gerekir; bazı işlerde tek GPU'nun daha geniş belleği daha basit bir kurulum sağlar.

Model eğitimi ve inference için aynı GPU kullanılmalı mı?
Zorunlu değildir. Eğitim için ayrılan kaynaklarla üretimdeki çıkarım kaynaklarını ayrı boyutlandırabilir, her aşamayı kendi süre ve maliyet hedefleriyle değerlendirebilirsiniz.

Daha fazla GPU belleği her zaman daha hızlı sonuç verir mi?
Bellek kapasitesi, sığdırılabilecek model ve çalışma verisi miktarını etkiler. Hız kazancı ise uygulamanın bellek, hesaplama, veri aktarımı veya başka bir aşamada sınırlanmasına bağlıdır.

Nicemleme ile daha küçük bir GPU kullanmak mümkün mü?
Nicemleme, modeldeki sayısal değerlerin daha az bit ile temsil edilmesini sağlayarak bellek ihtiyacını azaltabilir. Ancak desteklenen biçimleri, çıktı kalitesini ve gerçek çalışma hızını kontrol etmeden GPU seçimi yapılmamalıdır.

H100, H200 veya B300 seçerken hangi benchmark kullanılmalı?
Kendi modeliniz, yazılım sürümünüz ve gerçek kullanımı temsil eden veriyle ölçüm yapmanız en faydalı karşılaştırmayı sağlar. Aynı çıktı kalitesi ve gecikme hedefinde tamamlanan iş miktarını ve toplam kaynak maliyetini değerlendirin.

Paylaşımlı GPU hizmetinde hangi bellek kapasitesi esas alınmalı?
Fiziksel kartın toplam belleği yerine size tahsis edilen profilin kullanılabilir belleğini esas almalısınız. MIG veya vGPU desteğinin sunulup sunulmadığını ve kaynak paylaşımının koşullarını teklif üzerinden doğrulayabilirsiniz.

Projeniz için GPU seçeneklerini değerlendirmek veya NVIDIA B300 için ön talebinizi paylaşmak isterseniz DT Cloud GPU Cloud sayfası üzerinden ekibimizle görüşebilirsiniz.