Zum Hauptinhalt springen
50 % Rabatt alle Pläne, begrenzte Zeit. Ab $2.48/mo
16 min left
KI und Machine Learning

Führende KI-Chip-Unternehmen und Hersteller: die NVIDIA-Alternativen, die wirklich ausgeliefert werden

J Von Jeremy 16 Min. Lesezeit
Führende KI-Chip-Unternehmen: eine Grafikkarte, ein Beschleunigermodul, ein Silizium-Wafer und Server-Platinen auf dunkelrotem Hintergrund

Sie können diese Woche eine Tenstorrent Blackhole Entwicklerkarte bestellen. Sie kostet 999 $, ist auf Lager und wird in etwa zwei Wochen versandt. Ein Meta MTIA können Sie über keinen öffentlichen Kanal kaufen oder mieten; Meta beschreibt MTIA als Silizium, das es für die eigenen Workloads betreibt.

Beide Unternehmen zählen zu den führenden KI-Chip-Unternehmen. Um den Abstand zwischen diesen beiden Situationen geht es in diesem Artikel.

Es folgt ein Durchgang Anbieter für Anbieter: was Sie bekommen, über welchen Kanal, und was die Software Sie kostet, sobald Sie die Hardware haben.

Kurzfassung

  • Breit mietbar: AMD Instinct hat weiterhin die größte Public-Cloud-Präsenz außerhalb von NVIDIA, doch die Produktlinie ist weitergezogen. AMD hat die MI400-Serie im Juli 2026 vorgestellt, während MI300X-, MI325X- und MI350-Systeme die bleiben, die Sie am ehesten zur Miete finden.
  • Einzelne Cloud: Googles TPUs bleiben auf Google Cloud, TPU7x Ironwood ist seit März 2026 allgemein verfügbar. AWS Trainium und Inferentia bleiben auf AWS.
  • API plus dedizierte Infrastruktur: Groq, Cerebras und SambaNova bieten alle gehostete Inferenz, doch nur API trifft es nicht mehr. Jeder hat inzwischen zusätzlich einen dedizierten oder lokalen Weg.
  • Hardware, die Sie beschaffen können: Tenstorrent verkauft Blackhole-Karten direkt. Qualcomm präsentiert seine Dragonfly-Rechenzentrumsbeschleuniger über einen Enterprise-Vertriebsweg statt allein über Roadmap-Ankündigungen.
  • Begrenzt oder intern: Intel Gaudi 3 bleibt über ausgewählte IBM-Cloud-Deployments verfügbar, während Crescent Island in der zweiten Jahreshälfte 2026 in das Kunden-Sampling gehen soll. Etched sagt, die ersten Racks gingen im Sommer 2026 an Vertragskunden. Meta MTIA und Microsoft Maia bleiben intern oder Azure-integriert statt öffentliche Self-Service-Beschleuniger zu sein.

Was dieser Artikel nicht behandelt

Drei Dinge liegen bewusst außerhalb des Rahmens, und jeder Anbieterstatus unten gibt den Stand August 2026 wieder.

  • Preise. Die Frage hier lautet, ob Sie die Hardware bekommen, nicht was eine Stunde darauf kostet.
  • Prognosen. Keine Aussagen dazu, wer gewinnt.
  • Consumer- und Desktop-Karten. Das Thema sind Rechenzentrums- und Cloud-Beschleuniger.

Die fünf Wege zu Rechenleistung auf einem KI-Beschleuniger

Fünf Zugangsstufen für KI-Beschleuniger im August 2026, von am offensten bis am stärksten eingeschränkt: viele Clouds für AMD Instinct, eine einzelne Cloud für Google TPU7x und AWS Trainium, gehostete plus dedizierte Infrastruktur für Groq, Cerebras und SambaNova, Hardware oder Enterprise-Vertrieb für Tenstorrent, Qualcomm und Etched, und ausschließlich intern für Meta MTIA und Microsoft Maia 200

Fünf Zugangswege decken die Beschleuniger in diesem Artikel ab: Miete über mehrere Clouds, Miete über eine einzelne Cloud, gehosteter API-Zugang, dedizierte oder direkt beschaffbare Hardware und begrenzter Enterprise-Zugang für Produkte, die nicht breit im Self-Service verfügbar sind. Manche Unternehmen decken inzwischen mehr als einen dieser Wege ab. Eine gesonderte Gruppe bleibt rein intern, ohne öffentliche Möglichkeit, das Silizium zu mieten oder zu kaufen.

Zugang ist ein Status, keine dauerhafte Eigenschaft des Unternehmens. Er verändert sich, wenn neue Generationen erscheinen, Clouds Hardware aufnehmen oder streichen und Anbieter Beschaffungskanäle öffnen oder schließen. Er sagt außerdem nichts über Qualität oder Maßstab. Er beschreibt, wie Sie an die Rechenleistung kommen, und dieser Kanal entscheidet, ob ein Name etwas ist, mit dem Sie arbeiten können.

NVIDIA hält eine große Mehrheit des Umsatzes mit KI-Beschleunigern im Rechenzentrum, ist auf praktisch jeder Cloud vertreten, und CUDA ist die Oberfläche, an der alles andere gemessen wird. Die übrigen KI-Beschleuniger-Unternehmen hier sind interessant, weil man sie auf so unterschiedliche Weise erreicht.

Anbieter und ProduktZugangsstufeSo bekommen Sie esSoftware-StackArbeitslastStatus
NVIDIA (Referenz, keine Alternative)Viele CloudsNahezu jeder Cloud-AnbieterCUDATraining und InferenzAllgemein verfügbar
AMD Instinct MI300XViele CloudsVultr, TensorWave, Oracle Cloud, DigitalOcean, Crusoe, Hot Aisle, RunPod, Seeweb, CirrascaleROCmTraining und InferenzAllgemein verfügbar
AMD Instinct MI325XViele CloudsVultr, TensorWave, DigitalOceanROCmTraining und InferenzAllgemein verfügbar
Google TPU7x (Ironwood)Eine CloudGoogle CloudJAX, und PyTorch über PyTorch/XLATraining und InferenzAllgemein verfügbar seit dem 31. März 2026
AWS TrainiumEine CloudAWS EC2 Trainium-Instanzen und UltraServers (Trn2, Trainium3)Neuron SDKTraining und InferenzAllgemein verfügbar
AWS Inferentia2Eine CloudAWS EC2 Inf2-InstanzenNeuron SDKInferenzAllgemein verfügbar
Groq LPUGehostete API und dedizierte InfrastrukturGroqCloud und GroqMetalOpenAI-kompatible API und der Groq-StackInferenzVerfügbar
Cerebras WSE-3 und CS-3Gehostete API, Enterprise-Cloud, On-PremisesCerebras Cloud und CS-3-SystemeCerebras-Software-StackTraining und InferenzVerfügbar
SambaNova SN50Gehostete API, dediziert, On-PremisesSambaCloud und SambaRackSambaStackInferenzAuslieferung an Kunden beginnt in der zweiten Jahreshälfte 2026
Intel Gaudi 3Ausgewählte CloudIBM Cloud WolkeIntel Gaudi Software-SuiteTraining, Fine-Tuning und InferenzAusgewählte Verfügbarkeit
Tenstorrent BlackholeHardware kaufenDirekt bei TenstorrentOpen-Source-Stack TT-MetaliumInferenz und EntwicklungsarbeitAuf Lager, Versand in etwa zwei Wochen
Qualcomm AI200, AI250 und AI300Enterprise-VertriebVertrieb kontaktierenQualcomm KI-Software-StackInferenzAI200 für 2026 erwartet, AI250-Sampling für 2027 erwartet, AI300-Sampling für 2028 erwartet
Etched SohuDeployments unter VertragEnterprise-VerträgeEtched-Software-StackTransformer-InferenzErste Racks werden im Sommer 2026 ausgeliefert
Meta MTIANicht erhältlichKein externer WegInterne Meta-WerkzeugeMetas eigene Ranking-, Empfehlungs- und GenAI-ArbeitNur intern
Microsoft Maia 200Intern, Azure-integriertMicrosoft-RechenzentrenMaia SDKInferenzIntern ausgerollt, ohne öffentliche Self-Service-Instanz

AMD Instinct ist der, den Sie fast überall mieten können

AMD Instinct hat unter den hier behandelten NVIDIA-Alternativen die breiteste Anbieterbasis: MI300X und MI325X sind bei mehreren Cloud- und Neocloud-Anbietern verfügbar statt an einen einzelnen Hyperscaler gebunden. AMD hat die MI400-Serie im Juli 2026 vorgestellt, angeführt vom MI455X, doch die älteren Generationen bleiben wichtig, weil Sie genau die eher in bestehenden Mietangeboten finden. ROCm bleibt für die meisten bestehenden PyTorch-Workloads die kürzeste Softwareportierung in diesem Artikel.

Die Hardware ist nicht der Engpass. Der MI300X trägt 192 GB HBM3 mit 5,3 TB/s über 304 CDNA3-Recheneinheiten in einem 750-W-Modul. Der MI325X steigert das auf 256 GB HBM3E mit 6 TB/s und 1000 W, eine Kapazität, die unter den zunächst von AMD angekündigten 288 GB blieb.

CUDA-Kerne sind das, was NVIDIA zählt, während AMD Recheneinheiten zählt, und beides lässt sich nicht ineinander umrechnen, weshalb sich Speicher und Bandbreite über Anbieter hinweg sinnvoller vergleichen lassen.

Die Softwarelage hat sich geändert, und der Ruf hinkt hinterher. Die ROCm-Unterstützung für PyTorch ist ins offizielle PyTorch-Repository upstreamed, statt in einem Community-Fork zu leben, und aktuelle ROCm-Releases halten mit aktuellen Frameworks Schritt. ROCm 7.14.0 unterstützt PyTorch 2.12, neben AMDs aktuellen Integrationen für das breitere KI-Software-Ökosystem.

Meine Lesart: Die Reibung, die Leute weiterhin beschreiben, ist nicht der Durchsatz und nicht die Framework-Unterstützung. Es ist Archäologie. Wenn ein CUDA-Setup um drei Uhr morgens kaputtgeht, ist jemand schon auf diese Fehlermeldung gestoßen und hat den Fix aufgeschrieben. Bei ROCm ist die Suche dünner, also geht die Zeit ins Suchen statt ins Reparieren. Diese Kosten tauchen in keinem Benchmark auf.

AMDs Beschleunigerarbeit reicht auch über das Rechenzentrum hinaus, was zählt, wenn Sie günstige Hardware zum Lernen des Stacks wollen.

AMDs Mini-PC-Cluster-Demo läuft auf dem Consumer-Silizium desselben Unternehmens.

Google TPU und AWS Trainium sind auf genau je einer Cloud mietbar

Googles TPU7x und AWS' Trainium sind beide allgemein verfügbar und beide an einen einzigen Anbieter gebunden. TPU läuft auf Google Cloud. Trainium und Inferentia laufen auf AWS. Keiner von beiden gibt Ihnen die anbieterübergreifende Portabilität von AMD oder NVIDIA, und diese Einschränkung kann schwerer wiegen als jede einzelne Spezifikation.

TPU7x ist die erste Veröffentlichung in Googles Ironwood-Familie der siebten Generation und ist seit dem 31. März 2026 allgemein verfügbar. Google positioniert ihn für Training und Inferenz in großem Maßstab. Trillium v6e bleibt verfügbar, während Ironwood Googles aktuell allgemein verfügbare TPU-Generation bleibt. Google hat außerdem TPU 8t und TPU 8i der achten Generation angekündigt, doch beide sind weiterhin als demnächst gelistet.

Die nützlichste Tatsache über TPUs steht nicht im Datenblatt. Es gibt einen kostenlosen Einstieg: Colab und Kaggle bieten beide TPU-Laufzeiten, und die TPU Research Cloud gewährt Forschenden Rechenzeit. Dieser kostenlose Einstieg gibt Ihnen eine Möglichkeit, den TPU-Softwarepfad zu testen, bevor Sie Cloud-Budget binden, auch wenn man nicht annehmen sollte, dass die kostenlosen Dienste speziell die neueste Ironwood-Hardware bereitstellen.

AWS erreicht sein eigenes Silizium über Trainium-Instanzen und UltraServers sowie Inf2-Instanzen für Inferentia2. Trainium3-UltraServers sind seit Dezember 2025 allgemein verfügbar und skalieren auf 144 Chips, nach 64 bei den vorherigen Trn2-UltraServers. Alles läuft über das Neuron SDK. AWS stellt die Portierungskosten optimistischer dar als die meisten Anbieter.

Die AWS-Trainium-Seite gibt an, dass vLLM, HuggingFace Transformers und TorchTitan nativ auf Trainium laufen, ohne eigenen Code und ohne Portierungsaufwand. Das ist die Aussage des Anbieters über sein eigenes Produkt, kein unabhängig überprüftes Ergebnis.

Beide stehen in einem Tausch, den man bewusst eingehen sollte. Sie gewinnen einen zweiten Siliziumlieferanten und verlieren die Möglichkeit, diesen Workload ohne erneute Arbeit in eine andere Cloud zu verschieben, was ein Team, das sich ohnehin auf einen Anbieter festgelegt hat, fast nichts kostet und ein Team, das um die Vermeidung von Festlegung herum gebaut ist, alles.

Was in den Speicher passen muss schränkt die Wahl zuerst ein: 144 GB pro Trainium3-Chip sind ein anderes Planungsproblem als Ironwoods 192 GB, ganz gleich, wer sie verkauft.

Groq, Cerebras und SambaNova gehen über gehostete APIs hinaus

Groq, Cerebras und SambaNova bieten alle gehostete Inferenz, doch die API ist nicht mehr die ganze Zugangsgeschichte. Groq kombiniert GroqCloud mit dedizierter GroqMetal-Infrastruktur. Cerebras bietet Cloud-Zugang neben CS-3-Systemen, die vor Ort laufen können. SambaNova bietet SambaCloud neben SambaRack und SambaStack. Der Unterschied liegt jetzt darin, wie viel Infrastrukturkontrolle Sie brauchen und wie weit Sie in eine Enterprise-Beschaffung hineingehen wollen.

Groq's LPU packs 230MB of on-die SRAM with 80 TB/s of internal bandwidth, a design that trades memory capacity for latency, and GroqCloud exposes it as an OpenAI-compatible endpoint. The ownership story attached to it carries dates worth keeping. On 24 December 2025, Groq entered a non-exclusive inference technology licensing agreement with NVIDIA, and said founder Jonathan Ross and president Sunny Madra would join NVIDIA. Groq continues to operate independently. Simon Edwards, previously its chief financial officer, stepped up to lead it at the time of the deal; check the company for current leadership before citing it.

Groqs eigene Ankündigung sagt, dass GroqCloud ohne Unterbrechung weiterlaufen wird.

Auf der GTC im März 2026 stellte NVIDIA die NVIDIA Groq 3 LPU innerhalb ihrer Vera-Rubin-Plattform vor.

NVIDIAs Vera-Rubin-Ankündigung beschreibt ein LPX-Rack mit 256 LPU-Prozessoren, verfügbar in der zweiten Jahreshälfte 2026.

Cerebras geht den entgegengesetzten physischen Weg: ein einziges Bauteil im Wafer-Maßstab mit 900.000 Kernen und 44 GB On-Chip-SRAM, angegeben mit 125 PFLOPs.

Die Inferenz-Seite von Cerebras bietet 5 $ Startguthaben und beschreibt die Migration als nur zwei Codeänderungen. Eine Unterscheidung bleibt für die Planung wichtig: Die Self-Service-API ist der einfache Inferenzweg, während Training, Fine-Tuning, dedizierte Kapazität und On-Premises-CS-3-Deployments weiter oben auf dem Enterprise-Pfad liegen.

SambaNovas aktuelle Hardware-Geschichte dreht sich um SambaRack SN50, aufgebaut auf 16 SN50-RDUs der fünften Generation pro Rack. SambaCloud bleibt der gehostete Weg, während SambaRack und SambaStack dedizierte Infrastruktur liefern, die vor Ort oder in gehosteten Umgebungen laufen kann.

Der gehostete Zugang bleibt für alle drei der einfachste Einstiegspunkt, beschreibt aber nicht mehr das ganze Produkt.

Tenstorrent verkauft Hardware, die Ihnen gehören kann

Tenstorrent ist der einzige Anbieter in diesem Artikel, dessen Beschleuniger Sie als Privatperson direkt kaufen können, zu einem Preis, der keine Investitionsentscheidung ist.

Die Hardware-Seite von Tenstorrent führt den Blackhole p100a mit 999 $ und die p150a und p150b mit 1.399 $, auf Lager und mit Versand in etwa zwei Wochen. Der Stack ist vollständig quelloffen.

Die Karten tragen 120 Tensix-Kerne und 16 RISC-V-Kerne, mit 28 GB GDDR6 auf der p100a und 32 GB auf dem p150-Paar, bei bis zu 300 W Aufnahme. Die p150a und p150b ergänzen QSFP-DD-Ethernet-Ports, die der p100a fehlen, und genau die kauft man, wenn man Karten miteinander verbinden will. HPCwire berichtete, dass das rackweite Galaxy Blackhole am 28. April 2026 ab 110.000 $ allgemein verfügbar wurde, und die ältere Wormhole-Linie bleibt im Verkauf, darunter eine TT-LoudBox-Workstation für 12.000 $.

Der Vorbehalt ist für die Entscheidung so relevant wie der Preis, und er zeigt auf genau diese ältere Karte. Der Großteil von Tenstorrents Dokumentation, Tutorials und verifizierter Modellunterstützung zielt weiterhin auf Wormhole. Blackholes Softwareunterstützung steht früher im Zyklus. Konkret: Das passt zu jemandem, der echte Portierungsarbeit leisten und Quellcode lesen will, wenn die Doku endet. Es passt nicht zu jemandem, der bestehenden PyTorch-Code unverändert laufen lassen will, was ein völlig vernünftiger Wunsch ist.

Qualcomm, Intel und Etched haben engere Zugangswege

Diese drei sitzen aus voneinander unabhängigen Gründen hinter engeren Zugangswegen. Qualcomm baut eine Rechenzentrums-Beschleuniger-Roadmap über mehrere Generationen rund um Enterprise-Deployments auf. Intel Gaudi 3 bleibt über ausgewählte IBM-Cloud-Deployments verfügbar, während Crescent Island auf das Kunden-Sampling zugeht. Etched sagt, die ersten Sohu-Racks gingen im Sommer 2026 gegen Enterprise-Verträge raus, nicht über einen Self-Service-Cloud-Dienst.

Qualcomms Rechenzentrums-Roadmap umfasst inzwischen Dragonfly AI200, AI250 und den neu angekündigten AI300, mit einer jährlichen Beschleuniger-Kadenz mit Fokus auf Inferenz. Das bleibt ein auf Unternehmen ausgerichteter Weg und nicht die Art von Self-Service-Beschleunigermiete, die Sie heute einem Cloud-Konto hinzufügen können.

Intel ist der lehrreiche Eintrag, weil Gaudi 3 nie eine breite Cloud-Präsenz erreicht hat, aber auch nicht verschwunden ist. IBM Cloud bietet weiterhin Gaudi-3-beschleunigte Virtual-Server-Profile in ausgewählter Verfügbarkeit, darunter Deployments in Dallas, Washington DC und Frankfurt. Intels nächster Schritt ist Crescent Island, eine auf Inferenz ausgerichtete GPU, deren Kunden-Sampling in der zweiten Jahreshälfte 2026 erwartet wird. Gaudi 3 ist heute eine schmale Option, keine abgeschlossene.

Etched baut Sohu, einen auf Transformer-Inferenz spezialisierten ASIC. Das Unternehmen hat 800 Millionen Dollar eingesammelt, verfügt über funktionierendes A0-Silizium, meldet mehr als 1 Milliarde Dollar an unterzeichneten Kundenverträgen, und die ersten Racks sollen im Sommer 2026 ausgeliefert werden. Seine Leistungsangaben stammen von ihm selbst und wurden nicht unabhängig gemessen, die Durchsatzzahlen sind also nicht der nützliche Teil. Der nützliche Teil ist der Software-Stack. Etched baut Chip, Rack und Softwareumgebung als eine spezialisierte Plattform, man sollte also nicht annehmen, dass sich der Serving-Stack aus der CUDA-Ära unverändert übertragen lässt. Für einen Vertragskunden, der Transformer-Inferenz in enormem Maßstab fährt, kann das aufgehen, aber für ein Team, das auf Portabilität zwischen Beschleunigern angewiesen ist, ist es eine deutlich größere Festlegung.

Rein internes Silizium und die Firmen, die Chips für andere bauen

Zwei Situationen sehen von außen wie ein KI-Chip-Unternehmen aus und verhalten sich völlig unterschiedlich. Meta und Microsoft entwerfen Beschleuniger, die sie selbst betreiben und an niemanden verkaufen. Broadcom und Marvell entwerfen und implementieren Silizium für die Architekturen anderer Unternehmen. Keine der beiden Gruppen hat ein Produkt, das eine Entwicklerin mieten kann, und zwar aus Gründen, die nichts gemeinsam haben.

Metas MTIA ist der klarste Fall der ersten Art.

Metas eigener Engineering-Beitrag beschreibt den Einsatz von Hunderttausenden MTIA-Chips für Inferenz-Workloads sowohl bei organischen Inhalten als auch bei Anzeigen in seinen Apps, wobei MTIA 300 bereits produktiv für Ranking- und Empfehlungstraining läuft und MTIA 400, 450 und 500 in einem Rhythmus von etwa sechs Monaten geplant sind. Das ist eine enorme Menge Silizium, von der Sie nie eine Stunde mieten werden.

Microsofts Fall ist an den Rändern weicher. Maia 200, im Januar 2026 vorgestellt, ist Microsofts aktueller hauseigener Inferenzbeschleuniger und bereits in den eigenen Rechenzentren im Einsatz, das Maia SDK ist als Vorschau verfügbar. Microsoft dokumentiert derzeit keine öffentliche Self-Service-Maia-Instanz, damit gehört es weiterhin auf die interne oder Azure-integrierte Seite dieses Vergleichs.

Broadcom und Marvell sind wieder etwas anderes, und das lohnt eine Klarstellung, weil ihre Namen ständig neben dem von NVIDIA auftauchen. Googles TPU ist ein nützliches Beispiel. Google besitzt das TPU-Produkt und die Architektur, während Broadcom Design- und Implementierungsarbeit für kundenspezifisches Silizium beisteuert, die Interconnects, Packaging und den Weg von der Architektur zum fertigungsfähigen Silizium umfassen kann. Broadcom verkauft weder eine TPU noch einen anderen Allzweckbeschleuniger direkt an Entwicklerinnen und Entwickler. Der Umsatz seines KI-Segments erreichte laut Bericht zum ersten Geschäftsquartal 2026 8,4 Milliarden Dollar, ein Plus von 106 Prozent gegenüber dem Vorjahr, was erklärt, warum der Name überall auftaucht. Es ist trotzdem kein Chip, den Sie mieten können.

Und genau hier beginnt das Wort Hersteller ein Gewicht zu tragen, das es nicht halten kann. Broadcom und Marvell fertigen keine Chips, und die meisten der oben aufgeführten KI-Chip-Hersteller auch nicht: Fast alle sind fabless, das heißt, sie entwerfen Silizium und geben die Fertigung vollständig an jemand anderen ab.

Einen Zugangsweg zu Ihrem Workload passend wählen

Training im großen Maßstab verengt die praktischen Optionen schnell: breit verfügbares AMD Instinct, TPU oder Trainium in einer einzelnen Cloud, oder ein Enterprise-Cerebras-Deployment. Produktionsinferenz öffnet mehr Wege, weil Groq, Cerebras und SambaNova alle gehostete Dienste bieten und zugleich irgendeine Form dedizierter Infrastruktur. Experimentieren ist wieder breiter, vom kostenlosen TPU-Zugang bis zu einer Tenstorrent-Karte, die Sie in den eigenen Rechner stecken können.

Diese Grenzen sind weicher, als eine Tabelle zeigen kann. Die Frage ist nicht nur, was das Silizium kann, sondern wo Sie es erreichen, wie viel von Ihrem bestehenden Software-Stack den Umzug übersteht und ob der entstandene Workload später anderswohin ziehen kann. Cerebras kann auf Enterprise-Infrastruktur trainieren und inferieren, während Trainium an AWS gebunden bleibt.

Nichts davon verdrängt NVIDIA. Für die meisten Teams lautet die eigentliche Frage nicht, ob man CUDA verlässt, sondern ob sich ein zweiter Stack daneben zu pflegen lohnt.

Welche Karte zu dimensionieren ist ist die verbleibende Entscheidung, wenn Sie bleiben, wo Sie sind, und das ist eine andere Übung als diese.

Der Kanal entscheidet mehr als der Chip. Eine Karte auf Ihrem Schreibtisch und dieselbe Siliziumklasse hinter der API von jemand anderem sind nicht dasselbe Werkzeug, selbst wenn der Durchsatz nah beieinander landet, denn das eine lässt Sie Dinge ausprobieren, an die Sie noch nicht gedacht haben, und das andere rechnet pro Token ab, was Sie bereits zu fragen wissen.

Häufig gestellte Fragen

Kann man eine Google-TPU tatsächlich mieten?

Ja. TPU7x, Googles aktuell allgemein verfügbare Ironwood-TPU, gibt es auf Google Cloud und nur dort. Ältere TPU-Generationen sind ebenfalls verfügbar, und Colab, Kaggle sowie die TPU Research Cloud bieten für manche Workloads kostenlosen TPU-Zugang. JAX bleibt der native Weg, während PyTorch über PyTorch/XLA läuft.

Welche NVIDIA-Alternative führt bestehenden PyTorch-Code mit dem geringsten Aufwand aus?

AMD Instinct in den meisten Fällen: ROCm ist ein offiziell unterstütztes PyTorch-Backend, der Codepfad existiert also bereits. Googles TPU führt PyTorch über die PyTorch/XLA-Brücke aus, eine Übersetzungsschicht. AWS gibt an, dass vLLM, HuggingFace Transformers und TorchTitan ohne Portierungsaufwand auf Trainium laufen, was die Aussage des Anbieters selbst ist. Am anderen Ende nutzt Etcheds Sohu einen eigenen spezialisierten Software-Stack, rechnen Sie also mit deutlich mehr Portierungsarbeit als bei ROCm oder PyTorch/XLA.

Warum gelten Broadcom und Qualcomm als NVIDIA-Konkurrenten, wenn man ihre Chips nicht mieten kann?

Aus unterschiedlichen Gründen. Broadcom arbeitet an kundenspezifischem Silizium für Unternehmen, die eigene Beschleuniger bauen, statt einen Standardbeschleuniger direkt an Entwickler zu verkaufen. Qualcomm entwirft eigene Dragonfly-Beschleuniger, mit AI200, AI250 und AI300 inzwischen auf der Rechenzentrums-Roadmap, doch der Zugang ist auf Unternehmen ausgerichtet und keine normale Self-Service-Cloud-Miete. Beide konkurrieren in der KI-Infrastruktur, ohne Entwicklern dasselbe öffentliche Zugangsmodell zu bieten wie NVIDIA oder AMD.

Kann man einen KI-Beschleuniger kaufen, statt einen zu mieten?

Ja. Tenstorrent verkauft Blackhole-Entwicklerkarten direkt, von 999 $ für die p100a bis 1.399 $ für die p150a und p150b, auf Lager und mit Versand in etwa zwei Wochen, mit einem vollständig quelloffenen Software-Stack. Der Vorbehalt wiegt so schwer wie der Preis: Der Großteil der Dokumentation und der verifizierten Modellunterstützung zielt weiterhin auf die ältere Wormhole-Karte, planen Sie also Zeit fürs Portieren ein, statt zu erwarten, dass bestehender Code unverändert läuft.

Teilen

Diskussion

Kommentare

Melden Sie sich an, um mitzudiskutieren.

Mehr aus dem Blog

Weiterlesen.

Bereit zum Deployen? Ab 2,48 $/Monat.

Unabhängige Cloud, seit 2008. AMD EPYC, NVMe, 40 Gbps. 14 Tage Geld-zurück-Garantie.