Build Naidia

Was ist NVIDIA Build?

NVIDIA Build ist eine Plattform von NVIDIA, die für AI-Entwickler dazu dient, Modelle zu entdecken, sie online auszuprobieren und zu deployen. Die Plattform bündelt öffentliche Community-Modelle, NVIDIA-Modelle, NIM-Inferenz-APIs, Skills, Blueprints sowie Deployment-Ressourcen in einem einzigen Katalog.

Die Nutzer können zunächst die kostenlosen Entwicklungs-APIs nutzen, die von DGX Cloud beschleunigt werden, um Prototypen zu erstellen. Anschließend können sie entweder Partner-Endpunkte auswählen oder die herunterladbaren NIM-Module in ihrer eigenen GPU-Infrastruktur einsetzen. Es handelt sich dabei nicht um eine Chat-Website für normale Nutzer, sondern um eine Plattform für Entwicklung und Bereitstellung.

Was ist der Zusammenhang zwischen NVIDIA Build und NIM?

NVIDIA Build ist ein Portal für Modelle und Entwicklungsressourcen, während NVIDIA NIM microservices sind, die für die Inferenzfunktionen optimiert wurden und über standardisierte Schnittstellen verfügen. Auf der Seite zu den Modellen werden in der Regel gleichzeitig eine Online-Prototyp-Schnittstelle, Modelldatenkarten, API-Dokumentation sowie verfügbare Deployment-Möglichkeiten angezeigt.

Kernfunktionen

1. Modellentdeckung und Online-Testen

Entwickler können Modelle nach Hersteller, Aufgabe und Tag suchen und auf der Modellseite Prompte sowie Parameter testen. Im Verzeichnis wird außerdem angegeben, ob das Modell kostenlose Endpunkte bietet, heruntergeladen werden kann und welche Integrationen unterstützt werden.

2. Kostenlose NIM-Entwicklungs-API

Einige Modelle bieten kostenlose Serverless-API-Endpunkte für die Entwicklung an, die nach Anmeldung und Erstellung einer NVIDIA-API-Schlüssel genutzt werden können. Die kostenlosen Schnittstellen dienen zum Prototypenbau und zur Bewertung und sollten nicht automatisch als verfügbar mit Produktiv-SLA, langfristiger Stabilität oder unbegrenzten Limits angesehen werden.

3. OpenAI-Stil-Klientenkompatibilität

Viele Beispiele für Textmodellien verwenden einen Client- und Nachrichtenformat im Stil von OpenAI – es muss lediglich der Basis-Endpoint, der Modellname sowie der NVIDIA-Schlüssel geändert werden. Die Kompatibilität verringert vor allem die Kosten für den Umstieg, bedeutet aber nicht, dass alle Parameter und Antwortfelder exakt gleich sind.

4. NIM-Container können heruntergeladen werden.

Für Modelle, die als „Downloadable“ gekennzeichnet sind, können Unternehmen und Entwickler gemäß der Lizenzbedingungen den NIM-Container in lokalen Rechenzentren, in privaten oder öffentlichen Clouds auf GPU-Systemen ausführen. Vor der Bereitstellung müssen Speicherkapazitäten der GPU, Treiber, die Containerumgebung, die Lizenzbedingungen für das Modell sowie die Berechtigungen von NGC überprüft werden.

5. Fähigkeiten und Blueprints

Die Plattform bietet wiederverwendbare Fähigkeiten, Referenzanwendungen und Blueprints zur Erstellung von RAG-, Agenten-, Videoanalyse-, Digital-Person- sowie anderen generativen AI-Werkflüssen. Beispiele helfen bei der Entwicklung von Prototypen, doch für den Produktivbetrieb sind weiterhin Sicherheits-, Überwachungs- und Skalierungsdesigns erforderlich.

6. Modellkarten und API-Dokumentation

Die Modellseite bietet in der Regel Informationen zur Länge des Kontexts, zu Eingabe und Ausgabe, zur Sprache, zum Hardware-Setup, zur Lizenz sowie zu Daten und Risiken. Vor der Entwicklung sollten sowohl die Modellbeschreibung als auch die entsprechende API-Referenz gelesen werden, anstatt nur Beispielcode zu kopieren.

Übersicht der wichtigsten Fähigkeiten

• Erkunden Sie die von NVIDIA und der Community bereitgestellten Sprach-, visuellen, bildbasierten, sprachbasierten sowie wissenschaftlichen Modelle.
• Testen Sie Prompts, Parameter und fließende Ausgaben im Playground der Webseite.
• Erstellen Sie einen API-Schlüssel und rufen Sie die kostenlosen Entwicklungsendpunkte auf.
• Schneller Zugriff auf Modelle mit Python, der Kommandozeile oder kompatiblen Clients.
• Prüfen Sie die Modulkarte, die Aufgabentags, die Lizenzen sowie die Hardwareanforderungen für jedes Modell.
• Laden Sie die entsprechenden NIM-Container herunter und deployen Sie sie in Ihrer eigenen GPU-Infrastruktur.
• Wählen Sie über den Partner-Endpoint einen anderen Cloud-Deployment-Pfad aus.
• Mit Blueprint und Open-Source-Beispielen RAG, Agenten und branchenspezifische Anwendungen aufbauen.
• In einem Unternehmensumfeld kontinuierliche Fehlerbehebung, Support und Bereitstellungsfähigkeit erhalten.

Modell und Aufgabentypen

• Textgenerierung: Chatten, Schlussfolgern, Schreiben, Code und Aufruf von Tools.
• Multimodales Verständnis: Gleichzeitige Analyse von Bildern, Texten, Dokumenten oder Videoinhalten.
• Einbetten und Neuanordnen: Bietet Vektor- und Sortierfunktionen für Such-, RAG- und Empfehlungssysteme.
• Bilder und Videos: Erstellen, Bearbeiten oder Verstehen von visuellen Inhalten.
• Sprache: Spracherkennung, Text-zu-Sprache-Übersetzung und Audioverarbeitung.
• Digitale Biologie: Modelle im Zusammenhang mit der Entdeckung von Proteinen, Molekülen und Medikamenten.
• Physikalische KI: Roboter, autonome Fahrzeuge, Simulationen und Weltmodelle.
• Agenten: Planung, Nutzung von Werkzeugen, Suchfunktionen und mehrschrittige Workflows.

Für welche Benutzer geeignet

• Entwickler, die mehrere offene Model-APIs vergleichen müssen.
• Es werden Teams aufgebaut, die Chat-, RAG-, Code- und Agentenprodukte entwickeln.
• Unternehmen, die von der Verwaltung von Prototypen auf eine eigene GPU-Implementierung wechseln möchten.
• Es ist notwendig, die Container für das Reasoning sowie die Plattformen für künstliche Intelligenz im Bereich Konvergenz und Unternehmensunterstützung zu optimieren.
• Fachleute, die sich mit visuellen, digitalen Biologie-Modellen sowie physikalischen KI-Modellen beschäftigen.
• Architekten, die Blueprint nutzen möchten, um die Architektur von AI-Lösungen in der Branche schnell zu überprüfen.
• Organisationen, die zwischen lokaler Installation, Rechenzentren und Multi-Cloud-Umgebungen eine Entscheidung für die Implementierung treffen müssen.

Wie ruft man die API des ersten Modells auf?

1. Erstellen und Verifizieren eines NVIDIA-Entwicklerkontos.
2. Wählen Sie im Modellverzeichnis das Zielmodell mit der Kennzeichnung „Free Endpoint“ aus.
3. Lesen Sie die Modellkarten, die API-Dokumentation sowie die Einschränkungen hinsichtlich Lizenzen und Eingabe/Ausgabe.
4. Erstellen Sie auf der Modellseite einen API-Schlüssel und speichern Sie ihn umgehend an einem sicheren Ort.
5. Kopieren Sie die offiziellen Python- oder Befehlszeilenbeispiele und konfigurieren Sie die Schlüsselvariablen in Ihrer lokalen Umgebung.
6. Starten Sie mit weniger Anfragen mithilfe von nicht sensiblen Testanweisungen und dokumentieren Sie die Antworten sowie den Verbrauch der Limits.
7. Erhöhung von Timeout, Wiederholungsversuchen, Geschwindigkeitsbeschränkungen, Protokollierung und Fehlerbehandlung.
8. Wählen Sie vor dem Go-Live erneut einen Bereitstellungsweg aus, der Kapazität, Unterstützung und Lizenzen bietet.

Wie man von der kostenlosen Version auf eine selbst gehostete NIM-Version wechselt

1. Stellen Sie sicher, dass das Zielmodell als herunterladbar markiert ist, und überprüfen Sie NIM sowie die Modelllizenz.
2. Überprüfen Sie anhand der Modellbeschreibung die unterstützten GPUs, den Grafikspeicher, die Treiber sowie die Container-Laufumgebung.
3. Erhalten Sie die erforderlichen NGC-Zugriffsrechte sowie den Container-Registry-Schlüssel.
4. Laden Sie das Image in einer isolierten Testumgebung herunter und konfigurieren Sie den Modell-Cache.
5. Nach dem Starten von NIM werden die Schnittstellen mithilfe von Health Checks und kleinen Anfragen überprüft.
6. Wechseln Sie den Anwendungs-Endpoint auf den lokalen Dienst und halten Sie den Modellnamen sowie die Parameter konstant.
7. Es werden Tests zu Durchsatz, Verzögerung, Konkurrenz, Grafikspeicher und Fehlerbehebung durchgeführt.
8. Nach dem Go-Live werden die Container kontinuierlich aktualisiert, Sicherheitslücken behoben sowie Überwachung und Kapazitätsplanung durchgeführt.

Kostenlose Nutzung und Preisinformationen

NVIDIA Build markiert derzeit einige NIMs als kostenlose Entwicklungs-Endpunkte. Laut den offiziellen Beispielmappen von NVIDIA erhalten neue Konten bis zu 5000 kostenlose Punkte; pro NIM-Anfrage wird dabei ein Punkt verbraucht. Die tatsächliche Anzahl der Punkte, die verfügbaren Modelle sowie die Abrechnungsmethode richten sich nach der Konto-Konsole.

NVIDIA Build verfügt nicht über eine einheitliche Preisliste nach Token, die alle Modelle und Produktionsmethoden abdeckt. Modelle, Hosts, GPUs, Durchsatz, Support-Level sowie Unternehmensverträge beeinflussen alle den Gesamtkosten – kostenlose Punkte können daher nicht als langfristiges Produktionsbudget angesehen werden.

Vergleich der Bereitstellungsmethoden

API-Schlüssel und Sicherheit

• Die API-Schlüssel werden nur in Umgebungsvariablen oder einem Schlüsselverwaltungsdienst gespeichert.
• Schreiben Sie den Schlüssel nicht in die Frontend-Seiten, mobilen Anwendungen oder öffentlichen Repositorien.
• Die Entwicklungs-, Test- und Produktionsumgebungen verwenden unterschiedliche Schlüssel und Zugriffsrechte.
• Zu den externen Schnittstellen werden Benutzerauthentifizierung, Limits sowie Missbrauchserkennung hinzugefügt.
• Sensible Informationen, Schlüssel sowie den vollständigen Antwortinhalt werden im Protokoll ausgeblendet.
• Wenn bei der Eingabe in das Modell personenbezogene oder unternehmerische Daten verwendet werden, müssen zunächst die Bedingungen für die Verarbeitung dieser Daten überprüft werden.
• Sofort nach Entdeckung eines Lecks wird der Schlüssel zurückgenommen und außergewöhnliche Aufrufe überprüft.

Modelllizenz und Open-Source-Zustand

NVIDIA Build enthält sowohl NVIDIA-Modelle als auch Modelle aus der Community Dritter; die für die jeweiligen Modelle geltenden Lizenzen unterscheiden sich. Die Angaben „Downloadable“ oder „Open Model“ auf der Seite bedeuten nicht automatisch eine uneingeschränkte Open-Source-Lizenz – es muss stets auf die konkrete Modellkarte sowie die zugehörige Lizenz geachtet werden.

• Überprüfen Sie jeweils die Gewichte des Modells, den Code, die Daten sowie die Lizenzen für den NIM-Container.
• Überprüfen, ob eine kommerzielle Nutzung, Weiterverbreitung, Anpassung sowie die Erstellung abgeleiteter Modelle erlaubt sind.
• Der Name des Drittanbieter-Modells sowie die Lizenz werden vom ursprünglichen Anbieter festgelegt.
• Die API-Testbedingungen und die Lizenzen für self-hosted Modelle können in verschiedenen Dateien enthalten sein.
• In regulierten oder hochriskanten Szenarien sind zusätzliche rechtliche und Sicherheitsbewertungen erforderlich.
• NVIDIA stellt zahlreiche Beispiele und Tools zur Verfügung, doch die Build-Plattform selbst ist kein vollständig open-source-Projekt.

Offizielle GitHub-Ressourcen

• GenerativeAIExamples bietet Referenzanwendungen für RAG, NIM und generative KI.
• Das AI Workbench-Beispiel zeigt, wie man zwischen dem Build-Endpoint und dem Herunterladen von NIM wechselt.
• Metropolis NIM Workflows bietet Beispiele für visuelle und videobasierte Analysen.
• Das NeMo Agent Toolkit enthält Beispiele für Agenten-Workflows und NVIDIA Build-Schlüssel.
• k8s-nim-operator wird zur Verwaltung des NIM-Lebenszyklus in Kubernetes-Umgebungen verwendet.
• Beispiele aus der digitalen Biologie zeigen BioNeMo sowie damit verbundene NIM-Werkflüsse.
• Jede Lagerlizenz, der Wartungszustand und die Produktionsgeeignetheit müssen einzeln überprüft werden.

Vorteile des Produkts

• Zusammenfassen Sie Modellentdeckungen, Online-Tests, API-Dokumentation und Bereitstellungswege an einem einzigen Eingangspunkt.
• Kostenlose Entwicklungsendpunkte senken die Hürden für die Überprüfung von Modellen und den Aufbau von Prototypen.
• NIM bietet standardisierte Inferenz-Mikroservices, die für GPU-Optimierung entwickelt wurden.
• Unterstützung beim Umzug von gehosteten Endpunkten auf lokale, cloudbasierte oder Rechenzentrums-GPUs.
• Die Modelltypen umfassen Sprach-, visuelle, sprachbasierte, wissenschaftliche und physikalische KI.
• Beispiele von Blueprint und GitHub helfen Entwicklern dabei, vollständige Anwendungen zu erstellen.
• Unternehmenslösungen bieten Sicherheitsupdates, Support sowie die Möglichkeit zur skalierten Bereitstellung.

Einsatzbeschränkungen und Hinweise

• Die kostenlose Version dient dem Entwicklungs- und Testzweck und sollte nicht als Garantie für eine produktive Verwendbarkeit dienen.
• Die kostenlosen Limits, die Anfragenbeschränkungen sowie die verfügbaren Modelle können sich ändern – es ist daher notwendig, den aktuellen Status des Kontos zu überprüfen.
• Das Modell könnte aus dem Einsatz genommen werden oder ein Ersatzdatum festgelegt werden; die Anwendung benötigt Migrations- und Rückfallpläne.
• Selbstverwalteter NIM erfordert Kompatibilität mit GPUs, ausreichend GPU-Gedächtnis sowie Fähigkeiten zur Verwaltung von Containern.
• Die Schnittstelleneinstellungen, der Kontext, die Ausgabe sowie das Sicherheitsverhalten der verschiedenen Modelle unterscheiden sich voneinander.
• Offene Gewichte, herunterladbare Container und Open-Source-Code sind unterschiedliche Konzepte.
• Zu den Produktionskosten eines Unternehmens gehören außerdem GPU, Speicher, Netzwerk, Überwachung und technischer Support.
• Die Ausgaben des Modells können fehlerhaft oder unsicher sein; bei kritischen Geschäftsprozessen müssen Bewertungen sowie manuelle Überprüfungen hinzugefügt werden.

Plattform und Open-Source-Zustand

Grundlegende Informationen

Empfehlungswert

4,7 / 5. NVIDIA Build bietet Entwicklern einen klaren Weg von der Modell-Testphase bis zur Bereitstellung in NIM – besonders geeignet für Teams mit NVIDIA-GPUs oder mit Anforderungen im Bereich UnternehmenskI. Allerdings müssen Lizenzen für die Modelle, die Laufzeit der kostenlosen Versionen, die Hardwareanforderungen sowie die Gesamtkosten der Produktion einzeln überprüft werden.

Häufige Fragen

Kann NVIDIA Build kostenlos verwendet werden?

Einige NIM-Anbieter stellen kostenlose Entwicklungskontakte zur Verfügung. Laut den offiziellen Beispielen kann ein neues Konto maximal 5000 Punkte erhalten. Die genauen Limits sowie die Anfragenbeschränkungen sind auf der aktuellen Konto-Seite zu finden.

Braucht NVIDIA Build eine lokale GPU?

Um den kostenlosen Hosting-Endpunkt zu nutzen, ist keine lokale GPU erforderlich. Erst bei dem Herunterladen und Selbsthosting von NIM sind die Anforderungen an eine GPU, Speicherkapazität sowie die Umgebung für das jeweilige Modell notwendig.

Was ist der Unterschied zwischen NIM und den APIs herkömmlicher Modelle?

NIM verpackt Modelle sowie Optimierungsprozesse in Standard-Mikroservices – diese können entweder von NVIDIA oder Partnern gehostet werden oder auf eigener GPU-Infrastruktur bereitgestellt werden.

Kann eine kostenlose API für die Produktion verwendet werden?

Es wird nicht empfohlen, sich direkt darauf zu verlassen. Die kostenlosen Endpunkte dienen der Entwicklung und Bewertung; für Produktivsysteme sollte eine Deployment-Methode gewählt werden, die Kapazität, Lizenzen, Support sowie Verfügbarkeitsgarantien bietet.

Sind die Modelle auf NVIDIA Build offen zugänglich?

Nein. Der Katalog enthält Modelle verschiedener Hersteller, mit unterschiedlichen Lizenzen und unterschiedlichem Grad der Offenheit. Es ist notwendig, jede Modellkarte sowie die jeweilige Lizenz zu lesen.

Ist die NVIDIA Build-Plattform offen source?

Die Plattform selbst ist kein vollständig open-source-Projekt, aber NVIDIA hat auf GitHub zahlreiche NIM-Beispiele, Blueprints, Agent-Tools sowie Betriebskomponenten veröffentlicht.