Denvr

Was ist Denvr?

Denvr ist eine Plattform für KI-Cloud- und private KI-Infrastrukturen, die von Denvr Dataworks Corp. betrieben wird. Der Hauptsitz befindet sich in Calgary, Kanada. Sie löst hauptsächlich die Probleme im Zusammenhang mit der Rechenleistung der GPUs, dem Netzwerk, der Speicherung sowie der Wartung, die für das Training, die Feinabstimmung und den Einsatz von Modellen sowie für deren private Implementierung in Unternehmen notwendig sind.

Die Plattform bietet sowohl Cloud-Ressourcen auf Abruf als auch dedizierte Infrastruktur an. Sie kann in den Regionen Kanada und den USA genutzt werden, und es ist auch möglich, lokale Umgebungen für Organisationen zu erstellen, die Anforderungen bezüglich Datenhoheit, niedriger Latenzzeit oder Isolation haben. Es handelt sich dabei nicht um einen allgemeinen Chatbot – die Nutzer erstellen in der Regel über die Konsole, APIs oder Infrastrukturwerkzeuge eigene Rechenressourcen und führen anschließend ihre eigenen Modelle sowie Arbeitslasten aus.

Zusammensetzung des Produkts

Hauptfunktionen

GPU- und CPU-Berechnungen

Benutzer können Node mit einem oder mehreren GPUs erstellen und je nach Arbeitslast zwischen Bare-Metal-, Virtual-Machine- oder Container-Lösungen wählen. Die aktuell verfügbaren Hardware-Modelle umfassen NVIDIA H200, GH200, H100, A100, A40 sowie Intel Gaudi2; je nach Region, Lagerbestand und Kaufmethode stehen unterschiedliche Modelle zur Verfügung.

• Training und Feinabstimmung: Verwendung von GPUs mit großer Speicherkapazität, mehreren Karten mit NVLink sowie schnellen Interconnects zur Verarbeitung großer Modelle, visueller Modelle und wissenschaftlicher Berechnungen.
• Elastische Tests: Durch kurzfristige Ausführung von Notebooks, Bewertungen, Datenverarbeitungs- oder Modellumwandlungsaufgaben anhand von On-Demand-Instanzen.
• Reservierter Cluster: Durch mehrmonatige oder jährliche Verpflichtungen wird Kapazität gesichert – geeignet für kontinuierliches Training, produktive Inferenz sowie zuverlässige Terminplanung.
• CPU-Arbeitslast: Für die Datenvorbereitung, Service-Orchestrierung, allgemeine Berechnungen sowie Komponenten, die keine GPU benötigen, werden Intel- oder AMD-Instanzen verwendet.
• Machine-Learning-Images: Verwenden Sie Images mit vorinstallierten Treibern, Docker sowie gängigen Frameworks, um die Vorbereitungszeit für die zugrunde liegende Umgebung zu verkürzen.

Hochleistungsnetzwerke und -speicher

Mehrfach-GPU-Knoten können mithilfe von InfiniBand, RoCE und NVLink miteinander vernetzt werden; die genaue Bandbreite hängt vom Modell der Instanz ab. Die Benutzer können außerdem lokale NVMe-Laufwerke, persistente Festplatten oder Netzwerkfreigabefilesysteme für die Instanz konfigurieren, um zwischen Geschwindigkeit, Teilemöglichkeit und Persistenz abzuwägen.

• Lokaler NVMe: Geeignet für Caching, vorübergehende Trainingsdaten und Dateien mit hoher Durchsatzrate, wobei jedoch die Lebensdauer der Daten nach Freigabe der Instanz berücksichtigt werden sollte.
• Dauerhafter Speicher: Speichert Daten unabhängig von den Recheninstanzen und eignet sich für Modellgewichte, Datensätze sowie Dateien für langfristige Projekte.
• Geteilte Dateisysteme: Sie ermöglichen es den Knoten eines Clusters, auf denselben Datenspeicher zuzugreifen, was die verteilte Training und die Teamzusammenarbeit erleichtert.
• Netzwerkisolierung: Durch VPC, VPN sowie öffentliche oder private IP-Adressen werden Zugangsgrenzen definiert, sodass nicht alle Dienste der Öffentlichkeit zugänglich gemacht werden müssen.

Spezieller AI-Inferenz-Endpoint

Bei der AI-Inferenz wird das Modell auf dedizierte, single-tenant-fähige GPUs bereitgestellt. Die Gebühren werden nicht nach Anzahl der Eingangs- oder Ausgabetoken berechnet, sondern nach der Zeit, die die GPU für die Verarbeitung benötigt. Die Endpunkte können über öffentliche oder private IP-Adressen konfiguriert werden, wodurch die Kosten für die Migration der Anwendung gesenkt werden können – und zwar durch Aufrufe im Einklang mit der OpenAI-API.

• Modellverzeichnis: Wählen Sie die in der Plattform aufgelisteten Modelle und Hardware aus; nach dem Start werden die für Anwendungen nutzbaren Inferenzendpunkte bereitgestellt.
• Custom-Modelle: Deploy eigene, offene oder angepasste Modelle über den vLLM Server oder den Ollama Server.
• Stabile Leistung: Dedizierte GPUs teilen die Inferenzleistung nicht mit anderen Mietern und eignen sich für Dienste, bei denen spezifische Anforderungen an Latenz und Durchsatz bestehen.
• Kostenmerkmale: Keine Obergrenze für Tokens bedeutet nicht, dass es keine Kosten gibt; während der Laufzeit der Endpunkte entstehen weiterhin Kosten für die GPU-Zeit.
• Kompatibilitätsgrenzen: Die Kompatibilität des Schnittstellenschemas bedeutet nicht, dass jeder Parameter, jede Modellfunktion oder jedes Antwortfeld exakt mit denen anderer Dienste übereinstimmt; vor der Migration sollte getestet werden.

Notebook und interaktive Anwendungen

Die Plattform bietet verpackte Anwendungen wie Jupyter Notebooks und OpenWebUI, über die Entwickler über einen Browser in eine interaktive Umgebung gelangen können. Notebooks eignen sich für Experimente mit Code, Daten und Modellen, während OpenWebUI es Teams ermöglicht, bereits bereitgestellte Modelle über eine Chat-Oberfläche auszuprobieren.

Diese Anwendungen laufen weiterhin auf den von den Benutzern ausgewählten Rechen- und Speicherressourcen. Kosten, Zugriffssteuerung sowie die Art der Datenspeicherung werden durch die zugrunde liegenden Einstellungen bestimmt. Das Schließen einer Browserseite führt nicht unbedingt dazu, dass die Instanz automatisch beendet wird; nach der Verwendung sollte der Status der Ressourcen überprüft werden.

Der Arbeitsablauf von der Registrierung bis zum Betrieb

1. Erstellen Sie ein Organisationskonto und gehen Sie in die Web-Konsole, um die Einstellungen für Konto, Team und Abrechnung vorzunehmen.
2. Wählen Sie den Bereich, die Projekte sowie die VPC aus und überprüfen Sie die Anforderungen bezüglich der Datenspeicherung, des Netzwerkzugangs und der Kapazität.
3. Wählen Sie eine GPU- oder CPU-Instanz entsprechend dem Modell-Speicherbedarf, der Trainingsgröße, den Verzögerungszielen und dem Budget aus.
4. Wählen Sie ein Machine-Learning-Image, ein Notebook, OpenWebUI oder ein benutzerdefiniertes Image aus und montieren Sie eine persistente Festplatte oder gemeinsam genutzte Speicher.
5. Konfigurieren Sie SSH, Schlüssel, Benutzerrechte, öffentliche oder private IP-Adressen sowie die erforderlichen Firewall- und VPN-Verbindungen.
6. Daten und Code werden hochgeladen oder Modellgewichte aus einem kontrollierten Speicher abgerufen, anschließend werden Training-, Feinabstimmungs- oder Bereitstellungsoperationen ausgeführt.
7. Überwachen und Überprüfung von Protokollen zur Beurteilung von Leistung, Kapazität und Abweichungen, sowie Automatisierung wiederkehrender Aufgaben mithilfe von APIs, CLI oder Terraform.
8. Nach Abschluss der Aufgabe sollten die nicht mehr benötigten Rechenressourcen gestoppt oder entfernt werden, wobei die wirklich notwendigen Festplatten, Snapshots und Protokolle beibehalten werden sollen.

Der Ablauf zur Bereitstellung eines Inferenzservices

1. Überprüfen Sie die Lizenz des Modells, das Gewichtsformat, die Länge des Kontexts, die Anforderungen an den Arbeitsspeicher sowie die erwartete Konkurrenzlast.
2. Wählen Sie eine Version aus dem Modellverzeichnis oder bereiten Sie ein benutzerdefiniertes Modell vor, das vom vLLM Server oder Ollama Server geladen werden kann.
3. Wählen Sie das GPU-Modell, die Anzahl, den Standort sowie den öffentlichen oder privaten Endpunkt aus, um die laufenden Kosten zu bewerten.
4. Stellen Sie Authentifizierung, Netzwerkpolicies und Schlüssel ein – schreiben Sie die Zugangsdaten nicht in den Frontend-Code oder in öffentliche Repositorien.
5. Erstellen Sie Endpunkte und führen Sie mit einem Client, der mit der OpenAI-API kompatibel ist, Tests mit geringem Datenverkehr durch, um Parameter, Antworten sowie Fehlerbehandlung zu überprüfen.
6. Testen Sie zunächst die Verzögerung des ersten Tokens, die Durchsatzrate, die Länge des Kontexts sowie die maximale Konkurrenzanzahl, um anschließend zu entscheiden, ob Instanzen hinzugefügt oder mehrere Endpunkte eingesetzt werden sollen.
7. Die Laufzeit sowie die Nutzung des GPUs werden kontinuierlich überwacht. Dienste mit geringer Nutzung können je nach Geschäftsanforderungen an ihre Kapazität angepasst oder eingestellt werden.

Preise und Abrechnung

Die Berechnung erfolgt nach Bedarf und wird pro Minute abgerechnet. Auf der Seite werden die Referenzpreise pro GPU-Stunde bzw. pro Instanz-Stunde angezeigt. Durch die Reservierung von Ressourcen für mehrere Monate oder ein ganzes Jahr kann bis zu 20 % eingespart werden. Allerdings gelten die verfügbare Kapazität, der Standort, die Vertragsdauer sowie der endgültige Preis gemäß den Angaben in der Konsole oder im Angebot.

Auf der Seite mit dem Gesamtpreis wird für H100 2,30 US-Dollar angegeben, während auf der Produktseite für AI Compute 2,45 US-Dollar angezeigt werden. Daher kann die Zahl auf einer einzigen Seite nicht als fester Verkaufspreis für alle Konten angesehen werden. Region, Lagerbestand, Zahlungszyklus, Reservierungsbedingungen sowie der Zeitpunkt der Seitenaktualisierung können alle das Ergebnis beeinflussen. Vor der Erstellung von Ressourcen sollte daher eine genaue Kostenschätzung erstellt werden.

CPU, Speicher und Netzwerk

Auf der aktuellen Preisseite werden Internet-Eingänge und -Ausgänge, öffentliche IPv4-Adressen, VPN-Gateways sowie VPCs als kostenlos aufgeführt. Das bedeutet jedoch nicht, dass alle kundenspezifischen Netzwerke, Cross-Region-Verbindungen oder dedizierte Verbindungen kostenfrei sind. Bei umfangreichen Projekten müssen die Gesamtkosten im Entwurf und im Vertrag festgelegt werden.

Gründungskapital und Zahlungen

Das AI Ascend-Gründungsprogramm bietet einen Anfangsbetrag von 1.000 US-Dollar für den Cloud-Use. Qualifizierte Teams können sich außerdem um einen Betrag von bis zu 500.000 US-Dollar bewerben. Für diese Beträge muss eine Anfrage gestellt werden und eine Eignungsprüfung durchgeführt werden. Es handelt sich dabei nicht um einen dauerhaft kostenlosen Service, den alle neuen Konten automatisch erhalten.

• Ressourcen nach Bedarf können mit einer im Voraus bezahlten Kreditkarte abgerechnet werden; Unternehmen können außerdem eine Rechnung per Banküberweisung anfordern.
• Für die Reservierung von Ressourcen ist in der Regel eine zeitliche Verpflichtung erforderlich; eine vorzeitige Beendigung, Änderungen der Kapazitäten sowie die Verarbeitung nicht genutzter Beträge richten sich nach den Bestimmungen der Bestellung.
• Auf der öffentlichen Seite werden keine einheitlichen Rückerstattungsbedingungen für alle Cloud-Produkte angegeben. Vor dem Kauf sollten die Bedingungen bezüglich Stornierung, Rückerstattung, SLA sowie Dienstunterbrechungen überprüft werden.
• Die Inferenz-Endpunkte werden nach GPU-Zeit abgerechnet; selbst bei geringer Anfragezahl kann eine Gebühr anfallen, solange der Endpunkt weiterhin läuft.

API, SDK und Open-Source-Status

Denvr bietet REST-APIs, Kommandozeilenwerkzeuge, ein Python-SDK, ein Go-SDK sowie einen Terraform-Provider an, die zur Erstellung von Clustern, virtuellen Servern, Netzwerken und Anwendungsressourcen verwendet werden können. Teams können diese Schnittstellen in Prozesse für kontinuierliche Bereitstellung, Experimentierumgebungen sowie Infrastructure-as-Code-Methoden integrieren.

Bei der Verwendung von SDKs oder Beispielen sollte man die Lizenzbedingungen sowie Abhängigkeiten des jeweiligen Versionsrepos prüfen. Nicht alle Projekte innerhalb einer Organisation unterliegen denselben Lizenzbedingungen. Bei der Bereitstellung von Drittanbieter-Modellen müssen zudem die Lizenzbedingungen für die Modellgewichte, das Basismodell, die Datensätze sowie die erzeugten Inhalte berücksichtigt werden.

Unterstützungsplattformen

Passend für Nutzer und Szenarien

• AI-Team: Es ist notwendig, schnell Zugang zu Rechenleistung wie H100, A100, GH200 usw. zu erhalten, um Training, Feinabstimmung und Bewertung durchzuführen.
• Unternehmensentwickler: Sie möchten spezielle Modellendpunkte auf eine Weise bereitstellen, die mit der OpenAI-API kompatibel ist, und gleichzeitig die Kontrolle über Hardware und Netzwerk behalten.
• Geregelte Organisationen: Es sind Planungen für das kanadische oder US-amerikanische Gebiet, Private Networks, dedizierte Umgebungen sowie die Speicherung von Daten erforderlich.
• Plattform-Entwicklerteam: Es wird angestrebt, Entwicklungs- und Produktionsressourcen mithilfe von APIs, CLI, SDKs oder Terraform zentral zu verwalten.
• Forschungs- und Ingenieurteams: Sie benötigen schnelle Vernetzung, gemeinsamen Speicher sowie mehrknotige Cluster zur Ausführung verteilter Arbeitslasten.
• Start-ups: Sie erfüllen die Kriterien von AI Ascend und benötigen einen Early-Access-Zugang zum Cloud-Service, technische Unterstützung oder Ressourcen zur Erweiterung der Produktion.

Vorteile

• Es gibt Wege von einer einzelnen GPU bis hin zu mehreren Knotenclustern, die Experimente, Training sowie produktive Inferenz abdecken können.
• Die Inferenz-Endpunkte nutzen dedizierte, einzeln vermietete GPUs; die Kosten werden nach der Hardware-Nutzungszeit berechnet, was eine einfache Kapazitätsplanung für hohe Lasten ermöglicht.
• Gleichzeitig werden eine Web-Konsole, API, CLI, SDK und Terraform bereitgestellt, die sich an Teams mit unterschiedlichem Entwicklungsstand anpassen lassen.
• VPCs, private IP-Adressen, VPNs sowie regionale Rechenzentren tragen dazu bei, Isolierungs- und Speicherlösungen für Daten zu schaffen.
• Private AI-Produkte können auf dedizierte Clouds oder lokale Infrastrukturen erweitert werden und sind nicht auf öffentliche Cloud-Instanzen beschränkt.

Einschränkungen und Hinweise

• Die Verfügbarkeit von GPUs hängt von Region, Lagerbestand und Reservierungsbedingungen ab; die auf der Seite aufgeführten Hardware-Modelle sind nicht garantiert jederzeit verfügbar.
• Auf den verschiedenen Produktseiten unterscheidet sich der Preis pro H100. Der tatsächliche Preis muss in der Konsole, in der Bestellbestätigung oder im Verkaufsangebot überprüft werden.
• Spezialisierte Inferenz wird nach Laufzeit abgerechnet; Dienste mit geringer Anfragenmenge können weniger kosteneffizient sein als Token-basierte Dienste.
• Offizielle Angaben geben keine einheitlichen Fristen für Rückerstattungen, Stornierungen, SLAs sowie für die Löschung von Daten für alle Produkte an.
• Die Website-Bedingungen und die Vereinbarungen für Cloud-Dienste sind nicht dasselbe Dokument; Unternehmen sollten den tatsächlichen Dienstleistungsvertrag sowie die Bedingungen zur Datenverarbeitung prüfen.
• SOC 2-Kontrollen, Sicherheitsfähigkeiten und Datenspeicherung sind in Abhängigkeit von der jeweiligen Region, den Produkten, der Konfiguration sowie dem Umfang des Vertrags zu beurteilen.
• Die Qualität der Ausgaben der Plattform hängt von den vom Benutzer verwendeten Modellen, Versionen, Anweisungen, Daten sowie den Konfigurationen für die Inferenz ab. Die Infrastruktur garantiert keine Genauigkeit der Antworten der Modelle.

Privatsphäre, Sicherheit und kommerzielle Nutzung

Die Plattform kümmert sich um Kontoinformationen und Kontaktdaten von Unternehmen, Anmeldeinformationen, die Unterstützung bei der Kommunikation, die Nutzung der Ressourcen, Systemindikatoren sowie Informationen zu Geräten und der Nutzung. Einige Dienstleister könnten die Daten in Kanada, den USA oder anderen Rechtsgebieten verarbeiten; Unternehmen sollten daher die geltenden Datenverarbeitungsvereinbarungen sowie die Anforderungen im Zusammenhang mit der Datenübermittlung über Grenzen hinweg prüfen.

• Der Kunde ist dafür verantwortlich, die notwendigen Rechte zur legalen Verarbeitung der von ihm hochgeladenen Daten zu besitzen. Sensible persönliche Informationen sollten nicht ohne entsprechende Vereinbarungen und Kontrollmaßnahmen übermittelt werden.
• Die Plattform nutzt Management-, Technologie- und physische Sicherheitsmaßnahmen sowie begrenzt den Zugang für Mitarbeiter je nach Bedarf. Jedes Cloud-Umfeld erfordert jedoch von den Nutzern eine korrekte Konfiguration von Identitäten, Schlüsseln und Netzwerken.
• Für vertrauliche Inhalte wird kein einheitlicher, fester Löschzeitraum festgelegt, und auch nach der Löschung des Kontos können öffentliche Aktivitäten weiterhin bestehen.
• Die Speicherung, Sicherung, Löschung von Schulungsdaten, Feinabstimmungsgewichten und Protokollen sowie die Reaktion auf Störungen müssen in den Unternehmensverträgen klar geregelt werden.
• Die Lizenz zur Nutzung des Webinhalts ersetzt keine kommerzielle Genehmigung für Kundendaten, Drittanbietermodelle oder die erzeugten Ergebnisse.
• Ob ein Modell für kommerzielle Zwecke genutzt werden kann, hängt von den Lizenzen für das eingesetzte Modell, die Abhängigkeiten sowie die Trainingsdaten ab. Die Infrastrukturdienste von Denvr gewähren diese Rechte nicht automatisch.

Häufige Fragen

Ist Denvr ein Chatbot?

Nein. Es handelt sich um eine Plattform für KI-Berechnungen, Schlussfolgerungen und private Infrastruktur. OpenWebUI dient lediglich als interaktiver Eingangspunkt, um die bereits implementierten Modelle zu nutzen.

Gibt es eine kostenlose Version von Denvr?

Es wurde keine dauerhaft kostenlose Rechenleistung für alle Nutzer festgestellt. AI Ascend bietet qualifizierten Start-ups auf Antrag Zugang zu Ressourcen – dies gilt nicht als allgemein verfügbarer, kostenloses Paket bei der Registrierung.

Wird der Reasoning-Service nach Token abgerechnet?

Die speziellen AI-Inferenz-Endpunkte werden nicht nach Anzahl der Tokens abgerechnet, sondern nach der Laufzeit auf der GPU. Das Fehlen einer Obergrenze für die Anzahl der Tokens bedeutet nicht, dass es kostenlos ist – wenn der Endpunkt ständig online ist, können weiterhin Gebühren anfallen.

Wie hoch ist der aktuelle Preis für H100?

Auf der Seite mit dem Gesamtpreis wird 2,30 US-Dollar pro GPU-Stunde angegeben, während auf der Seite des anderen Produkts 2,45 US-Dollar pro Stunde angezeigt werden. Vor der Erstellung sollte man sich an den Angaben für die ausgewählte Region, die Konto-Konsole oder den offiziellen Kostenvoranschlag halten.

Kann man eigene Modelle einsetzen?

Kundenspezifische, offene oder angepasste Modelle können über den vLLM Server oder den Ollama Server bereitgestellt werden. Der Benutzer muss weiterhin die Formatkompatibilität, die Anforderungen an den Arbeitsspeicher sowie die Lizenzbedingungen des Modells überprüfen.

Ist die Schnittstelle genau gleich der OpenAI API?

Die Reasoning-Endpunkte verwenden ein kompatibles Aufrufformat, das die Wiederverwendung gängiger Clienten erleichtert. Konkrete Modelle, Parameter, Rückgabefelder, Geschwindigkeiten sowie Fehlerverhalten müssen jedoch weiterhin durch Tests bestätigt werden.

Ist Denvr eine Open-Source-Plattform?

Es wurde nicht überprüft, ob die Cloud-Plattform selbst open source ist. Das Python SDK, das Go SDK, der Terraform Provider sowie einige Beispielrepositorien sind unter Verwendung der MIT- oder Apache-2.0-Lizenz freigegeben; diese Lizenzen gelten nur für die jeweiligen Projekte.

Gibt es Apps für Mobilgeräte oder Browser-Erweiterungen?

Offizielle iOS-, Android-Apps oder Browser-Erweiterungen konnten bisher nicht bestätigt werden. Die bekannten Zugangsmöglichkeiten sind hauptsächlich die Web-Konsole, API, CLI, SDK sowie Terraform.

Wird die Unternehmensdaten in Kanada gespeichert?

Die Plattform bietet Optionen für den Einsatz in Kanada und den USA sowie für eine private Implementierung. Der tatsächliche Standort der Daten hängt jedoch von der gewählten Region, den Dienstleistungen, den Backup-Möglichkeiten sowie den Vereinbarungen mit dem Anbieter ab. Organisationen, die strenge Anforderungen an den Standort der Daten haben, sollten dies in der Architektur und im Vertrag einzeln überprüfen.

Zusammenfassung

Denvr eignet sich für Teams, die eine dedizierte GPU, private Inferenzfähigkeiten, den kanadischen Standort oder vollständige Kontrolle über die Infrastruktur benötigen. Bei der Auswahl sollten gleichzeitig die Verfügbarkeit der Hardware, die laufenden Betriebskosten, die Kosten für Netzwerk und Speicher, die Lizenzen für die Modelle sowie die in den Verträgen festgelegten Bestimmungen zu Sicherheit, Löschung und Rückerstattung berücksichtigt werden.