Anyscale

Was ist Anyscale?

Anyscale ist eine einheitliche Plattform für KI- und Machine-Learning-Berechnungen, die von dem Gründungsteam von Ray entwickelt wurde. Sie richtet sich an Entwickler und Unternehmen, die große Ray-Arbeitsschichten ausführen müssen. Auf der open-source-basierten Ray-Plattform werden Hostinfrastrukturen, optimierte Laufzeiten, Überwachungsfunktionen sowie Tools für die Verwaltung und Entwicklung hinzugefügt.

Die Plattform kann sich von der interaktiven Entwicklung bis hin zur Datenverarbeitung, Modelltrainierung, Batch-Inferenz und Online-Diensten erstrecken. Nutzer können entweder schnell auf die von Anyscale bereitgestellten Ressourcen zugreifen oder das Datenniveau in ihrer eigenen Cloud- oder Kubernetes-Umgebung bereitstellen.

Die Beziehung zwischen Anyscale und Ray

Ray ist ein Open-Source-Framework für verteilte Berechnungen, das für die Aufgabenzuweisung, Actors, Fehlertoleranz sowie automatische Skalierung zuständig ist. Zudem umfasst es Bibliotheken wie Ray Data, Ray Train und Ray Serve. Entwickler können Ray selbst installieren und verwalten.

Anyscale ist eine kommerzielle Hostingsplattform, die Ray-Arbeitsschichten mit der optimierten Anyscale Runtime ausführt und sich um den Lebenszyklus des Clusters, das Caching von Images, die Überwachung sowie die Betriebsführung kümmert. Bestehender Ray-Code kann in der Regel mit geringen Anpassungen übertragen werden, doch die Plattformdienste sind nicht dasselbe wie der open source Ray selbst.

Hauptfunktionen von Anyscale

Interaktive Entwicklung von Arbeitsräumen

Workspaces bieten eine Plattform für VS Code, JupyterLab sowie Web-Terminals – dadurch können Entwickler direkt mit Ray-Clustern arbeiten und Experimente durchführen. Auch von lokalen Instanzen von VS Code oder Cursor aus ist es möglich, auf die Workspaces zuzugreifen.

Jobs-Produktionsaufgaben

Anyscale Jobs wird zur Einreichung von Ray-Anwendungen für die Datenverarbeitung, das Modelltraining und die batchbasierte Inferenz verwendet. Die Plattform ist für die Erstellung von Clustern, den Überwachung der Aufgaben, das Speichern von Protokollen sowie für die Handhabung von Fehlern, Wiederholungsversuche, Queues und zeitgesteuerte Ausführungen zuständig.

Online-Dienste

Die Anyscale Services basieren auf dem Ray Serve-Hosting-Modell sowie Python-Anwendungen und bieten eine hohe Verfügbarkeit sowie die Möglichkeit zu Upgrade-Aktionen ohne Ausfallzeiten. Mehrere Modelle können die Infrastruktur teilen und sich je nach Anfragebelastung skalieren.

Automatische Vergrößerung/Verkleinerung

Die Plattform kann CPU- und GPU-Ressourcen je nach Art der Arbeitsknoten hinzufügen oder freigeben und unterstützt Instanzen nach Bedarf, Spot-Instanzen sowie reservierte Instanzen. Eine sinnvolle Einstellung der minimalen und maximalen Anzahl an Kopien gewährleistet sowohl die Verfügbarkeit als auch Kosteneffizienz.

Einheitliche Steuerung und Warteschlangen

Der Anyscale-Scheduler kann Rechenressourcen zwischen Jobs, Services und Workspaces verteilen und verwendet Prioritäten sowie Warteschlangen, um teure Beschleuniger zu steuern. Administratoren können Rückfallstrategien für reservierte, Spot-, On-Demand- sowie teilweise cloudbasierte Umgebungen festlegen.

Container- und Abhängigkeitsverwaltung

Die Benutzer definieren die Arbeitslastumgebung mithilfe von Container-Images und Berechnungskonfigurationen. Die Plattform erstellt und speichert optimierte Images. Der Cache beschleunigt den Start neuer Knoten und hilft dem Cluster, sich effektiver zu skalieren.

Überwachung und Debugging

Die Konsole bietet Arbeitsbereiche, Aufgaben sowie Logs, Metriken und Dashboards für Dienste und Ray-Clustern. Benutzer können außerdem eigene Metriken definieren oder Daten an bestehende Überwachungssysteme anbinden.

Kostenverfolgung

Organisationsverwalter können die geschätzten Verbrauchswerte nach Cloud, Projekt, Benutzer, Instanztyp und Cluster ansehen sowie detaillierte Angaben herunterladen. Die Budgetfunktion bietet tägliche oder monatliche Erinnerungen, handelt sich dabei jedoch um soft Limits – sie stoppen den Cluster nicht automatisch.

CLI, SDK und API

Entwickler können über die Kommandozeile, das Python SDK und APIs Aufgaben einreichen, Clustern verwalten und CI/CD-Prozesse nutzen. Automatisierte Anmeldeinformationen sollten in einem Schlüsselverwaltungssystem gespeichert werden und dem Prinzip der minimalen Berechtigungen folgen.

Fähigkeiten generativer KI

LLM-Online-Reasoning

Anyscale bietet mithilfe von Ray Serve und vLLM Services für große Sprachmodelle an, wobei der Schwerpunkt auf der Optimierung der Durchsatzrate, der Verzögerungszeiten sowie der GPU-Nutzung liegt. Für die produktive Einrichtung sind dennoch Tests unter echtem Traffic sowie eine Kapazitätsplanung erforderlich.

Feinabstimmung und verteilter Training

Ray Train und Cluster-Ressourcen können für den Trainings- und Feinabstimmungsprozess von Modellen mit mehreren GPUs verwendet werden. Das Team sollte zunächst mit kleinen Datensätzen den Code sowie die Verfahren zur Erstellung von Checkpoints und zum Wiederherstellen der Arbeit überprüfen, bevor es die Ressourcen erweitert.

Batch-Inferenz und multimodale Daten

Ray Data kann Texte, Bilder und andere Daten parallel verarbeiten und eignet sich für großskalige Embedding-Prozesse, Offline-Vorhersagen sowie die Aufbereitung von Daten. Der Pipeline sollte die Version der Eingabedaten, die Version des Modells sowie die fehlerhaften Daten aufzeichnen.

RAG-Prozess

Die Plattform ermöglicht es, Dokumente mithilfe von Ray Data zu teilen, einzubetten und in Vektordatenspeicher zu schreiben. Anschließend können mit Services Komponenten für die Online-Suche und -generierung bereitgestellt werden. Die Offline-Indizes sowie die Online-Dienste können unabhängig voneinander erweitert oder verkleinert werden.

KI-Agenten und MCP

Entwickler können auf Ray Workflows mit einem oder mehreren Agenten organisieren und MCP-Server als Ray Serve bereitstellen. Jeder Tool-Service kann unabhängig skaliert werden, das Lastverteilungssystem funktioniert, und es gibt Fehlertoleranzmechanismen.

Anyscale-Anleitung

1. Erstellen Sie eine Organisation und holen Sie sich den derzeit verfügbaren Probemonat.
2. Wählen Sie je nach Standort der Daten und Netzwerkanforderungen Hosted oder BYOC.
3. Erstellen Sie Clouds und Projekte, um Grenzen für Teams und Umgebungen festzulegen.
4. Vorbereiten Sie das Container-Image, die Python-Abhängigkeiten und die Umgebungsvariablen.
5. Definieren Sie CPU, GPU, Knotentypen und die Obergrenzen für automatische Skalierung.
6. Führen Sie kleine Ray-Anwendungen im Workspace aus und überprüfen Sie die Protokolle.
7. Stellen Sie den stabilen Code als Job ein und konfigurieren Sie Wiederholversuche, Warteschlangen oder Zeitpläne.
8. Wenn eine Online-Logik erforderlich ist, wird die Anwendung als Service bereitgestellt und mit Kopien konfiguriert.
9. Anbindung an Überwachung, Alarme, Identitätsrechte und CI/CD-Prozesse.
10. Über das Kosten-Dashboard werden die Kosten ständig überwacht, um ungenutzte Ressourcen rechtzeitig abzuschalten.

Unterstützte Bereitstellungsarten

Für welche Benutzer geeignet

• KI-Forscher und Datenwissenschaftler: Erweiterung von Experimenten und Modelltrainierung.
• Maschinelles Lerningenieur: Führt Ray-Anwendungen von der Entwicklung in die Produktion.
• Datenengineering-Team: Durchführung der Verarbeitung großer Datenmengen und von Batch-Berechnungen.
• MLOps- und DevOps-Teams: Vereinheitlichte Prozesse für Berechnung, Berechtigungen, Überwachung und Veröffentlichung.
• Generatives AI-Team: Einführung von LLMs, RAG, Agenten und multimodalen Pipelines.
• Unternehmensplattform-Teams mit einer multi-cloud- oder Kubernetes-Infrastruktur.

Vorteile des Produkts

• Von dem Gründungsteam von Ray entwickelt, bietet es eine tiefgreifende Optimierung für Ray-Workloads.
• Workspaces, Jobs und Services teilen ähnliche Konfigurationen, wodurch die Entwicklung bis zur Produktion reibungsloser verläuft.
• Unterstützung für gemischte Clustern aus CPU und verschiedenen GPU-Typen, Spot-Fallback sowie automatische Skalierung.
• Hosted eignet sich für einen schnellen Start, BYOC erfüllt die Anforderungen an die Datenspeicherung und das Unternehmensnetzwerk.
• Integrierte Protokollierung, Metriken, Kostenträgerkennung und Verwaltung von Berechtigungen auf Organisationsebene.

Einsatzbeschränkungen und Hinweise

• Anyscale richtet sich hauptsächlich an technische Teams, die mit Python, Containern, Cloud-Ressourcen und Ray vertraut sind.
• Die Abrechnung nach Verbrauch kann mit dem schnellen Wachstum von Clustern stark ansteigen; daher sollten Ressourcenlimits sowie Kostenwarnungen eingestellt werden.
• Der Budget ist eine flexible Beschränkung – wird der Schwellenwert überschritten, wird der Cluster oder die Dienstleistung nicht automatisch beendet.
• Die Anyscale Credits auf der Preisseite sowie die endgültige Rechnung in US-Dollar können je nach Vertrag und Implementierungsart unterschiedlich sein.
• BYOC erfordert weiterhin, dass der Kunde Cloud-Rechte, das Netzwerk, Kubernetes sowie die Sicherheitsverantwortlichkeiten konfiguriert.
• Produktionsdienste sollten mit mehreren Kopien, über verschiedene Ausfallbereiche hinweg sowie durch Belastungstests ausgestattet sein – man darf sich nicht nur auf die Standardparameter verlassen.
• Bevor Kundenkodes, Modelle und Daten in die Plattform eingefügt werden, sollten Verträge, DPA sowie Anhänge zur Datensicherheit überprüft werden.

Anyscale-Preise

Stand zum 26. August 2026 bietet Anyscale ein Modell nach Verbrauch oder einen Vertragsmodell an – es gibt keine feste monatliche Gebühr. Auf der Seite für neue Konten wird derzeit angezeigt, dass 100 US-Dollar an Anyscale-Credits zur Verfügung stehen. Die Voraussetzungen sowie die Gültigkeitsdauer richten sich nach den Angaben auf der Registrierungsseite.

Dies sind die als Referenz angegebenen Anyscale Credits-Kosten auf der offiziellen Website; sie sollten nicht direkt als Gesamtpreis für ein Projekt angesehen werden. Die tatsächliche Rechnung hängt außerdem von der Anzahl der Knoten, der Laufzeit, der Art der Bereitstellung, den Cloud-Ressourcen, dem Speicher, dem Netzwerk, Rabatten sowie dem Vertrag ab.

Pay-as-you-go und Verträge mit festen Verpflichtungen

• Pay-as-you-go: Berechnet nach tatsächlicher Nutzung, geeignet für Tests und schwankende Arbeitslasten.
• Vertragsangebot: Für eine stabile oder größere Menge können Rabatte sowie zusätzliche Vorteile beantragt werden.
• Hosting: Anyscale stellt die Rechenleistung sowie die monatliche Abrechnung per Kreditkarte bereit.
• BYOC: Nutzung der Cloud-Ressourcen des Kunden, auch möglich über den Cloud-Marktplatz oder Anyscale.

Sicherheit und Standort der Daten

Anyscale verwendet eine zweiplattige Architektur, bei der die Steuerungsplattform von der Datenspeicherplattform für die Kunden getrennt ist. Im BYOC-Modell laufen die Ray-Cluster in der Cloud-Instanz des Kunden oder in Kubernetes-Clustern – die Daten können dabei in der gewählten Region gespeichert werden.

Offizielle Dokumente besagen, dass die Plattform den SOC 2 Type 2-Zertifizierungsstandard erfüllt; das Trust Center listet außerdem ein ISO 27001-Zertifikat auf. Die Zertifizierung kann die eigenen IAM-, Netzwerk-, Schlüssel-, Protokoll- und Datensortierungs-Einstellungen des Kunden nicht ersetzen.

Open-Source-Zustand

Ray ist ein Open-Source-Framework, während die Anyscale-Plattform sowie der optimierte Laufzeitumgebung kommerzielle Produkte sind – man sollte sie nicht miteinander verwechseln. Die Wahl von Anyscale bedeutet nicht, dass alle Komponenten der Plattform selbst bereitgestellt werden können.

Die offizielle GitHub-Organisation von Anyscale stellt Schulungen, Vorlagen, Terraform-Module, Helm-Charts sowie einige integrierte Projekte zur Verfügung. Diese öffentlichen Repositorien haben jeweils ihre eigenen Lizenzen, doch sie stellen nicht die vollständige Open-Source-Plattform von Anyscale dar.

Häufige Fragen

Kann Anyscale kostenlos getestet werden?

Ja. Die offizielle Website bietet derzeit 100 US-Dollar an Anyscale-Credits an, um mit dem Ausprobieren zu beginnen. Die genauen Voraussetzungen, die Gültigkeitsdauer sowie die verfügbaren Ressourcen hängen von der Registrierung eines Kontos ab.

Was ist der Unterschied zwischen Anyscale und Ray?

Ray ist ein Open-Source-Framework für verteilte Berechnungen; Anyscale ist eine kommerzielle Plattform, die auf Ray aufbaut und Hosted-Cluster, optimierte Laufzeiten, Überwachungsfunktionen sowie Tools für die Verwaltung und Produktion bietet.

Kann es in der eigenen Cloud bereitgestellt werden?

Ja. BYOC unterstützt Kunden-Clouds oder lokale Kubernetes-Umgebungen und kann mit AWS, Azure, Google Cloud sowie relevanten Cloud-Marktplätzen abgerechnet werden.

Welche AI-Arbeitslasten werden von Anyscale unterstützt?

Unterstützung für Ray-Arbeitlasten wie Datenverarbeitung, verteilter Training, Batch-Inferenz, Online-Modelldienste, LLMs, RAG, multimodale Verarbeitung, KI-Agenten und MCP-Dienste.

Wie berechnet Anyscale die Gebühren?

Es werden Entgeltmodelle nach Verbrauch oder Verträge mit Festpreisversprechen angewandt – es gibt keine feste monatliche Gebühr. Die tatsächlichen Kosten hängen vom Typ der Ressourcen, der Anzahl der Knoten, der Dauer, der Art der Implementierung, den Cloud-Kosten sowie den Vertragsrabatten ab.

Ist Anyscale eine Open-Source-Plattform?

Es handelt sich nicht um eine vollständig open-source-Plattform. Open source sind Ray sowie einige offiziell veröffentlichte Tutorials und Integrationsspeicher; die Anyscale-Plattform sowie der optimierte Laufzeitumgebungen gehören zu kommerziellen Produkten.