Aliyun PAI

Was ist Alibaba Cloud PAI?

Die AI-Plattform von Alibaba Cloud, PAI – kurz für Platform for Artificial Intelligence – ist eine cloudbasierte Plattform für maschinelles Lernen, tiefes Lernen sowie die Entwicklung großer Modelle, die sich an Entwickler und Unternehmen richtet. Sie umfasst Funktionen zur Datenvorbereitung, Entwicklung, Trainierung, Feinabstimmung, Bewertung, Bereitstellung, Optimierung der Inferenzprozesse, Verwaltung von Ressourcen sowie Überwachung des Betriebs. Dadurch können AI-Experimente in verwaltbare Produktionsdienste umgewandelt werden.

PAI ist weder eine API für ein einzelnes Modell noch ein gewöhnliches Chat-Tool. Die Plattform setzt sich aus mehreren Modulen zusammen: iTAG ist für die Dateneinordnung zuständig, Designer bietet ein Drag-and-Drop-Modellierungswerkzeug, DSW stellt Entwicklungsumgebungen wie Notebook und VS Code bereit, DLC kümmert sich um das verteilte Training, Model Gallery verwaltet und feinjustiert vorgefertigte Modelle, und EAS setzt die Modelle als Online-Inferenzdienste ein.

Datenannotation iTAG

iTAG unterstützt die Annotation von Bildern, Texten, Videos, Audiodaten sowie multimodalen Daten. Es bieten Vorlagen, anpassbare Aufgabenelemente, die Zuweisung von Aufgaben sowie Funktionen zur Qualitätskontrolle und Verwaltung der Annotationsergebnisse. Unternehmen können außerdem einen Service für die Hosting von Annotationen in großem Umfang in Anspruch nehmen.

Die grundlegende Nutzung der Annotation-Plattform kann kostenlos aktiviert werden. Für eine bezahlte Annotationsdienstleistung im Umfang von mindestens 100.000 Einträgen muss ein Antrag gestellt werden. Vor dem Hochladen echter Geschäftsdaten müssen diese entpersonalisiert, autorisiert und hinsichtlich des Zugriffs kontrolliert werden; es darf keine personenbezogenen Daten direkt an unbefugte Personen übergeben werden.

Designer: Low-Code-Modellierung

PAI-Designer bietet eine visuelle, per Drag-and-Drop bedienbare Workflow-Plattform für maschinelles Lernen und enthält zahlreiche Komponenten für die Datenverarbeitung, Feature-Engineering, statistische Analyse sowie herkömmliches und tiefes Maschinelles Lernen. Nutzer können Daten verbinden, Algorithmen konfigurieren, Experimente durchführen und die Ergebnisse als Dienste bereitstellen.

Designer eignet sich für das Unterrichten, die Analyse sowie für schnelle Überprüfungen – doch Low-Code bedeutet nicht, dass man die Daten nicht verstehen muss. Datenlecks im Trainingsdatensatz, ein Ungleichgewicht der Kategorien, fehlerhafte Metriken sowie unsinnige Aufteilungen können dazu führen, dass ein Modell zwar scheinbar präzise ist, aber dennoch nicht in der Praxis eingesetzt werden kann.

DSW-interaktives Modellieren

DSW steht für Data Science Workshop – es bietet in der Cloud Jupyter Notebook, VS Code, Images, GPU sowie persistenten Speicher an. Dadurch eignet es sich ideal für die Datenerforschung, die Entwicklung von Modellen, das Debuggen, das Trainieren sowie die Überprüfung von Ergebnissen. Die Benutzer können entweder die offiziellen Images verwenden oder die Abhängigkeiten sowie den Speicher auf OSS, NAS usw. konfigurieren.

Öffentliche Ressourcen von DSW werden in der Regel nach der Laufzeit der Instanz abgerechnet. Nach Abschluss der Entwicklung sollte die Instanz beendet werden, und wichtiger Code sowie Modelle müssen in einer persistenten Speicherung gespeichert werden.

Einige kostenlose Cloud-Speicher werden nach einer langen Inaktivität der Instanz möglicherweise gelöscht.

DLC-Distributed Training

DLC wird zur Ausführung von Trainingsaufgaben mit PyTorch, TensorFlow, MPI usw. eingesetzt und unterstützt mehrere Karten auf einem Rechner, mehrere Rechner mit mehreren Karten, Warteschlangen, Ressourcenquoten, Aufgabendatenbanken, Fehlertoleranz sowie flexible Scheduling-Methoden. Er eignet sich für das Vortrainieren großer Modelle, das Feintunen von Modellen, visuelle Modelle sowie für Teams, die Batch-Experimente durchführen müssen.

Die Kosten für das verteilte Training hängen vom Modelltyp, der Anzahl der GPUs, dem Standort sowie der Laufzeit ab. Ein fehlgeschlagenes Task kann ebenfalls Ressourcen verbraucht haben; vor dem Training sollten daher zunächst Skripte, Images, Datenpfade und Checkpoints mit kleinen Datensätzen und geringerem Umfang getestet werden.

Modellgalerie – Modellbibliothek

Die Model Gallery bündelt vortrainierte Modelle von Qwen, DeepSeek sowie aus den Bereichen Visualisierung, Sprache und AIGC und stellt für einige Modelle voreingestellte Konfigurationen für Deployment, Feinabstimmung, Bewertung und Inferenz bereit. Die aktuelle Produktseite bietet zudem Zugänge zum Deployment der Qwen3.5-Serie in verschiedenen Parametergrößen.

Benutzer können den DLC-Training- und EAS-Einsatz ohne Code oder mit nur geringer Konfiguration starten. Das Modell selbst kann unter verschiedenen Open-Source-Lizenzen oder kommerziellen Bedingungen stehen; vor der Verwendung in der Produktion müssen die Lizenzen für die Gewichte, abgeleitete Modelle sowie die Verwendungszwecke jeweils überprüft werden.

Feinabstimmung großer Modelle

PAI kann vortrainierte Modelle mithilfe von vollständiger Feinabstimmung, LoRA usw. an Unternehmensbegriffe, strukturierte Extraktion, Kundenservice, Klassifizierung und Inhaltsgenerierungsaufgaben anpassen. In der Model Gallery können Datensätze, Trainingseinstellungen und Hyperparameter ausgewählt werden, und nach dem Training können die Modelle bereitgestellt oder bewertet werden.

Feinabstimmungen eignen sich nicht, um alle Probleme bei der Aktualisierung von Wissen zu lösen. Häufig wechselnde Richtlinien, Preise und Daten sind in der Regel besser für RAG geeignet;

Erst bei Bedarf an einer stabilen Ausgabeformatierung, einem einheitlichen Fachbegriffsstil oder fachlichen Kompetenzen sollte man an Feinabstimmungen denken.

Modellbewertung und Destillation

Die Plattform ermöglicht es, Grundmodelle mit feinabgestimmten Modellen anhand von Bewertungsdaten zu vergleichen. Zudem können große Modelle genutzt werden, um Trainingsbeispiele zu erzeugen oder zu annotieren, um anschließend kleinere Modelle zu trainieren, wodurch eine Verkürzung der Berechnungskosten und Verzögerungen möglich wird.

Synthetische Daten erfordern eine stichprobenbasierte manuelle Überprüfung; es ist nicht zulässig, Modelle für Lehrer bedingungslos auf Modelle für Schüler zu übertragen. Das Bewertungsset sollte die tatsächliche Verteilung, Randfälle sowie Sicherheitsprobleme abdecken und von den Trainingsdaten getrennt sein.

EAS-Modell – Online-Dienstleistung

EAS steht für Elastic Algorithm Service – er ermöglicht es, trainierte oder vortrainierte Modelle als Echtzeit-, asynchrone oder offline-Inferenzdienste einzusetzen. Die Plattform bietet einen gemeinsamen Gateway, eine schnelle VPC-Verbindung, Skalierbarkeit sowie Funktionen zur Überwachung und Versionierung. Zudem ist es möglich, einige große Sprachmodelle über eine mit OpenAI kompatible Schnittstelle zu nutzen.

Die öffentlichen Ressourcen von EAS werden nach der Laufzeit pro Serviceinstanz abgerechnet – auch dann, wenn keine Anfragen vorliegen. Am Ende des Tests muss der Service gestoppt oder gelöscht werden; es reicht nicht aus, einfach den Browser zu schließen.

Serverloses Reasoning

EAS bietet für SD WebUI und ComfyUI eine Serverless-Version an. Die Einrichtung ist kostenlos, und die Gebühren werden nach der tatsächlichen Anzahl der verarbeiteten Sekunden berechnet. Es eignet sich gut für Arbeitslasten zur Erstellung von Bildern, bei denen die Anfragen unregelmäßig erfolgen.

Derzeit ist die Unterstützung für Serverless eingeschränkt, weshalb man nicht davon ausgehen kann, dass alle Implementierungen großer Modelle nur nach Anfragen abgerechnet werden. Genaue Modelle, Regionen, Cold-Starts sowie Preise sind auf der Seite zur Erstellung des Services zu finden.

Logisches Schließen beschleunigt PAI-Blade

PAI-Blade steigert die Durchsatzrate bei der Modellverarbeitung und verringert die Verzögerungen durch Graphenoptimierung, Operatorfusion, Quantisierung sowie die Zusammenarbeit von Hardware und Software. Es eignet sich für Anwendungen im Bereich der Vision, der natürlichen Sprache sowie großer Modelle. PAI-ACC hingegen umfasst die Beschleunigung von Datenverarbeitung, Training, Kommunikation und Modellverarbeitung.

Beschleunigung und Quantifizierung können die Genauigkeit oder das Verhalten des Modells verändern. Vor dem Einsatz sollten mit einem Geschäfts-Testdatensatz das ursprüngliche Modell mit dem optimierten Modell verglichen werden, und Hardware-, Image- sowie Optimierungsparameter aufgezeichnet werden.

KI-Assets und MLOps

PAI bietet Funktionen zur Verwaltung von Ressourcen wie Arbeitsräumen, Datensätzen, Modellen, Images, Pipelines, Aufgaben und Diensten. Dadurch können Teams die Eingaben für das Training, Versionen, Parameter sowie die Ergebnisse der Bereitstellung nachverfolgen. Unternehmen können mithilfe von RAM-Rollen und Arbeitsräumen verschiedene Teams voneinander trennen.

Um reproduzierbares Training zu erreichen, müssen außerdem der Code-Commit, die Container-Images, die Zufallszahlensätze, die Datenversionen sowie die Abhängigkeitsverwaltung festgelegt werden. Es reicht nicht aus, nur die endgültigen Gewichte zu speichern, um die Herkunft des Modells zu erklären.

FeatureStore-Features-Plattform

FeatureStore dient der zentralen Verwaltung von Offline- und Online-Features, um Abweichungen der Features in den Phasen des Trainings und der Bereitstellung zu verringern. Er eignet sich für Anwendungen wie Empfehlungssysteme, Risikomanagement, Werbung und Suchfunktionen. Features können zwischen mehreren Modellen wiederverwendet werden, und es wird eine Versionierung gewährleistet.

Für Echtzeit-Eigenschaften sind Verzögerungen, Ablaufstrategien, Datenherkunft sowie Privatsphärerechte von Bedeutung. Fehlende Eigenschaften können gleichzeitig mehrere Online-Modelle beeinträchtigen; daher sollten Mechanismen zur Rücksetzung und Überwachung vorhanden sein.

LangStudio und große Modellanwendungen

PAI bietet zudem LangStudio-fähige Funktionen für die Entwicklung von Anwendungen mit großen Modellen. Damit können Hinweise, Modelle, Wissen sowie Anwendungsprozesse verwaltet werden – außerdem können Ressourcen über OpenAPI gesteuert werden. In Kombination mit Tools zur Schulung und zum Einsatz ermöglicht PAI es Unternehmen, Modellentwicklung und Anwendungsimplementierung in derselben Cloud-Umgebung durchzuführen.

Wenn die Anforderung lediglich darin besteht, APIs von Hosted-Modellen wie Tongyi direkt aufzurufen, ist Alibaba Cloud BaiLian möglicherweise leichter zu nutzen; bei der Notwendigkeit einer individuellen Schulung, GPU-Ressourcen, Modellressourcen sowie einer eigenen Bereitstellung eignet sich PAI besser.

Rechenleistung und Speicherressourcen

PAI kann öffentliche Ressourcen, spezielle Rechenressourcen, intelligente Rechenressourcen sowie entsprechende Cloud-Native-Ressourcen nutzen, um CPU-, NVIDIA-GPU- und einige heterogene Rechenleistungen abzudecken. Die Daten werden in der Regel in Diensten wie OSS, NAS, CPFS, MaxCompute usw. gespeichert.

Neben den PAI-Rechnungen können auch Kosten für Objektspeicherung, Dateispeicherung, elastisches Internet, VPC, Protokolldaten sowie Produkte für Big Data anfallen. Bei der Kostenschätzung muss die gesamte Architektur berücksichtigt werden.

Kostenlose Aktivierung und Probemonat für neue Nutzer

• PAI-Produkte und der Standard-Arbeitsbereich können kostenlos genutzt werden; es wird nur dann berechnet, wenn tatsächlich Ressourcen verwendet werden.
• Neue Nutzer können einen kostenlosen Zugang zum DSW750-Rechner beantragen, der alle 3 Monate auf 250 Rechenstunden pro Monat erneuert wird.
• DLC bietet einen Probemonat mit 100 CU·H an;
• EAS bietet einen Rabattpaket im Wert von 500 Yuan an;
• Der Testbetrag kann nur für ausgewählte kostenlose Modelle sowie die dazugehörigen Module verwendet werden und ist nicht zwischen DSW, DLC und EAS austauschbar.
• Nach Ablauf der Kontingentmenge oder des Probemonats werden die weiterhin laufenden Ressourcen nach Verbrauch abgerechnet.

Preis- und Versionsvergleich

Preise für DSW-Ressourcepakete

Der Preis für das Einstiegs-Paket DSW 100 beträgt bei erster Kauf 59 Yuan; die Gültigkeit beträgt 12 Monate. Bei nachfolgenden Käufen wird wieder der ursprüngliche Preis berechnet. Das Paket ist nur für bestimmte Regionen und Einstiegsmodelle verfügbar.

Andere GPUs, CPUs sowie proprietäre Ressourcen werden nach den tatsächlichen Spezifikationen abgerechnet. Die Preise für High-End-GPUs schwanken stark je nach Verfügbarkeit und eignen sich daher nicht dafür, in Verzeichnissen mit festen Langzeitpreisen aufgeführt zu werden.

DLC-Training-Preis

DLC kann mit öffentlichen Ressourcen nach der Laufzeit abgerechnet werden, oder man kann allgemeine oder hochwertige Ressourcen im Voraus kaufen und Aufgaben über Quoten einreichen. Die Trainingskosten setzen sich aus den Spezifikationen der Instanz, der Anzahl der Knoten, dem Standort sowie der Laufzeit zusammen.

Der Kontingent von 100 CU·H für neue Nutzer gilt nur für die angegebenen kostenlosen Spezifikationen. Das Training mit mehreren Geräten und Karten, der Speicherbedarf sowie Netzwerk- und Protokolldienste können zusätzliche Gebühren verursachen.

EAS-Preise und Sparpläne

Neue EAS-Kunden erhalten einen Rabatt von 500 Yuan für einen Probemonat. Beim ersten Kauf im Rahmen des Einstiegsangebots beträgt der Preis 59 Yuan; dabei können 200 Yuan von den Kosten für öffentliche Ressourcen abgezogen werden. Die Gültigkeit dieses Rabatts beträgt 12 Monate.

Public Resources nach Verbrauch können nach der angegebenen Kombination aus Maschine oder CPU sowie Speicher abgerechnet werden.

Der derzeit von den Behörden angegebene Referenzpreis für die Kombination der Ressourcen beträgt 0,194 Yuan pro Kern und Stunde für die CPU sowie 0,024 Yuan pro GB und Stunde für den Arbeitsspeicher; die Preise unterscheiden sich je nach Modell und Region.

Der gemeinsame Gateway ist kostenlos; exklusive Gateways, zusätzliche Systemfestplatten sowie Ressourcen im öffentlichen Netz werden separat berechnet.

Beispiel für die Kosten der Einrichtung des Qwen-Modells

Die Einführung in Qwen3-0.6B von Model Gallery verwendet standardmäßig A10-GPU-Instanzen. Die offiziellen Beispiele kosten etwa 10,5 Yuan pro Stunde. Die Bereitstellung beginnt bereits nach einigen Minuten – danach wird eine Gebühr berechnet. Wenn das Modell nicht benötigt wird, sollte es deaktiviert oder gelöscht werden.

Dieser Preis ist nur ein Beispiel für bestimmte Regionen und Spezifikationen und stellt nicht den einheitlichen Preis für alle Qwen-, DeepSeek- oder große Modelle dar. Je größer die Modellparameter sind, desto mehr GPU-Spezifikationen und Grafikspeicher sind in der Regel erforderlich.

API und Python SDK

PAI bietet OpenAPI, das allgemeine Alibaba Cloud SDK sowie ein fortgeschrittenes Python SDK an. Das offizielle Python SDK unterstützt Python 3.8 und neueren Versionen; es ermöglicht das Einreichen von Trainingsaufträgen, das Registrieren von Modellen, die Bereitstellung von Diensten sowie das Durchführen von Vorhersagen. Zudem können einige der großen Modellservices als OpenAI-kompatible Clients verwendet werden.

Die SDK-Schlüssel sollten unter Verwendung von Identitäten mit minimalen RAM-Rechten sowie Umgebungsvariablen verwendet werden. Der AccessKey des Hauptkontos sollte nicht in Notebooks, Images oder öffentlich zugänglichem Code gespeichert werden. Bei Produktivanwendungen müssen außerdem Token-Austausch, VPC-Zugriff sowie Limits für den Service eingestellt werden.

GitHub und der Open-Source-Zustand

Die PAI-Cloud-Plattform, das Scheduling-System, die Konsole sowie die Hosting-Dienste sind keine vollständig open-source-Produkte. Alibaba Cloud hat den pai-python-sdk auf GitHub als Open Source veröffentlicht – unter der Apache 2.0-Lizenz. Zudem wird das Beispiel-Repository „pai-examples“ gepflegt.

SDKs und Beispiele im Open-Source-Bereich bedeuten lediglich, dass der Client-Code eingesehen und geändert werden kann. Das bedeutet jedoch nicht, dass der PAI-Server, die Engine zur Beschleunigung des Lernvorgangs oder die Cloud-Ressourcen kostenlos für eigene Zwecke genutzt werden können. Für die einzelnen Modelle in der Model Gallery muss ebenfalls die jeweilige Lizenz überprüft werden.

Anleitung zur Verwendung von Alibaba Cloud PAI

Eine grundlegende Aufgabe erledigen

1. Installieren und konfigurieren Sie Alibaba Cloud PAI, um für das Experiment separate Projekte sowie Laufnamen einzurichten;
2. In dem Trainingsskript sollten Hyperparameter, Datenversionen, Codeversionen sowie die Zufallszahlenseed festgehalten werden;
3. Die Aufgabe wird durch das Markieren der Daten mit iTAG initialisiert und an den richtigen Cloud- oder Private-Service angebunden;
4. Verwenden Sie das Low-Code-Modellierwerkzeug Designer, um kontinuierlich Verluste, Kennzahlen, Protokolle sowie den Zustand der Hardware zu erfassen.
5. Führen Sie ein kleines Trainingslauf durch, um zu überprüfen, ob Schrittanzahl, Einheiten, Kurven und Medienbeispiele korrekt sind;
6. Speichern Sie nach Abschluss das Modell, die Einstellungen, die Ergebnisse sowie die Anleitung zur Wiederholung des Experiments.

Erstellung wiederverwendbarer professioneller Workflows

1. Einheitliche Normen für die Benennung von Projekten, Experimenten, Indikatoren und Labels;
2. Integrieren Sie iTAG für die Datenerkennung, das Low-Code-Modellierungstool Designer sowie das interaktive Modellierungstool DSW in das Schulungsmuster.
3. Versionen für Datensätze, Code, Umgebungen und Modelle verknüpfen;
4. Verwenden Sie dasselbe Bewertungsset und dieselben Vergleichsexperimente, um zu vermeiden, sich nur auf glatte Kurven zu konzentrieren;
5. Einschränkung des Upload-Bereichs für sensible Proben, Prompts und Modellausgaben;
6. Stellen Sie Alarme für Ausnahmen, Speicherungspolitiken sowie manuelle Überprüfungen ein, bevor Sie sie auf das Team ausweiten;

Für welche Nutzer geeignet?

• Data Scientists, die eine Cloud-basierte Notebook- sowie GPU-Entwicklungsumgebung benötigen;
• Algorithmus-Team für das Feintunen, die Destillation sowie das verteilte Training großer Modelle;
• Unternehmensentwickler, die das Modell als stabile API bereitstellen müssen;
• Analysten, die hoffen, Machine-Learning-Experimente mit einem Low-Code-Designer durchführen zu können;
• Plattformteams, die Arbeitsräume, Berechtigungen, Ressourcen sowie Governance für MLOps benötigen;
• Unternehmen, die Projekte in den Bereichen Empfehlungen, Suchfunktionen, visuelle Elemente, AIGC sowie Branchenmodelle durchführen.

Vorteile des Produkts

• Umfasst die gesamte Pipeline von Annotation, Entwicklung, Training, Bewertung und Bereitstellung;
• DSW, DLC und EAS sind jeweils für unterschiedliche Phasen des Projekts geeignet;
• Die Model Gallery bietet praktische Anwendungen für Modelle wie Qwen und DeepSeek.
• Unterstützung für öffentliche Ressourcen, proprietäre Ressourcen und großskalige intelligente Berechnungen;
• Verfügt über beschleunigte Logikverarbeitung, skalierbare Kapazitäten sowie Governance für Unternehmensrechte;
• Es werden OpenAPI, ein Python SDK sowie offizielle Beispiele bereitgestellt.

Einschränkungen und Hinweise

• Es gibt viele PAI-Module und komplexe Abrechnungskanäle, wodurch die Lernkosten höher sind als bei der direkten Nutzung der Modell-APIs.
• Die Kosten können gleichzeitig von GPU, CPU, Speicher, Systemfestplatte, OSS, NAS, öffentlicher Netzwerkverbindung, Gateway und Protokollen stammen;
• Ressourcen nach Verbrauch können auch dann weiterhin berechnet werden, wenn sie nicht genutzt werden. Es ist unbedingt notwendig, Budgetwarnungen einzustellen und die Testressourcen zu deaktivieren oder zu löschen.
• Unternehmensdaten und -modelle müssen zudem den regionalen, berechtigungsbezogenen, lizenzrechtlichen sowie sicherheitstechnischen Anforderungen entsprechen.

Häufige Fragen

Ist Alibaba Cloud PAI kostenlos?

Die Plattform kann kostenlos aktiviert werden, doch der Einsatz von Ressourcen wie Rechenleistung, Speicher und Deployment ist kostenpflichtig. Neue Nutzer können einen Probemonat für DSW, DLC und EAS beantragen.

Kann PAI große Modelle trainieren?

Ja. DLC unterstützt das verteiltere Training mit mehreren Maschinen und Karten, während Model Gallery das Feintunen, Testen und Bereitstellen von Modellen wie Qwen und DeepSeek ermöglicht.

Was ist der Unterschied zwischen DSW und DLC?

DSW neigt zu interaktiven Notebooks sowie zur Entwicklung und Fehlerbehebung, während DLC sich auf planbare, erweiterbare formelle Trainingsaufgaben konzentriert.

Wird auch Gebühren berechnet, wenn EAS nicht genutzt wird?

Für herkömmliche öffentliche Ressourcen-Dienste wird eine Gebühr von dem Zeitpunkt der Inbetriebnahme bis zur Beendigung berechnet – auch dann, wenn keine Anfragen vorliegen. Nur bei speziellen Serverless-Diensten wird die Gebühr nach der tatsächlich verbrachten Verarbeitungszeit berechnet.

Unterstützt PAI das OpenAI-Format?

Einige über EAS bereitgestellte große Sprachmodelle bieten eine mit OpenAI kompatible Aufrufmethode; der genaue Pfad sowie die verfügbaren Funktionen richten sich nach den Angaben zur Bereitstellung des Modells.

Ist Alibaba Cloud PAI offen source?

Die Plattform selbst ist nicht open source; das offizielle Python SDK sowie die Beispieldatenbanken sind zwar open source, was aber nicht gleichbedeutend mit der Open-Source-Natur der Server- und Cloud-Plattform ist.