Fireworks AI

Was ist Fireworks AI?

Fireworks AI ist eine von Fireworks.ai, Inc. bereitgestellte Plattform für generative KI-Infrastruktur, die für Entwickler und Unternehmen gedacht ist, die offene Gewichtsmodelle aufrufen, anpassen und bereitstellen möchten. Sie bündelt Modellverzeichnisse, Inferenz-Schnittstellen, Trainingsaufgaben, die Bereitstellung spezieller GPUs, Quoten sowie Überwachungsfunktionen in einer einzigen Plattform.

Fireworks AI ist weder ein einzelner Chatbot noch entspricht er einem bestimmten Modell. Die Benutzer müssen ein konkretes Modell, eine bestimmte Leistungsstufe sowie eine geeignete Implementierungsart auswählen. Zudem können die Lizenzen für die Modelle, die Länge des Kontexts, die Art der Eingaben, die Qualität der Ausgaben sowie die Preise unterschiedlich sein.

Kernproduktform

Serverless-Modell-Inferenz

Serverless stellt beliebte Text-, Visual- und eingebettete Modelle bereit; der Aufrufer zahlt nur für die tatsächlich genutzten Token und muss weder eine GPU auswählen, Kopien konfigurieren noch mit einem „Cold Start“ umgehen. Standard ist die Standard-Ebene, Priority wird über Anfrageparameter aktiviert, während Fast eigenständige, schnelle Modelle verwendet.

• Chats und Textvollständigungsfunktionen unterstützen fließende Ausgabe, Aufruf von Tools und strukturierte Ergebnisse.
• Das visuelle Modell erhält Text- und Bildinhalte; das tatsächliche Format und die Größe sind durch die Beschränkungen des Modells bestimmt.
• Ein Embedding-Modell wandelt Text in Vektoren um, die sich gut für die Suche, das Clustering und die Berechnung der Ähnlichkeit eignen.
• Der Cache der Hinweistexte kann die Kosten für wiederholte Kontexte senken, ist jedoch von der Routenwahl und der Inhaltskonsistenz abhängig.
• Die Batch-Verarbeitung wird zu 50 Prozent der üblichen Preise für Serverless-Eingaben und -Ausgaben berechnet und eignet sich für große, nicht Echtzeit-Anwendungen.

Shared Serverless ist ein Best-effort-Service, der keine garantierten Werte bezüglich Latenz oder Verfügbarkeit bietet. Modelle können ausfallen; für häufig genutzte Modelle wird in der Regel mindestens zwei Wochen im Voraus benachrichtigt. Wenn feste Versionen sowie Leistungsversprechen erforderlich sind, sollte man eine dedizierte Bereitstellung in Betracht ziehen.

Kompatible Schnittstelle zwischen OpenAI und Anthropic

Fireworks bietet Schnittstellen, die mit dem Chat-Completions-Format von OpenAI sowie dem Anthropic Messages-Format kompatibel sind. In der Regel muss man bei bestehenden Anwendungen lediglich die Service-Adresse, den Schlüssel und die Modellidentifikation ändern. Kompatibilität bedeutet jedoch nicht, dass alle Parameter, das Verhalten des Modells oder die Grenzbedingungen exakt gleich sind; daher sollte vor der Migration alles einzeln getestet werden.

• Es werden synchrone, asynchrone und strömungsbasierte Antworten unterstützt; der letzte Teil bei der strömungsbasierten Antwort kann die Tokenanzahl enthalten.
• Bei einem Überlauf des Modellkontexts kann standardmäßig die maximale Ausgabe automatisch reduziert werden, oder es kann so eingestellt werden, dass direkt ein Fehler gemeldet wird.
• Der Schlüssel zur Logikverarbeitung sollte auf der Serverseite gespeichert werden und darf weder in die Frontend-Seiten noch in öffentliche Repositorien geschrieben werden.
• Die Fähigkeiten zur Aufrufung von Tools, zum Schlussfolgern sowie zur strukturierten Ausgabe sollten anhand des jeweiligen Modells überprüft werden.

Modell-Tuning und Training

Überwachung der Feinabstimmung von SFT

SFT trainiert das Modell mit Dialogbeispielen, die ideale Antworten enthalten, und eignet sich zur Darstellung von Fachwissen, fester Formatierung, Markentonfall sowie für den Aufruf von Tools. Die Daten werden in einer OpenAI-kompatiblen JSON-Struktur Zeile für Zeile übertragen und können über die Benutzeroberfläche, die Kommandozeile, APIs oder das Python SDK hochgeladen werden.

Präferenzoptimierung DPO

Der DPO verwendet unter derselben Anweisung Paare aus bevorzugten und weniger bevorzugten Antworten, um das Modell besser an Qualitäts-, Stil- oder Sicherheitspräferenzen anzupassen. Das aktuelle Datenformat sowie die Sitzungsstruktur weisen klare Einschränkungen auf; vor dem Training muss eine Datenvalidierung durchgeführt werden.

Verstärkte Feinabstimmung RFT

RFT nutzt Bewertungsfunktionen oder Belohnungsfunktionen, um die Leistung des Modells bei der Inferenz, bei der Verwendung von Werkzeugen sowie bei mehrrunden Agentenaufgaben zu optimieren. Teams können entweder verwaltete Prozesse verwenden oder ihre eigenen Bewertungslogiken sowie Trainingszyklen über die Training API einbinden.

LoRA im Vergleich zur Trainierung mit allen Parametern

LoRA modifiziert das Verhalten durch kleinere Adapter, wobei die Implementierungskosten von der Strategie zur Nutzung des Basismodells abhängen; das Training mit allen Parametern eignet sich für Aufgaben, bei denen eine tiefere Verhaltensänderung erforderlich ist, ist jedoch mit höheren Kosten für Daten, Rechenleistung und Verwaltung verbunden. Anpassungsmodelle sowie von Benutzern hochgeladene Modelle erfordern eine On-demand-eigene Implementierung und können nicht direkt auf shared Serverless-Plattformen eingebettet werden.

Trainingsworkflow

1. Klare Qualitätsziele, Referenzsets, Fehlerarten und Go-Live-Thresholds festlegen.
2. Über den Modellkatalog können die verfügbaren Basismodelle, die Länge des Kontexts sowie die unterstützten Trainingsmethoden überprüft werden.
3. Daten reinigen, Schlüssel, persönliche sensible Informationen und nicht für die Nutzung berechtigte Inhalte löschen.
4. Erstelle ein Trainingsset und ein unabhängiges Evaluationsset im SFT-, DPO- oder RFT-Format.
5. Laden Sie die Daten hoch und überprüfen Sie sie, indem Sie zunächst mit kleinen Aufgaben das Format, den Verlust sowie die Qualität der Beispiele prüfen.
6. Starten Sie das Training und dokumentieren Sie das Modell, die Hyperparameter, die Datenversion sowie die Kosten.
7. Vergleichen Sie die Qualität, Sicherheit und Verzögerung des Basismodells mit dem angepassten Modell anhand von unbekannten Beispielen.
8. Erstellen Sie eine dedizierte Bereitstellung, führen Sie schrittweise den Umstieg durch und überwachen Sie kontinuierlich Abweichungen sowie abnormale Ausgaben.

On-Demand-Spezialbereitstellung

On-Demand wird nach GPU-Sekunden abgerechnet und bietet eine von dem gemeinsam genutzten Traffic unabhängige Kapazität sowie eine besser steuerbare Verzögerung. Benutzer können Plattformmodelle, eigene Modelle oder LoRA einsetzen, Mindest- und Maximalkopien festlegen und bei fehlenden Anfragen auf Null reduzieren.

• Die Durchsatzleistung wird hauptsächlich durch das GPU-Modell, die Anzahl der GPUs, die Größe des Modells, die Quantisierung, den Kontext sowie die Batch-Größe bestimmt.
• Die Erhöhung der Anzahl der Kopien oder die Anzahl der GPUs pro Kopie führt in proportionalem Maße zu höheren Betriebskosten.
• Es stehen die Regionen GLOBAL, US, EUROPE und APAC zur Auswahl; es ist auch möglich, sich für eine feste, einzelne Region zu entscheiden.
• Feste Bereiche können nicht an ihrem ursprünglichen Ort verschoben werden; es ist erforderlich, eine neue Deployment zu erstellen und den Datenverkehr umzuleiten.
• Unternehmen können private Netzwerkverbindungen, direkte Routing-Optionen, dedizierte Kapazitäten sowie höhere Quoten besprechen.

API-Anbindungsprozess

1. Erstellen Sie ein Konto und erhalten Sie ein Probegeld oder verknüpfen Sie eine Zahlungsmethode.
2. Wählen Sie im Modellverzeichnis das für die Eingabetypen, den Kontext und den Preis geeignete Modell aus.
3. Erstellen Sie eine API-Schlüssel und legen Sie ihn in eine Server-Umgebungsvariable oder einen Schlüsselverwaltungsmanager.
4. Wählen Sie das offizielle Python SDK, das OpenAI SDK, das Anthropic SDK oder rufen Sie die direkte API auf.
5. Zuerst werden die Modellidentifikation, das Nachrichtenformat sowie die Felder für die Verbrauchsmengen mit kleinen, nicht-flussbasierten Anfragen überprüft.
6. Fügen Sie außerdem Flussbasierte Ausgabe, Toolaufrufe, strukturierte Ergebnisse, Caching oder Batch-Aufgaben hinzu.
7. Für Traffic-Limiting, Timeout, Modell-Deaktivierung und Inhaltsfehler sind Wiederholungsversuche sowie Downgrade-Strategien vorgesehen.
8. Legen Sie ein monatliches Budget, Alarme sowie einen Schlüsselwechsel fest und aktivieren Sie anschließend den Produktivverkehr.

Beispiel für den aktuellen Preis

Die Verzeichnisse der Modelle sowie die Preise für Serverless-Dienste werden aktualisiert. Für die Kategorien Priority und Fast können ebenfalls höhere Preise gelten. Bei der Auswahl sollte man sich an den tatsächlichen Modellen, dem Service-Level sowie den Angaben auf der Rechnelseite orientieren – die in der Tabelle angegebenen Beispiele können nicht auf alle Modelle übertragen werden.

Trainingspreis

Die Preise in der Tabelle werden pro Million Trainings-Token berechnet. Die Anzahl der Trainings-Token hängt von der Menge der Beispiele, der Anzahl der Iterationen, der mehrfachen Durchführung der Trainingsschritte sowie von den Bildern und den Inhalten der Schlussfolgerungen ab. RFT sowie die Dedicated Training API können nach GPU-Stunden abgerechnet werden, während die Serverless Training API separat für die Vorausladung, die Caching-Vorausladung, das Sampling sowie die Trainings-Token berechnet wird.

Preise für GPU auf Anfrage

Die in bestimmten Regionen eingesetzte Version wird zu 1,5-fach des Standardpreises berechnet; dazu ist eine Kontaktaufnahme mit dem Vertrieb erforderlich. Die Aktivierungsgebühr entfällt, doch wenn die minimale Anzahl an Kopien größer als null festgelegt wird, entstehen kontinuierliche GPU-Kosten.

Kontogrenzen und Budgets

• Für Konten ohne gebundene Zahlungsmethode beträgt die Anzahl der Anfragen pro Minute 10.
• Die Obergrenze für Anfragen auf Kontenebene bei bereits verknüpften Zahlungsmethoden beträgt 6000 pro Minute und unterliegt weiterhin der Limitierung durch die Modell-Tokens.
• Gültige Zahlungsmethoden entsprechen einem monatlichen Budget von bis zu 50 US-Dollar; durch wiederholte Aufladungen oder Ausgaben wird das Budgetlevel erhöht.
• Sobald der vom Benutzer festgelegte monatliche Budgetbetrag erreicht ist, werden Anfragen zur Inferenz, zum Deployen und zum Feintunen ausgesetzt.
• Die Anzahlung wird zuerst aufgebraucht; der Verbrauch, der den Betrag der Anzahlung übersteigt, wird am Monatsende nachgerechnet.
• Die Erstellung und Lektüre von Konten, Benutzern, Modellen sowie Datensätzen – also die Verwaltungsanfragen selbst – sind nicht gebührenpflichtig. Für Deployment- und Trainingsaufgaben werden hingegen Gebühren erhoben.

SDK, Kommandozeile und Open-Source-Grenzen

Offene SDKs, Cookbooks, Startvorlagen und einige Tools können unter Einhaltung ihrer jeweiligen Lizenzen einzeln genutzt werden, doch die Plattform zur Durchführung von Inferenzfunktionen wird dadurch nicht zu Open-Source-Software. Ob die Modellgewichte verfügbar sind und ob sie für kommerzielle Zwecke genutzt werden dürfen, hängt von der jeweiligen Lizenz des zugrunde liegenden Modells ab.

Passend für Nutzer und Szenarien

• AI-Anwendungsentwickler: Schneller Zugang zu Chat, Inferenz, Visualisierung, Einbettung und Toolaufrufen.
• Agententeam: Nutzung schnellen Schlussfolgerns, strukturierter Ausgaben und RFT zur Verbesserung komplexer Workflows.
• Forschungs- und Machine-Learning-Team: Ausführung von SFT, DPO, RFT oder benutzerdefinierten Trainingszyklen.
• Produkte mit hohem Durchsatz: Mit dedizierten GPUs wird eine stabilere Leistung sowie eine bessere Versionskontrolle der Modelle gewährleistet.
• Globale Unternehmen: Einsatz nach Regionen sowie Bewertung der Anforderungen an private Netzwerkverbindungen und Datenhaltung.
• Batch-Team: Durchführung von Offline-Generierung, Datenerweiterung und Modellbewertung zu einem reduzierten Preis.

Vorteile

• Serverless, dedizierte Inferenz und Training teilen sich ein und dasselbe Konten- und Ressourcensystem.
• Kompatibel mit gängigen SDKs, was die Migration bestehender Anwendungen erleichtert.
• Es werden verschiedene Modelle mit offenen Gewichten unterstützt, wodurch die Anwendung nicht an ein einziges Modell gebunden ist.
• Von LoRA über vollständige Parameter bis hin zu benutzerdefinierten Schleifen – die Ebenen der Trainingssteuerung sind recht umfassend.
• Mehrfachregionen, Private Netzwerke und Export von Metriken eignen sich für die Verwaltung von Produktionsinfrastrukturen.

Einschränkungen und Risiken

• Die Modelldateien, Preise und die Vorschaufunktionen ändern sich schnell; in der Produktionsumgebung sollten die Modelle festgelegt und Ersatzoptionen bereitgestellt werden.
• Bei gemeinsam genutztem Serverless gibt es kein einheitliches SLA; die Verzögerungen sowie die Verfügbarkeit können in Spitzenzeiten schwanken.
• Kompatible Schnittstellen weisen weiterhin Verhaltensunterschiede auf, weshalb Regressionstests nicht übersprungen werden können.
• Automatische Skalierung erhöht die Kosten für GPUs, und eine falsch eingestellte Mindestanzahl an Kopien kann ebenfalls zu weiteren Gebühren führen.
• Die Ausgaben des Modells können Halluzinationen, unangemessenen Inhalt sowie Strukturfehler aufweisen; daher muss eine manuelle Überprüfung unter Berücksichtigung des Risikos durchgeführt werden.
• Die Feinabstimmungsqualität hängt von den Daten und der Bewertungskonzeption ab; die Abschluss des Trainings bedeutet nicht, dass das Modell dem Basismodell überlegen ist.
• Die Verwendung, Weiterverbreitung und kommerzielle Nutzung von Drittanbieter-Modellen unterliegen weiterhin den Bestimmungen ihrer Lizenzen.

Privatsphäre und Sicherheit

Bei der allgemeinen Inferenz mit offenen Modellen speichert Fireworks keine Hinweise oder das erzeugte Inhalte, sofern nicht ausdrücklich eine Aufzeichnung gewählt wird. Ebenso wird das Modell weder mit Benutzerhinweisen, Trainingsdaten noch mit Eingaben über die Schnittstelle trainiert. Die proprietäre FireFunction sah früher eine Ausnahme vor, bei der Eingangs- und Ausgangsdaten bis zu 30 Tage lang aufgezeichnet werden konnten; fortgeschrittene Funktionen wie FireOptimizer können ebenfalls Daten aufzeichnen, sofern der Benutzer dies aktiv wünscht.

• Für den Datentransfer wird eine Verschlüsselung nach TLS 1.2 oder neuer verwendet, für statische Daten wird AES-256 eingesetzt.
• Spezielle Workloads werden logisch isoliert und bieten Zugriffsprotokolle sowie die Optionen für eigene Storage-Bucket des Kunden.
• Auf der Plattform sind ISO 27001, ISO 27701, ISO 42001 und SOC 2 Type II aufgeführt.
• Die medizinische Arbeitsbelastung erfordert die Überprüfung von HIPAA-Verträgen, Partnervereinbarungen und des genauen Umfangs der angebotenen Dienstleistungen.
• Der Service verfügt über Server in den USA und kann grenzüberschreitend verarbeitet werden; der Aufbewahrungsort der Daten hängt von dem Einsatzgebiet sowie von den Vertragsbedingungen ab.

Urheberrecht, kommerzielle Nutzung und Rückerstattung

Der Benutzer ist für die Nutzung der hochgeladenen Daten, des Trainingsdatensatzes, der Anweisungen sowie der Ergebnisse verantwortlich und muss die Genauigkeit der Modellausgaben überprüfen. Es sind Reverse-Engineering, der Verkauf oder die Übertragung von API-Schlüsseln, Störungen des Systems, Verletzungen der Rechte Dritter sowie andere illegale Nutzungsformen untersagt.

Die Tatsache, dass die Plattform es Unternehmen ermöglicht, Modelle zu entwickeln, bedeutet nicht, dass alle Ausgaben der Modelle sowie ihre Gewichte bedingungslos für kommerzielle Zwecke genutzt werden können. Vor dem Kauf sollten die Bedingungen der Plattform, die Lizenzen für die Basismodelle, die Lizenzen für die Datensätze sowie die Bedingungen der Geschäftsvereinbarung sorgfältig geprüft werden.

Offizielle Angaben besagen, dass die im Voraus gezahlten Beträge zuerst verrechnet werden, während die überschüssige Nutzung monatlich nachträglich abgerechnet wird. Allerdings wurde kein allgemeines Rückzahlungsversprechen für alle Konten bestätigt. Bedingungen für Rückerstattungen oder Abzüge im Zusammenhang mit Aufladungen, Fehlvorababrechnungen, Ablauf von Probemonaten sowie Unternehmensverträgen müssen vor der Zahlung bei der Kundenservice-Abteilung bestätigt werden.

Häufige Fragen

Gibt es ein dauerhaft kostenloses Abo für Fireworks AI?

Ein dauerhafter, unbegrenzter kostenloses Abo-Plan ist nicht bestätigt. Neukunden erhalten einen Probemonat zum Preis von 1 Dollar; danach wird nach dem tatsächlichen Verbrauch an Modellen, Trainingseinheiten oder GPUs abgerechnet.

Wie sollte man zwischen Serverless und On-Demand wählen?

Niedrige bis mittlere Durchsatzmengen, gängige Modelle und schnelle Tests eignen sich für Serverless; stabile hohe Durchsatzmengen, benutzerdefinierte Modelle, LoRA oder Anforderungen an Leistungssteuerung sind besser für On-demand geeignet.

Kann man das OpenAI SDK direkt verwenden?

Ja, es ist möglich, über die Anpassung der Servicekonfiguration, der Schlüssel sowie der Modellidentifikatoren kompatible Schnittstellen zu nutzen. Allerdings müssen die Parameterdetails sowie das Verhalten bei Kontextüberschreitungen erneut getestet werden.

Kann ein feinabgestimmtes Modell auf Serverless laufen?

Nicht möglich. Für von Benutzern angepasste LoRA-Modelle sowie benutzerdefinierte Modelle muss eine auf Anfrage erstellte, spezielle Bereitstellung erstellt werden.

Wird der Prompt gespeichert oder zur Trainierung verwendet?

Beim offenen Modell wird bei der allgemeinen Schlussfolgerung kein Datenmaterial gespeichert, und Daten, die nicht ausdrücklich zur Verwendung im Training ausgewählt werden, kommen nicht zum Einsatz; proprietäre Modelle oder fortgeschrittene Funktionen können Ausnahmen darstellen, wobei vor der Nutzung die jeweiligen Datenvorschriften überprüft werden müssen.

Ist Fireworks AI eine Open-Source-Plattform?

Es handelt sich nicht um eine bestätigte Open-Source-Hosting-Plattform. Einige SDKs, Befehlszeilenwerkzeuge, Cookbooks sowie Beispielrepositorien haben offenen Quellcode, doch die Plattformdienste sowie Drittanbietermodelle unterliegen jeweils unterschiedlichen Bedingungen.

Wie vermeidet man unerwartete Überschreitungen des Budgets?

Legen Sie monatliche Budgets und Warnungen fest, führen Sie zunächst Tests in kleinem Umfang durch, um die Cache-Zuverlässigkeit sowie die Länge der Ausgaben zu überprüfen, und stellen Sie sicher, dass eine spezielle Bereitstellung auf Null skaliert werden kann. Wenn das Budget erreicht ist, wird der Dienst pausiert, doch die Überwachung sollte weiterhin fortgesetzt werden.

Wird es Unterstützung für native Apps aus dem chinesischen Festland geben?

Es gibt keine bestätigten, in Festlandchina entwickelten Desktop- oder Mobile-Anwendungen für Endbenutzer. Fireworks AI wird hauptsächlich über eine Webkonsole, APIs, SDKs sowie Befehlszeilenwerkzeuge genutzt; die Netzwerk- und Konformitätsfähigkeit muss selbst geprüft werden.

Zusammenfassung

Fireworks AI eignet sich für Teams, die auf derselben Plattform Open-Modelle verarbeiten, anpassen, trainieren und speziell einsetzen möchten. Seine kompatiblen Schnittstellen sowie das Serverless-Modell auf Anfrage verkürzen den Entwicklungsprozess. Zudem bieten die On-Demand- und Unternehmensfunktionen eine bessere Kontrolle über Versionen, Regionen und Leistung.

Eine Kostenbewertung darf nicht nur den Preis eines einzelnen Tokens vergleichen, sondern muss auch Cache, Ausgabellänge, Mengenrabatte, Trainings-Token, GPU-Kopien sowie regionale Prämien berücksichtigen. Vor dem Go-Live muss eine End-to-End-Überprüfung der Modellqualität, Lizenzen, Datenerfassung, Bandbreitenbeschränkungen und des Budgets durchgeführt werden.