Stable Audio

Was ist Stable Audio?

Stable Audio ist eine von Stability AI entwickelte Plattform zur Erstellung von Musik und Effekten mithilfe von KI. Mit ihr können Liedabschnitte, Hintergrundmusik, Umgebungsgeräusche sowie weitere Audio-Elemente anhand von textuellen Beschreibungen erstellt werden. Zudem kann man eigene Audiodateien hochladen oder aufnehmen. Mithilfe der natürlichen Sprache lassen sich außerdem der Stil ändern, Melodien fortgesetzt oder bestimmte Teile des Audios umgestaltet werden.

Bis heute hat sich Stable Audio von den anfänglichen 90-Sekunden-Modellen zu der Stable Audio 3-Serie weiterentwickelt. Version 3.0 unterstützt Musik mit einer Gesamtlänge von bis zu etwa 6 Minuten und bietet verschiedene Größenoptionen wie Small, Small SFX, Medium und Large. Zudem stehen Webanwendungen, die Stability AI API, offene Gewichte sowie Plattformen für Partnerschaften und eine eigenständige Unternehmensverwaltung zur Verfügung.

Stable Audio 3.0

Stable Audio 3.0 ist die neueste Generation an Modellen. Die Trainingsdaten stammen aus vollständig lizenzierten Quellen sowie aus Creative Commons-Ressourcen. Dabei wird besonders auf die Verbesserung der langfristigen Struktur, der Melodiekontinuität, der Befolgung von Anweisungen sowie der Generierungsgeschwindigkeit geachtet. Das Modell kann vollständige Stücke mit Einleitung, Entwicklung und Schluss erstellen – und nicht nur isolierte Loops.

3.0 Large: Für professionelle Audioproduktionen auf Unternehmensebene sowie höchste Qualität; Medium: Unterstützt vollständige Lieder mit einer Länge von bis zu etwa 6 Minuten und 20 Sekunden und bietet offene Gewichte.

Small und Small SFX sind für Geräte mit geringer Rechenleistung sowie für Edge- und Consumer-Geräte optimiert.

Stable Audio 2.5

Stable Audio 2.5 bleibt ein wichtiger Produktionsmodell in Webseiten und APIs; es kann Stereo-Audio mit einer Länge von bis zu 3 Minuten bei 44,1 kHz erzeugen und unterstützt Textgenerierung, Audio-zu-Audio-Umwandlung sowie Audio-Inpainting. Durch nachträgliches Training über ARC wird die Musikstruktur, die Geschwindigkeit sowie die Befolgung von Anweisungen verbessert.

Die Behörden behaupten unter bestimmten GPU-Bedingungen, dass die Erstellung von 3 Minuten Audio in 2,5 Sekunden möglich sei, doch die Gesamtzeit hängt weiterhin von Wartezeiten, dem Hochladen, der Netzwerkverbindung sowie der Hardware ab und sollte daher nicht als fester SLA für alle Konten gelten.

Text wird in Musik umgewandelt

Die Benutzer können in den Anweisungen Genres, Stimmung, Instrumente, BPM, Produktionssstil, Anwendungsszenarien und Struktur angeben, wie z. B. Filmmusik, Bosskämpfe in Spielen, Werbemusik, Schlagzeugloops oder atmosphärische Musik. Das Modell erzeugt anschließend Stereo-Audio im gewünschten Dauer.

Es sollten Wörter verwendet werden, die den Klang beschreiben, anstatt einfach nur zu schreiben „Mach daraus eine Art Musik“. Konkrete Instrumente, Klangfarben, Rhythmus, Raum, Epoche und Stimmung sind in der Regel stabiler als abstrakte Anweisungen.

Erstellung von Soundeffekten und Produktionsmaterialien

Stable Audio erzeugt nicht nur Musik, sondern eignet sich auch zur Erstellung von Schlagzeugklängen, Synthesizern, Umgebungsgeräuschen, Fußschritten, mechanischen Effekten, Erschütterungen, Übergängen sowie Filmeffekten. Small SFX ist speziell für die Erstellung von Soundeffekten auf Geräteebene konzipiert.

Wenn eine nahtlose Wiederholung erforderlich ist, sollten in den Anweisungen Loop und Rhythmus angegeben werden. Nach der Exportierung sollten Phase, Lautstärke und Störgeräusche überprüft werden. Die von KI erzeugten Ergebnisse können immer noch unerwünschte Gesangsstimmen oder Musikelemente enthalten.

Audio-to-Audio

Audio-to-Audio verwendet hochgeladene, aufgenommene oder bereits vorhandene Stable Audio-Werke als Struktur- und Klangreferenz und erstellt anschließend auf dieser Basis eine neue Version in Kombination mit Text. Die Benutzer können die Stärke des Eingangsaudios sowie die Stärke der Anweisungen anpassen, um zwischen Beibehaltung des ursprünglichen Audios und einer starken Veränderung zu wählen.

API empfiehlt, mit einer Stärke von etwa 0,8 zu beginnen: Je höher der Wert ist, desto stärker weicht die Ausgabe in der Regel von der Eingabe ab; niedrigere Werte bewahren mehr der ursprünglichen Struktur bei.

Der tatsächliche Optimum muss anhand der Materialien und Hinweise iterativ ermittelt werden.

Stimmengesang und Aufnahmematerial

Benutzer können Summen, Pfeifen, Instrumente oder natürliche Geräusche als Eingabe aufnehmen, um Begleitmusik, verschiedene Instrumentenversionen oder stilistische Abwandlungen zu erzeugen. Es eignet sich dazu, schnelle Musikskizzen in hörenswerte Versionen auszuarbeiten.

Die Eingabe von menschlicher Stimme gehört weiterhin zu den experimentellen Verfahren – es können Änderungen in der Tonhöhe, im Rhythmus sowie in den Identitätsmerkmalen auftreten. Für die Aufnahme mit einer echten Stimme ist eine Genehmigung erforderlich. Zudem können Bluetooth-Geräte Verzögerungen bei der Aufnahme durch den Browser verursachen.

Audio-Inpainting und Erweiterung

Audio Inpainting ermöglicht es, eine bestimmte Stelle im Audio anzugeben, um den Rest des Audios anhand des vorherigen und nachfolgenden Kontexts neu zu erzeugen oder zu erweitern. Dadurch können Abschnitte umgeschrieben, Enden ergänzt, Übergänge repariert und die Struktur angepasst werden.

Erstellung bedeutet keine verlustfreie Bearbeitung. Neue Abschnitte können den Rhythmus, die Harmonie und das Mixing verändern; bei offiziellen Werken sollte die ursprüngliche Datei beibehalten werden, und es sollten vollständige Tests vor und nach dem Überarbeiten des jeweiligen Bereichs durchgeführt werden.

Eingabe zur Überprüfung der Audio-Rechte

Benutzer können nur Audio-Dateien hochladen, für die sie die notwendigen Rechte besitzen. Die Plattform verwendet ein Inhaltserkennungssystem, um die hochgeladenen Dateien zu überprüfen; Materialien, von denen vermutet wird, dass sie das Urheberrecht Dritter verletzen, werden abgelehnt und gelöscht.

Auch bei einer Ablehnung wird die Länge der Datei weiterhin vom monatlichen Upload-Limit abgezogen. Verwenden Sie keine kommerziellen Lieder zur Überprüfung der Formatumwandlung, und gehen Sie nicht davon aus, dass eine Upload-Möglichkeit eine Genehmigung bedeutet.

Wird der hochgeladene Inhalt zur Trainierung verwendet?

Laut den offiziellen FAQ-Anweisungen werden die von Benutzern hochgeladenen Audiodaten nicht in die Trainingsdaten von Stable Audio aufgenommen, sondern werden nur bei der jeweiligen Interaktion verwendet. Die auf dieser Weise erzeugten Ausgaben können jedoch zur Verbesserung des aktuellen oder zukünftigen Modells genutzt werden.

Für Musik, Markenstimmen sowie Materialien, die durch Vertraulichkeitsvereinbarungen geschützt sind und noch nicht an Kunden veröffentlicht wurden, müssen die aktuellen Bedingungen überprüft werden. Falls eine Bereitstellung erforderlich ist, muss dies durch einen Unternehmensvertrag festgelegt werden.

Kostenloses Angebot

Mit der kostenlosen Version kann man monatlich 10 Lieder mit Stable Audio 2.5 erstellen. Dabei wird eine persönliche Lizenz verwendet, die nur für private und nicht-kommerzielle Projekte geeignet ist. Die Anzahl der kostenlosen Erstellungen wird jeden 1. des Monats erneuert; ungenutzte Erstellungen werden nicht übertragen.

Die aktuelle Benutzeranleitung gibt für die Upload-Menge sowohl einen Wert von 6 Minuten als auch in der FAQ einen Wert von 2 Minuten an; zudem wird jede Aufnahme auf 30 Sekunden gekürzt. Es sollte stets nach den Angaben im Konto verfahren werden, und das kostenlose Angebot sollte nicht für kommerzielle Zwecke verwendet werden.

Preis- und Versionsvergleich

Pro-Preis

Pro kostet derzeit 11,99 US-Dollar pro Monat und richtet sich an einzelne Kreative, die eine Geschäftslizenz benötigen. Es bietet eine Creator-Lizenz sowie erweiterte Möglichkeiten für die Erstellung von Inhalten und das Hochladen von Audio-Dateien.

Laut den aktuellen FAQ können monatlich 30 Minuten hochgeladen werden, wobei jede hochgeladene Datei maximal 6 Minuten in Anspruch nimmt.

Auf der Preisseite wird die aktuelle Anzahl der erzeugten Stücke im Crawling-Text nicht konstant angezeigt; die Obergrenze von 500 Stücken kann sich je nach Kosten des Modells ändern. Vor dem Kauf sollte man sich an die auf der Zahlungsseite angezeigte Anzahl der erzeugten Stücke halten.

Studio-Preis

Das Studio kostet derzeit 29,99 US-Dollar pro Monat und ist für häufigeres individuelles Arbeiten unter Verwendung einer Creator-Lizenz gedacht. Die monatliche Upload-Menge für Audio beträgt 60 Minuten, wobei jede einzelne Datei maximal 6 Minuten lang sein darf.

Studio erhöht die Kapazitäten für Erstellung und Hochladen, gewährt jedoch großen Organisationen nicht automatisch Lizenzen, rechtliche Schutzmechanismen oder die Möglichkeit zur lokalen Installation.

Max-Preis

Derzeit beträgt Max 89,99 US-Dollar pro Monat – es handelt sich dabei um das Paket für individuelle Kreative mit hohem Verbrauch in Webanwendungen. Die monatliche Ladekapazität für Audioinhalte beträgt 90 Minuten, wobei jede einzelne Datei maximal 6 Minuten lang sein darf.

Für mehr Speicherplatz wenden Sie sich bitte an den Support.

Max unterscheidet sich weiterhin von Enterprise. Organisationen mit einer größeren Teamgröße, Endbenutzerprodukten, selbst gehosteten Modellen sowie einem höheren Jahresumsatz sollten unter den Unternehmensbedingungen kaufen.

Enterprise-Unternehmenslizenz

Enterprise bietet kundenspezifische Angebote an, ermöglicht die Implementierung von Modellen auf eigener Infrastruktur und stellt Unterstützung bei der Anpassung der Modelle, bei der Umsetzung sowie bei kontinuierlicher Betreuung sowie rechtlichen Schutzmaßnahmen bereit. Auf der Preisseite wird angegeben, dass Unternehmen mit einem Jahresumsatz von über 1 Million US-Dollar, die ihre Modelle auf eigener Infrastruktur einsetzen möchten, sich an das Team wenden sollen.

Unternehmen sollten im Vertrag die Modellversion, die Hardware, die Konkurrenzfähigkeit, die Aktualisierungen, das Datentraining, die Markenstimmen, die SLA-Unterstützung, die Rechte an den Ausgaben sowie den Umfang der Entschädigung festlegen.

Personal-, Creator- und Enterprise-Lizenzen

Personal erlaubt nicht-kommerzielle Projekte; Creator erlaubt Privatpersonen, das erstellte Audio für kommerzielle Projekte und Musikveröffentlichungen zu verwenden;

Enterprise wird in großen und mittleren Organisationen, für skalierbare Produkte, Anwendungen, Spiele, Filme, Werbung sowie Szenarien mit hohem MAU eingesetzt.

Die Lizenz richtet sich nach dem Account-Status zum Zeitpunkt der Erstellung. Laut den FAQ-Hinweisen bleibt die Audio-Datei, die mit den Pro- oder höheren Plänen erstellt wird, auch nach einer späteren Stornierung bei der ursprünglichen Lizenz.

Ein Upgrade oder Downgrade ändert die Lizenzen der bisherigen Werke nicht automatisch.

Stornierung und Rückerstattung

Die Abonnementverwaltung erfolgt über Stripe – es ist jederzeit möglich, das Abonnement aufzurüsten, herunterzustufen oder zu kündigen. Eine Aufrüstung tritt umgehend in Kraft und wird proportional zum verbleibenden Zeitraum berechnet;

Bei Stornierung wird es sofort auf Free herabgestuft und verliert die noch nicht genutzte Monatskreditmenge.

Die Rückerstattung wird von der Plattform nach Ermessen entschieden. In der Regel muss sie innerhalb von 48 Stunden nach der Abrechnung beantragt werden – vorausgesetzt, der Verbrauch liegt unter 2 % des monatlichen Limits oder es handelt sich um besondere Fälle wie unbefugte Zahlungen. Nutzer mit automatischer Verlängerung sollten die Mitgliedschaft vor dem Rechnungsdatum kündigen.

Preise für die Stability AI API

Die Entwicklerplattform wird nach Credits abgerechnet, wobei 1 Credit 0,01 US-Dollar entspricht. Neue Konten erhalten 25 kostenlose Credits. Für jede erfolgreiche Erstellung mit Stable Audio 2.5 werden 20 Credits gutgeschrieben, was etwa 0,20 US-Dollar entspricht.

Bei jedem erfolgreichen Erstellen mit Stable Audio 3.0 werden 26 Credits vergeben, was etwa 0,26 US-Dollar entspricht. Bei einem Misserfolg wird keine Gebühr berechnet.

Die API-Preise sind kein Ersatz für eine vollständige kommerzielle Lizenz. Entwickler müssen sich außerdem an die Bedingungen der API, der Community-Lizenz oder der Enterprise-Lizenz halten und die Kosten für Speicherung, Übertragung, Wiederholungsversuche sowie Nachverarbeitung berücksichtigen.

API-Aufrufmethode

Text-to-Audio gibt direkt Audio oder Base64 zurück. Stable Audio 3.0 Audio-to-Audio verwendet einen asynchronen Ablauf: Nach der Einreichung wird eine Generation-ID zurückgegeben, anschließend wird am Ergebnis-Endpoint nachgefragt.

Die maximale Größe der hochgeladenen Datei beträgt etwa 100 MB.

Der API-Schlüssel muss auf der Serverseite gespeichert werden. In der Produktivumgebung sollten die Hochladen von Dateien durch Benutzer eingeschränkt werden, die Dateitypen überprüft werden, der Status 202 sowie Zeitüberschreitungen berücksichtigt werden, und außerdem sollten die generierten Parameter sowie die Lizenzversionen gespeichert werden.

Stable Audio 3 offene Gewichte

Stable Audio 3.0 Small, Small SFX und Medium bieten herunterladbare Gewichte; Large wird hauptsächlich über die Stability AI API sowie für Enterprise-Einsätze zur Selbsthostung genutzt. Die offenen Gewichte ermöglichen es Entwicklern, zu erforschen, zu analysieren und lokale Workflows zu erstellen.

Die Gewichtung unterliegt der Stability AI Community License und ist nicht bedingungslos im öffentlichen Bereich. Persönliche Nutzung, Forschung sowie kommerzielle Nutzung, die den Einkommensanforderungen entspricht, sind gemäß der Lizenz zulässig;

Organisationen, die über den zulässigen Umfang hinausgehen, benötigen eine Enterprise-Lizenz.

Stable Audio Open 1.0

Die frühe Version von Stable Audio Open 1.0 eignet sich dazu, Schlagmuster, Riffs, Umgebungsgeräusche sowie weitere Produktionselemente mit einer Länge von bis zu 47 Sekunden zu erzeugen. Die Trainingsdaten stammen aus Audiodateien unter Creative Commons auf Freesound und Free Music Archive. Das Tool zielt nicht darauf ab, vollständige Lieder oder realistische Gesangsstimmen zu erstellen.

Die Gewichte des Modells unterliegen ebenfalls der Stability AI Community License. Die Herkunft und die Fähigkeiten des Modells unterscheiden sich von denen der kommerziellen Webseitenmodelle AudioSparx 2.x und 3.0 – sie sollten daher nicht miteinander verwechselt werden.

GitHub-Code und Lizenzen

Das offizielle Repository stable-audio-tools bietet Werkzeuge für das Training und die Inferenz bei der bedingten Audiosynthese; der Code steht unter der MIT-Lizenz zur Verfügung. Auch das Repository stable-audio-3 stellt den Implementierungscode sowie Anleitungen zur Verwendung des Modells bereit.

MIT-Code bedeutet nicht, dass alle Modellgewichte ebenfalls MIT sind. Die Modellgewichte, die Ausgaben sowie die kommerzielle Nutzung unterliegen weiterhin den Bedingungen der Community- oder Enterprise-Lizenz. Vor der Implementierung müssen sowohl die Lizenzbedingungen für den Code als auch für das Modell überprüft werden.

Trainingsdaten

Die frühen Versionen 1.0 und 2.0 der Webversion von Stable Audio nutzten Lieder unter der AudioSparx-Lizenz zur Schulung, und es war den jeweiligen Künstlern möglich, sich davon auszuschließen; die 3.0-Serie verwendet vollständige Lizenzen sowie Daten unter Creative Commons.

Stability AI arbeitet außerdem mit anderen Datenpartnern zusammen, um Modelle zu erweitern.

„Genehmigte Daten“ können die Konformität mit den Quellen verbessern, garantieren jedoch nicht, dass das Endergebnis keinerlei Ähnlichkeit mit bestehenden Werken aufweist. Für eine kommerzielle Veröffentlichung sind weiterhin Überprüfungen auf Ähnlichkeiten, manuelle Prüfungen sowie Überprüfung gegen die Richtlinien der Plattform erforderlich.

Anleitung zur Verwendung von Stable Audio

Eine grundlegende Aufgabe erledigen

1. Bestätigung der Aufnahmen, der Geräusche, der Musik sowie der Genehmigung der Teilnehmer;
2. Laden Sie hochwertiges Audiomaterial in Stable Audio hoch oder eingeben Sie es dort ein;
3. Wählen Sie die Sprache, den Sprecher sowie Einstellungen wie Stable Audio 3.0 aus;
4. Verwenden Sie Stable Audio 2.5 zur Erstellung von Transkripten, Untertiteln oder zur Aufbereitung von Inhalten;
5. Überprüfen Sie Abschnitt für Abschnitt Namen, Zahlen, Pausen, Lautstärke und Stimmung;
6. Prüfen Sie vor der Exportierung das Format, die Lautstärke sowie die Anforderungen bezüglich Urheberrechten und Datenschutz.

Erstellung wiederverwendbarer professioneller Workflows

1. Erstellen Sie einen Testdatensatz mit echtem Rauschen, Akzenten und mehrsprachigen Abschnitten;
2. Vergleichen Sie die Unterschiede in der Verarbeitung von Stable Audio 3.0, Stable Audio 2.5 und textbasiert generierter Musik;
3. Beibehalten der ursprünglichen Aufnahmen und unveränderten Transkripte;
4. Vor der Veröffentlichung für die Öffentlichkeit eine mündliche Anhörung anberaumen;
5. Statistische Auswertung der Verarbeitungszeit, Fehlerquote und Verbrauch von Limits;
6. Regelmäßige Aktualisierung des Glossars, der Lizenzen für Töne und der Löschrichtlinien;

Für welche Nutzer geeignet?

• Einzelkreative, die Musik für Werbespots, Kurzvideos, Spiele und Podcasts produzieren;
• Tonschöpfer, die Umgebungsgeräusche, Soundeffekte, Loops sowie Produktionsmaterialien benötigen;
• Musiker, die mit Summen, Instrumenten und vorhandenen Stems Musik erzeugen;
• Entwickler, die über APIs Musik und Effekte in Massen erstellen;
• Technische Teams, die hoffen, offene Gewichte, lokale Inferenz oder eine angepasste Markenstimme herunterladen zu können.

Vorteile des Produkts

• Stable Audio 3 kann Musikstücke von bis zu etwa 6 Minuten Länge erzeugen;
• Umfasst Text-zu-Audio, Audio-zu-Audio, Inpainting und Erweiterungen;
• Die Trainingsdaten stammen hauptsächlich aus lizenzierten und Creative-Commons-Quellen;
• Web, API, offene Gewichte sowie Enterprise-Selbsthosting zur Verfügung;
• Small SFX unterstützt die Erzeugung von Audieffekten auf der Geräteebene;
• Für Inhalte, die mit einem kostenpflichtigen individuellen Plan erstellt werden, wird eine kommerzielle Lizenz für Creator gewährt.

Einschränkungen und Hinweise

• Free kann nur für nicht-kommerzielle Zwecke verwendet werden; für kommerzielle Projekte sind Pro oder höher sowie Enterprise erforderlich.
• Das eingegebene Audio muss lizenziert sein; hochgeladene Dateien, die von der Urheberrechtsprüfung abgelehnt werden, verbrauchen den monatlichen Upload-Limit dennoch.
• Die Anzahl der generierten Webseiten sowie die Anzahl der hochgeladenen Minuten können je nach Modellanpassung variieren; ungenutzte Mengen werden nicht übertragen.
• Für die offenen Gewichte wird die CommunityLicense verwendet. Die MIT-Lizenz bedeutet nicht, dass das Modell unbegrenzt für kommerzielle Zwecke genutzt werden kann.

Häufige Fragen

Ist Stable Audio kostenlos?

Es gibt ein kostenloses Paket: 10 Mal monatlich kann Stable Audio 2.5 generiert werden – nur für private, nicht-kommerzielle Zwecke. Neue API-Konten erhalten zusätzlich 25 kostenlose Credits.

Wie viel kostet Stable Audio?

WebPro kostet 11,99 US-Dollar pro Monat, Studio 29,99 US-Dollar pro Monat, Max 89,99 US-Dollar pro Monat; Enterprise ist auf Anfrage verfügbar.

API 2,5 kostet etwa 0,20 US-Dollar pro Aufruf, API 3,0 etwa 0,26 US-Dollar pro Aufruf.

Wie lang kann Musik erstellt werden?

Stable Audio 2.5 dauert maximal etwa 3 Minuten, Stable Audio 3.0 maximal etwa 6 Minuten; die genauen Zeitlimits variieren je nach Modell und Eingang.

Kann es für kommerzielle Zwecke verwendet werden?

Persönliche Kreative mit Pro-, Studio- und Max-Lizenzen können unter der Creator-Lizenz für kommerzielle Zwecke genutzt werden. Für Organisationen sowie für großangelegte Projekte ist eine Enterprise-Lizenz erforderlich. Die Free-Lizenz darf nicht für kommerzielle Zwecke verwendet werden.

Ist Stable Audio Open Source?

Teilweise offen. Der Code von stable-audio-tools folgt der MIT-Lizenz; für Small, Small SFX und Medium gelten offene Lizenzzustände mit geringen Einschränkungen. Die Verwendung des Modells ist jedoch durch die Stability AI Community License begrenzt.

Large wird hauptsächlich über API und Enterprise genutzt.