CSM AI

Was ist CSM AI?

CSM AI wurde von Common Sense Machines entwickelt. Das Hauptprodukt ist Cube – eine 3D-Generierungsplattform für Spiele, Design, Animation und Simulation. Sie kann mit Texten, Skizzen, Produktbildern oder Charakterbildern als Ausgangspunkt genutzt werden. Zunächst werden Referenzbilder erstellt, die anschließend in 3D-Gitter umgewandelt werden. Danach können weitere Verfeinerungen vorgenommen werden, sowie das Modell geteilt, neu texturiert und animiert werden.

Die Plattform ist als Werkzeug für 3D-Kreative konzipiert und soll keine Ersatzlösung für alle Modellierungssoftware sein. Die schnelle Vorschau eignet sich zum Erkunden der Formen, während Refine zur Verbesserung der Qualität von Meshes und Texturen dient. Die fertigen Assets können anschließend in Blender, Maya, Unity oder Unreal importiert werden, um dort die Topologie, Materialien, Bindings sowie die Leistung zu überprüfen.

Bild in 3D-Bild umwandeln

Nachdem der Benutzer das Hauptbild hochgeladen hat, trennt Cube zunächst die Objekte voneinander ab und erzeugt mehrere Spin-Voransichten, bevor es eine Preview-Mesh erstellt. Nach Überprüfung der Gesamtform kann mit dem Refine-Verfahren gearbeitet werden, um eine höhere Auflösung der Geometrie und Texturen zu erzielen.

Bilder mit klarer Vorderseite, einfachem Hintergrund, vollständigem Motiv und wenig Verdeckung lassen sich leichter erstellen. Den hinteren Teil eines einzelnen Bildes kann das Modell nur schätzen; daher eignen sich genaue Produkte, asymmetrische Charaktere und mechanische Strukturen besser für mehrere Ansichten.

Unterschiede zwischen Turbo Preview und Refine

In der Turbo- oder Preview-Phase steht eine schnelle 3D-Vorhersage in einigen Sekunden im Vordergrund – geeignet zur Auswahl von Kompositionen und Formen. Für die Refinierungsphase sind mehr Zeit sowie Ressourcen erforderlich, um die geometrischen Eigenschaften, Texturen, Lichtdetails sowie die Gesamtrealistik zu verbessern.

Ein Vorab-Preview vor der Feinabstimmung kann dazu beitragen, Credits nicht für falsche Kompositionen auszugeben. Die Feinabstimmung garantiert jedoch nicht automatisch, dass das Ergebnis fertiggestellt ist – insbesondere was Deformationen der Gelenke, dünne Strukturen, Texte sowie präzise Abmessungen angeht.

Vielbildbilder in 3D umwandeln

Mit Multi-View können bis zu 5 Bilder desselben Objekts aus verschiedenen Blickwinkeln hochgeladen werden – ideal für Produkte oder Charaktere, bei denen eine genaue Darstellung von vorne, hinten, links und rechts erforderlich ist. Jedes Bild sollte das Objekt, die Proportionen, das Material sowie das Licht in derselben Weise darstellen.

Wenn die Brennweite, die Form oder der Zustand der einzelnen Bilder miteinander kollidieren, kann es zu Doppelbildern und Verzerrungen im Modell kommen. Es sollte mit einer festen Kamera und einem festen Hintergrund fotografiert werden, wobei die Bilder bei Bedarf einzeln manuell geteilt werden müssen.

Manuelle Segmentierung

Wenn ein Bild mehrere Objekte, eine komplexe Hintergrundgestaltung oder dünne Strukturen enthält, kann man mit der Manual Segmentation festlegen, welche Elemente behalten werden sollen. Eine präzise Maskierung verhindert, dass der Schreibtisch, Schatten oder benachbarte Gegenstände versehentlich in das Raster aufgenommen werden.

Text to Image to 3D

Ohne Referenzbilder kann man zunächst mit Texten ein Konzeptbild für die 3D-Rekonstruktion erstellen, das anschließend in „Image to 3D“ eingegeben wird. Die Anweisungen sollten einen einzelnen Gegenstand, eine klare Kontur, einen einfachen Hintergrund sowie eine ideale Ansicht vorsehen, um von Anfang an keine komplexen Szenen zu erzeugen.

Teilbasiertes Bauteilmodellieren

Komplexe Charaktere, Fahrzeuge und mechanische Objekte können in separate Teile wie Kopf, Körper, Waffen, Räder usw. aufgeteilt werden, die anschließend in 3D-Software zusammengefügt werden. Diese Teilbasierte Herangehensweise ermöglicht es, mehr lokale Details beizubehalten und Asset-Pakete leichter zu ersetzen oder wiederverwenden.

Vor der Kombination müssen Maßstäbe, Ursprungspunkte, Koordinatenachsen, Verbindungsflächen sowie Materialbezeichnungen einheitlich festgelegt werden. Von AI erzeugte Komponenten bilden nicht automatisch eine präzise ingenieurtechnische Zusammenbaustruktur.

AI Retexturing – Neuer Texturübertrag

AI Retexturing kann die Oberfläche von Objekten anhand von Texten und Referenzrichtungen neu erstellen. Es eignet sich zur Anpassung von Materialien, Farben, Abnutzungserscheinungen und Stilen. Zudem kann es dazu verwendet werden, Logos oder Texte in den ursprünglichen Bildern zu reparieren.

Generative Texturen können immer noch Fehler bei der Darstellung des Markennamens aufweisen oder an den UV-Nahtstellen reißen. Bei offiziellen Assets sollte die UV-Dichte, die Normalebenen, die PBR-Kanäle sowie die Genauigkeit der Markendaten überprüft werden.

Retopologie und Textur-Baking

Modelle hoher Qualität eignen sich nicht unbedingt für Echtzeit-Engines. Der Benutzer kann im anschließenden Prozess die Topologie neu gestalten, die Anzahl der Flächen verringern und die detaillierten Eigenschaften des Hochmodells in ein Niedrigmodell übertragen.

Die Charaktere benötigen außerdem sinnvolle Grenzen für die Deformationen der Gelenke und des Gesichts.

Text zu 4D und Animationen

CSM bietet eine Methode zur Erstellung von Animationen aus Texten – es ist möglich, FBX-Modelle hochzuladen und anschließend eine oder mehrere Beschreibungen der Bewegungen einzugeben, um so die Animation zu erstellen. Text to 4D legt den Schwerpunkt darauf, 3D-Ressourcen in animierbare Inhalte umzuwandeln, die sich im Laufe der Zeit verändern.

Die Bewegungsgenerierung eignet sich für schnelle Prototypen, doch letztendlich müssen Knochenstruktur, Gleiten der Fußsohlen, Kollisionen, Schwerpunkt sowie die Nahtstellen überprüft werden. Das Eingabegitter muss den offiziellen Referenzrichtungen und -strukturen entsprechen.

3D Agent und Blender MCP

CSM erforscht den Einsatz von generativen Agenten zur Steuerung von 3D-Tools, damit Benutzer mithilfe natürlicher Sprache in Umgebungen wie Blender Szenen erstellen und verändern können. Der MCP-Ansatz kann Modellierungswerkzeuge den KI-Agenten zur Ausführung mehrstufiger Aufgaben zur Verfügung stellen.

Der Agent verfügt über die Möglichkeit, Dateien und Szenen zu ändern; es sollten Bestätigungspunkte festgelegt werden, während das Kopierprojekt läuft. Der automatisch generierte Code, heruntergeladene Ressourcen sowie die massenhaften Änderungen an Materialien müssen von Hand überprüft werden.

Vergleich von Paketen und Versionen

Die offiziellen FAQ-Seiten zeigen den aktuellen Dollarbetrag nicht ständig an; der Preis wird dynamisch über das Konto geladen. Beim Kauf sollten die monatlichen Credits, der Verbrauch von Funktionen wie Preview und Refine, die Generierungsgeschwindigkeit, die Privatsphäre-Einstellungen, die API-Limits sowie die Steuern überprüft werden. Es sollten keine Angaben aus alten Bewertungen bezüglich der historischen Monatsgebühren herangezogen werden.

Unterschiede zwischen der kostenlosen und der kostenpflichtigen Lizenz

Die Ausgaben von Tinkerer werden unter Creative Commons Attribution 4.0 veröffentlicht, wodurch eine Nutzung unter Einhaltung der Bedingungen wie der Angabe der Quelle erlaubt ist. Die Ausgaben von Maker und Creative Pro sind hingegen urheberrechtlich geschützt und gehören dem Kunden.

Unabhängig vom Paket muss der Benutzer weiterhin die rechtlichen Rechte haben, Bilder, Charaktere, Produkte und Markenzeichen einzugeben.

Vergleich der Exportformate

Größe und Pivot-Steuerung

Refine API ermöglicht es, die Abmessungen des dreidimensionalen Bounding Boxes sowie den Pivot Point festzulegen. Die richtigen Maße und der Ursprung sind wichtig für das Platzieren, Drehen, Animieren und Präsentieren von Produkten im Spiel.

Nach der Erstellung muss die tatsächliche Einheit in der Zielsoftware überprüft werden.

CSM REST API

Die REST-API umfasst die Funktionen Image zu 3D, Vorschau, Verbesserung, Netzwerkspeicheradressen, Text zu Bild, Animationen, Credits sowie Webhooks. Die Aufgaben werden asynchron abgewickelt – nach dem Senden der Anfrage muss man den Status abfragen oder auf eine Benachrichtigung warten.

Der API-Schlüssel muss auf der Serverseite gespeichert werden. Die Herunterlade-Adresse kann zeitlich begrenzt sein; die Anwendung sollte ihn nach Abschluss der Aufgabe umgehend neu speichern und Fälle von Fehlern, Zeitüberschreitungen, wiederholten Webhooks sowie unzureichenden Credits handhaben.

Python Library

Die offizielle Python-Bibliothek kapselt REST-APIs ein und ermöglicht es, aus Bild-URLs, lokalen Dateien oder PIL-Bildern „Image to 3D“ zu starten, die Ergebnisse abzufragen sowie Dateien im Format OBJ, GLB, FBX oder USDZ zu exportieren. Sie eignet sich für Batch-Prozesse bei der Verarbeitung von Assets sowie für die Entwicklung von Prototypen.

Die offiziellen Dokumentationen der Python-Verpackungsbibliotheken bedeuten nicht, dass das generierte Modell open source ist; die Nutzung setzt weiterhin auf die CSM-Clouddienste, API-Schlüssel und Credits.

Eingabevorschlag

• Verwenden Sie Bilder in hoher Auflösung, die klar sind und das Motiv vollständig zeigen.
• Die Charaktere sollten möglichst in der T-Pose oder in einer Position mit getrennten Gliedmaßen dargestellt werden.
• Vermeiden Sie, dass Transparenz, Reflexionen, Haare sowie äußerst feine Strukturen den Hauptteil einnehmen.
• Für komplexe Hintergründe wird eine manuelle Trennung verwendet;
• Präzise Objekte liefern bis zu 5 konsistente Mehransichtsdarstellungen;
• Komplexe Rollen werden priorisiert in ihre Bestandteile zerlegt.

Privatsphäre und Daten

Creative Pro bietet Möglichkeiten zur Kontrolle der Privatsphäre; die Rechte im kostenlosen Plan sind unterschiedlich. Bevor mit nicht veröffentlichten Produkten, Kundendaten sowie Geschäftsgeheimnissen gearbeitet wird, sollten Sichtbarkeitsregelungen, Nutzungsmöglichkeiten, Aufbewahrungsfristen, Löschverfahren sowie Teamrechte überprüft werden.

GitHub und der Open-Source-Zustand

Das Cube-Generierungsmodell von CSM, die Webplattform sowie die Cloud-APIs sind keine Open-Source-Produkte. In einer Echtzeit-Suche auf GitHub wurde kein vollständiges Repository mit dem Kernmodell gefunden, auf das von der offiziellen Website aus explizit verwiesen wird.

Viele der CSM-Projekte mit dem gleichen Namen stammen von anderen Organisationen und dürfen nicht als offizieller Code von Common Sense Machines angesehen werden.

Dass Python-Clients oder entsprechende Proxy-Integrationen öffentlich verfügbar sind, bedeutet nicht, dass die Cube-Modelle offline ausgeführt werden können.

Anleitung zur Verwendung von CSM AI

Eine grundlegende Aufgabe erledigen

1. Klare Angaben zu Verwendungszweck, Größe, Stil und Anforderungen an die kommerzielle Lizenzierung der Bilder;
2. Laden Sie das ursprüngliche Bild hoch, für das Sie Nutzungsrechte haben, oder geben Sie klare Anweisungen ein;
3. Wählen Sie „Bild in 3D“ aus, um das Bild in ein 3D-Bild umzuwandeln und zunächst kostengünstige Kandidaten zu erzeugen;
4. Verwenden Sie Turbo Preview und Refine, um Komposition, Hauptelemente und Details zu korrigieren;
5. Vergrößerung zur Prüfung von Gesichtern, Händen, Texten, Rändern, Logos und Artefakten;
6. Nach Überprüfung der Farben, Auflösung und Lizenzen wird exportiert, wobei das ursprüngliche Bild beibehalten wird;

Erstellung wiederverwendbarer professioneller Workflows

1. Erstellung einer Liste mit den Markenfarben, Schriftarten, Kompositionselementen sowie verbotenen Elementen;
2. Getrennte Tests für die Umwandlung von Bildern in 3D-Modelle, den Unterschied zwischen Turbo Preview und Refine sowie die Umwandlung von Mehransichtsbildern in 3D;
3. Vergleichen Sie Qualität, Geschwindigkeit und Kosten mit derselben Gruppe von Referenzmaterialien;
4. Komplexe Ränder, Texte sowie Bilder von wichtigen Produkten sollten von Menschen bearbeitet werden.
5. Einheitliche Benennung, Größe und Prüfungsstatus;
6. Nach Stichprobenkontrollen erfolgt die Massenverarbeitung und Veröffentlichung;

Für welche Nutzer geeignet?

• Schnelle Umwandlung von Konzeptzeichnungen in 3D-Spiele für Entwickler;
• 3D-Künstler, die Charaktere, Requisiten und Umgebungsprototypen erstellen;
• E-Commerce-Teams, die eine 3D- und AR-Anzeige der Produkte benötigen;
• Kreative, die Asset-Pakete durch Komponenten-Workflows erstellen;
• Designer, die AI-Remapping und Textanimationen benötigen;
• Entwickler, die mithilfe von REST-APIs und Python in großen Mengen erstellt werden.

Hauptvorteile

• Unterstützung von Text, einem einzelnen Bild sowie der Erstellung von bis zu 5 Mehrfachansichten;
• Preview und Refine steuern in Phasen Kosten und Qualität;
• Manuelle Teilung, Bauteilmodellierung und AI-Remapping zur Verfügung;
• Umfasst 3D-Animationen und Agentensteuerung;
• Unterstützung verschiedener gängiger Gitterformate;
• Es werden REST-APIs, Webhooks sowie Python-Bibliotheken bereitgestellt.

Einschränkungen und Hinweise

• Ein einzelnes Bild kann die tatsächliche Struktur, bei der man sich nicht persönlich treffen kann, nicht wiederherstellen. Genaue Abmessungen, Schriftzeichen, Schichten sowie komplexe Topologien können weiterhin fehlerhaft sein.
• Refine benötigt mehr Zeit und Credits; der Preis ist nur nach Anmeldung einsehbar.
• Kostenlose Veröffentlichung erfordert eine CCBY4.0-Attribution;
• Das Kernmodell ist nicht open source, und die Cloud-Verarbeitung betrifft die Privatsphäre der Materialien;
• Die endgültigen Spiel- oder Produktressourcen müssen dennoch mit professionellem Software-Tool überprüft werden.

Häufige Fragen

Ist CSM AI kostenlos?

Es gibt ein Basiskonzept von Tinkerer, dessen Ergebnisse unter CC BY 4.0 lizenziert sind. Für hochauflösende Gitter, schnelle Server sowie einen vollständigen Workflow sind Maker oder Creative Pro erforderlich.

Wie viele Mehransichtsbilder kann man maximal hochladen?

Multi-View unterstützt derzeit bis zu 5 Bilder desselben Objekts aus verschiedenen Blickwinkeln.

Was ist der Unterschied zwischen Preview und Refine?

Preview dient dazu, schnell eine Beurteilung der Gestaltung zu treffen, während Refine die Qualität der Geometrie und der Textur weiter verbessert – dabei werden jedoch mehr Ressourcen verbraucht.

Welche Exportformate werden unterstützt?

Die Python-Bibliothek unterstützt ausdrücklich OBJ, GLB, FBX und USDZ. Die konkreten Download-Optionen für die Webversion richten sich nach der aktuellen Sitzung.

Bietet CSM eine API an?

Es werden REST-APIs, Webhooks sowie Python-Bibliotheken bereitgestellt, die das Umwandeln von Bildern in 3D-Modelle, das Umwandeln von Texten in Bilder sowie die Erstellung von Animationen abdecken.

Ist CSM AI Open Source?

Die Core-Cube-Plattform sowie die Erstellungsmodelle sind nicht open source; es liegen weder offizielle, vollständige Informationen zu den Modellgewichten noch zum Quellcode des Server-Sides vor.