MeshifAI

Was ist MeshifAI?

MeshifAI ist eine Plattform zur Erstellung von 3D-Modellen aus Textinhalten, die sich an Entwickler und Ersteller von 3D-Inhalten richtet. Die Benutzer beschreiben die Objekte in natürlicher Sprache, und das System liefert anschließend downloadbare GLB-Modelle. Sie eignet sich für Spiele, WebGL, AR/VR, Bildungszwecke sowie zur schnellen Erstellung von Prototypen – sie ist jedoch kein allgemeiner Hilfsprogramm zur Erstellung von Code.

Das Produkt bietet ein JavaScript SDK sowie einen Unity-Workflow, mit dem die Erstellung sowohl im Anwendungscode als auch innerhalb des Unity-Editors ausgelöst werden kann – dort können Anweisungen eingegeben, Assets vorgesehen und gespeichert werden. Der Fokus dieses Dokuments liegt auf der Erstellung einfacher Modelle; für professionelle Ergebnisse ist jedoch oft eine Nachbearbeitung und Optimierung in Blender, Unity oder Unreal erforderlich.

Hauptfunktionen

• Textbasierte 3D-Generierung: Geben Sie eine englische Beschreibung des Objekts, der Figur oder der Umgebung ein – das System erzeugt anschließend das entsprechende dreidimensionale Gitter. Die Angaben sollten den Hauptkörper, die Form, den Stil, die Proportionen sowie die wichtigsten Details umfassen, wobei widersprüchliche Anforderungen vermieden werden sollten.
• Texturloses Modell: Der Standardweg ermöglicht eine schnellere Erstellung und höhere Stabilität; es eignet sich zur Überprüfung von Konturen, Volumina sowie zur Darstellung von Szenenräumen. Später können in professionellen Tools Materialien, UV-Daten, Muster und Animationen hinzugefügt werden.
• Texturmuster: Es ist möglich, Modelle mit PBR-Materialien anzufordern, die eine höhere visuelle Qualität aufweisen. Allerdings wird in den Dokumenten ausdrücklich darauf hingewiesen, dass es sich um hochexperimentelle Lösungen handelt – die Erstellung dauert länger und die Zuverlässigkeit ist geringer.
• Kontrolle der kreativen Variationen: Das SDK bietet Optionen wie „Variance“, um den Grad der Unterschiede zwischen den verschiedenen Ergebnissen zu regulieren. Eine höhere Variation eignet sich zum Erkunden, während bei Anforderungen an Präzision und Konstanz die Variation verringert werden sollte, um reproduzierbare Eingaben zu gewährleisten.
• GLB-Ausgabe: Das aktuell erzeugte Ergebnis verwendet das GL Transmission Format Binary und kann in Blender, Unity, Unreal, Web-Browsern sowie in den meisten AR/VR-Workflows verwendet werden.
• JavaScript SDK: Die Anwendung übermittelt Anfragen und Parameter mithilfe der Methode textTo3D, um asynchron die Adresse des Modells zu erhalten. Entwickler müssen mit Fällen wie Zeitüberschreitung, Fehlern, ungültigen Ergebnissen sowie abgelaufenen Adressen umgehen.
• Unity-Editor-Tool: Öffnen Sie über das Menü der Unity-Fenster „Text-To-3D“, geben Sie die Anweisungen ein, um das Ergebnis zu erzeugen und anzusehen. Wenn Sie zufrieden sind, speichern Sie es im Projekt-Asset-Verzeichnis.
• Unity-Skript-API: Während der Ausführung können Generierungsmethoden aufgerufen werden, Callbacks für Erfolg, Fehler und Fortschritt eingestellt werden, sowie Metadaten wie Hinweise, veränderte Werte und Generierungszeit abgerufen werden.
• Webkompatibilität: GLB kann direkt in WebGL sowie in 3D-Browser-Viewern verwendet werden und eignet sich für Produktpräsentationen, interaktive Prototypen sowie leichte Spiele. Die Anzahl der Modellflächen, die Größe der Texturen sowie die Ladezeit müssen jedoch vom Entwickler weiter optimiert werden.

Eingabe, Ausgabe und Dateien

JavaScript-Integrationsschritt

1. Stellen Sie sicher, dass das Projekt eine unterstützte JavaScript- oder TypeScript-Toolkette verwendet, und installieren Sie das MeshifAI-Paket über npm.
2. Importieren Sie das SDK auf dem Server oder in einer kontrollierten Ausführungsumgebung – geben Sie keine Schlüssel sowie Aufruflogiken mit unbestätigter Sicherheit nicht direkt an Besucher weiter.
3. Zuerst wird textTo3D aufgerufen, um ein texturloses Modell zu erzeugen, wobei ein kurzer und präziser Objektbeschreibung zur Überprüfung des Prozesses verwendet wird.
4. Lesen Sie die zurückgegebene Modell-Adresse, laden Sie das GLB herunter oder laden Sie es, und richten Sie Fehlerbehandlung für Netzwerkfehler, Zeitüberschreitungen und leere Ergebnisse ein.
5. Anpassen Sie bei Bedarf Parameter wie die Varianz sowie Notizen, Parameter, SDK-Version und Erstellungszeit.
6. Versuchen Sie die texturierte Option erst, nachdem der untexturierte Prozess stabil ist, und bereiten Sie sich auf längere Generierungszeiten sowie auf das Wiederholen des Versuchs vor.
7. Platzieren Sie das Modell in einem 3D-Viewer für Webseiten oder in der anschließenden Asset-Pipeline, um das Gitter, die Proportionen, die Materialien, die UV-Koordinaten, die Anzahl der Flächen sowie die Ladeleistung zu überprüfen.

Verwendung des Unity-Editors

1. Importieren Sie das Tool gemäß den Unity-Installationsanleitungen und öffnen Sie im Projekt das Text-To-3D-Fenster von MeshifAI.
2. Geben Sie die erforderliche Modellbeschreibung ein und klicken Sie auf Erstellen. Warten Sie, bis der Vorgang abgeschlossen ist, und prüfen Sie das Ergebnis im Editor.
3. Drehen, skalieren und die Form des Gitters ansehen; bei Unzufriedenheit Anweisungen zur Neugenerierung einblenden – es ist nicht notwendig, jedes Ergebnis zu speichern.
4. Nach Bestätigung speichern – das Tool legt den GLB in den entsprechenden Modellordner von GeneratedModels.
5. Ziehen Sie die Assets in die Szene und legen Sie dort Proportionen, Materialien, Kollisionskörper, Beleuchtung, LOD sowie statische oder dynamische Markierungen fest.
6. Führen Sie Leistungstests für das Spiel durch und überprüfen Sie vor der Veröffentlichung die Lizenzierung der Modelle, die Markenelemente sowie unangemessene Inhalte.

Integration von Unity-Skripten

• Verwenden Sie die Methode der GenerateModel-Klasse, um Anweisungen einzusenden, und registrieren Sie eine Rückruffunktion, um das zurückgegebene GameObject in die Szene aufzunehmen.
• Zeigen Sie für fehlerhafte Rückrufe verständliche Fehlermeldungen, lassen Sie keine Netzwerkstörungen den Hauptthread des Spiels blockieren oder unendlich nachversuchen.
• Verwenden Sie Status-Rückrufe, um den Fortschrittsbalken zu aktualisieren, aber betrachten Sie die geschätzte Fortschrittsrate nicht als genauen Fertigstellungszeitpunkt.
• Die Hinweise, Änderungswerte und Erstellungszeit aus ModelGenerationData abrufen, um die Erstellung von Benutzerinhalten zu debuggen und zu auditen.
• Wenn Endbenutzern die Eingabe von Hinweisen gestattet wird, sollten Inhaltsfilterung, Geschwindigkeitsbeschränkungen, Kostenkontrolle, Caching sowie Mechanismen für manuelle Meldungen hinzugefügt werden.

Passend für Nutzer und Szenarien

• Unabhängige Spieleentwickler: Schnelle Erstellung von Gegenständen, einfachen Umgebungsobjekten und Platzhaltermodellen, um Prototypen des Spielablaufs zu beschleunigen.
• Webentwickler: Dynamisches Laden von GLB in Produktpräsentationen, Schulungsseiten und interaktiven Erlebnissen.
• AR/VR-Team: Schnelle Erkundung von Raumobjekten mit Text, anschließend Übergabe an Fachleute zur künstlerischen Optimierung.
• Lehrkräfte und Schüler: Erstellung einfacher Ressourcen für die Erklärung von Konzepten, Präsentationen von Projekten sowie Kurse zur 3D-Programmierung.
• Produkt- und Kreativteam: Prüfung von Form, Komposition und Szenenrichtung vor der Modellierung.
• Eignet sich nicht zur direkten Erstellung von Endprodukten, die strenge Abmessungen, Toleranzen, ingenieurtechnische Zertifizierungen, medizinische Präzision oder Topologien der AAA-Klasse erfordern.

Plattformen und Komponenten

Preis und Menge

Es konnten weder der Standard-Abonnementpreis, die kostenlosen Zugriffsberechtigungen, die Abzüge für Punkte, die Beschränkungen bezüglich der gleichzeitigen Nutzung, die Zusatzkosten noch die Richtlinien für Unternehmenslösungen oder Rückerstattungen bestätigt werden. Auch wenn das SDK kostenlos installiert werden kann, hängt die Erstellung der Modelle weiterhin von Remote-Diensten ab. Vor der Implementierung müssen Konto-, Schlüssel- sowie Nutzungsdaten sowie die Geschäftsbedingungen überprüft werden.

SDK, GitHub und Open-Source-Status

Auf npm werden JavaScript-Pakete von Veröffentlichern bereitgestellt, die mit der Dokumentation übereinstimmen. In den Paketinformationen wird die MIT-Lizenz angegeben. Diese Lizenz gilt für den Code der SDK-Pakete und erlaubt deren Nutzung, Änderung und Verteilung unter den in der Lizenz festgelegten Bedingungen. Sie gilt jedoch nicht automatisch für Cloud-Modelle, Generierungsdienste, Websites, Unity-Komponenten oder generierte Assets.

Es gibt keinen offiziellen GitHub-Repository für das vollständige Produkt, und es gibt auch keine einheitliche Lizenz, die alle Komponenten regelt. Die Entwickler sollten den MIT-Lizenztext in der installierten Version beibehalten und außerdem die Bedingungen für die Unity-Tools, Abhängigkeiten sowie den Server prüfen.

Privatsphäre, Sicherheit, Urheberrechte und kommerzielle Nutzung

• Es wurden weder eine offizielle Datenschutzerklärung, Bedingungen der Dienstleistung, Sicherheitsanweisungen, eine Liste der Auftragsverarbeiter, Angaben zum Standort der Daten, eine Haltedauer noch ein Löschverfahren festgestellt.
• Texthinweise werden an einen entfernten Erstellungs-Dienst gesendet, und die zurückgegebene Modell-Adresse kann ebenfalls auf der Cloud gehostet sein. Übermitteln Sie keine Kundengeheimnisse, unveröffentlichte Rollendesigns, persönliche Daten oder Projektunterlagen, deren Weitergabe nicht zulässig ist.
• In den offiziellen Dokumenten wird nicht angegeben, ob die Hilfsmittel oder Generierungsmodelle zur Trainierung verwendet werden, und es wird auch der Anbieter des Modells nicht genannt. Das Vertriebsteam sollte vor der Nutzung eine Bestätigung der Richtlinien für die Datenverarbeitung und -trainierung erhalten.
• Das Dokument beschreibt die Ergebnisse als geeignet für kommerzielle Anwendungen, enthält jedoch keine klaren Bestimmungen bezüglich der Lizenzen für die Erstellung der Produkte, der Exklusivität, ähnlicher Inhalte sowie der Handhabung von Markenrechten und Urheberrechtsverletzungen. Vor der offiziellen Veröffentlichung muss eine eindeutige kommerzielle Lizenz eingeholt werden.
• Erstellte Modelle können Ähnlichkeiten mit bestehenden Charakteren, Marken, Produkten oder geschützten Designs aufweisen; die Nutzer müssen Urheberrechte, Markenrechte, das Erscheinungsbild sowie den Inhalt überprüfen.
• Die Erstellung zur Laufzeit führt zu Kosten, Verzögerungen, Fehlern sowie dem Risiko unangemessener Inhalte. Daher sollten die Aufrufe auf Serverseite eingeschränkt werden, Audits durchgeführt werden und eine manuelle Bearbeitung gewährleistet sein.

Vorteile und Einschränkungen bei der Verwendung

• Vorteile: Der Weg vom Text zum GLB ist direkt, und die Ergebnisse können in Webseiten, Blender, Unity, Unreal sowie AR/VR-Tools verwendet werden.
• Vorteil: Es werden gleichzeitig Eingänge für JavaScript und Unity bereitgestellt, was Entwicklern von Webseiten und Spielen die Anbindung erleichtert.
• Vorteil: Der Unity-Editor ermöglicht die Erstellung von Vorschauen vor und nach der Bearbeitung. Falls man nicht zufrieden ist, kann man einfach erneut versuchen – ohne dass die Projektressourcen beeinträchtigt werden.
• Einschränkungen: Das Texturmodell ist weiterhin hochgradig experimentell; die Erstellungsgeschwindigkeit und Stabilität sind geringer als im texturlosen Modus.
• Einschränkungen: Offene Dokumente bieten keine Garantien bezüglich der Gitterqualität, der Anzahl der Flächen, der Topologie, der UV-Daten, der Skelette, der Animationen sowie der Referenzdaten.
• Einschränkungen: Preise, Limits, API-SLA, Datenschutz sowie Informationen zu kommerzieller Nutzung und Rückerstattungen sind unzureichend; daher eignen sie sich nicht direkt als Grundlage für kritische Produktfunktionen.
• Einschränkungen: KI-generierte Modelle erfordern in der Regel manuelle Anpassungen von Proportionen, Kollisionen, Topologie, Materialien und Leistung.

Zusammenfassung

MeshifAI eignet sich für JavaScript- und Unity-Entwickler, die schnell GLB-Prototypen aus Texten erstellen müssen, insbesondere für die frühe Validierung in Spielen, WebGL sowie AR/VR. Vor der offiziellen Einführung sollte zunächst der Prozess ohne Texturen getestet werden, anschließend die experimentellen Texturenausgaben bewertet werden, und schließlich Aspekte wie Preis, Servicestabilität, Datenerfassung sowie kommerzielle Lizenzen berücksichtigt werden.