Objaverse-3D-Objektdatensatz
Objaverse ist eine Datenbank, die umfangreiche Ressourcen für den 3D-Bereich bietet. Sie unterstützt nicht nur den Trainingsprozess von KI-Modellen sowie die Erstellung von 3D-Inhalten, sondern ist außerdem mit dem beliebten 3D-Editierprogramm Blender kompatibel.
Tags:Steigerung der Effizienz durch KIWas ist Objaverse?
Objaverse ist ein umfangreiches 3D-Objektdatensatz, der für die Forschung in den Bereichen 3D-Computervisierung, generative KI und embodied Intelligence bereitgestellt wird.
Das Projekt wurde vom PRIOR-Team des Allen Institute for Artificial Intelligence sowie von Forschern der University of Washington entwickelt und bietet ein Download-Tool für Python.
Es erzeugt selbst keine 3D-Modelle für den Benutzer, sondern stellt Materialien zur Verfügung für das Trainieren, Evaluieren, Rendern und die Datenanalyse von Modellen.
Vergleich der Datensatzversionen
| Version | Größe | Hauptmerkmale | Empfohlene Verwendungszwecke |
|---|---|---|---|
| Objaverse 1.0 | 798759 Objekte, was im Allgemeinen als über 800.000 bezeichnet wird. | Mit Anmerkungen zu Namen, Beschreibungen, Tags, Lizenzen und Geometrie usw. | Forschungen, die eine stabile Identifizierung sowie umfangreiche Anmerkungen erfordern |
| Objaverse-XL | Mehr als 10 Millionen 3D-Objekte | Mehr Quellen, größere Größe – geeignet für großangelegtes Training | 3D-Grundmodelle, Erweiterungsregeln und Experimente zur Größenordnung von Webseiten |
| Polycam-Untermenge | Nach den genehmigten Grenzen bereitgestellt | Für Anfragen von Wissenschaftlern – Nutzung nur zu wissenschaftlichen Zwecken erlaubt. | Eignende nicht-wirtschaftliche akademische Programme |
Die Objaverse 1.0-Schnittstelle wird derzeit hauptsächlich für die Rückwärtskompatibilität und zum Lesen zusätzlicher Anmerkungen verwendet; neue Projekte sollten vorrangig die XL-Schnittstelle in Betracht ziehen.
Inhalt und Eigenschaften der Daten
3D-Objekte aus mehreren Quellen
Objaverse-XL vereint handgefertigte Modelle, photogrammetrische Scans von Alltagsgegenständen und Wahrzeichen sowie professionelle Scans von historischen Artefakten.
Vielfalt fördert die Generalisierbarkeit von Modellen und bedeutet auch, dass Dateistrukturen, Qualität, Proportionen und Lizenzen nicht vollständig einheitlich sind.
Vielfältige Objektformen
Objaverse 1.0 umfasst statische Modelle, animierte Objekte, gebundene Charaktere, abtrennbare Komponenten, Innen- und Außenumgebungen sowie verschiedene visuelle Stile.
Laut offiziellen Angaben gibt es dort mehr als 44.000 Animationsobjekte, doch ihre tatsächliche Verwendbarkeit muss noch einzeln überprüft werden.
Objekt-Anmerkungen
Anmerkungen 1.0 können Namen, Beschreibungen, Tags, Kategorien, Lizenzen, die Anzahl der Animationen, die Anzahl der Eckpunkte, die Anzahl der Flächen sowie Informationen zu Texturen enthalten.
Forscher können die Proben nach Anmerkungen filtern, um Verschwendung von Speicherplatz und Netzbandbreite durch das Herunterladen aller Dateien vor der Auswahl zu vermeiden.
Eindeutige Identifizierung und lokaler Cache
Objaverse 1.0 stellt für jedes Objekt eine eindeutige Identifikation bereit; die Download-Funktion gibt den Zusammenhang zwischen dieser Identifikation und der entsprechenden lokalen GLB-Datei zurück.
Heruntergeladene Objekte werden im lokalen Cache gespeichert, sodass sie bei späteren Anfragen in der Regel nicht erneut übertragen müssen.
Objaverse-XL-Mehrkopf-Interface
Die XL-Schnittstelle ermöglicht das Lesen von Anmerkungen, das Ausrichten von Anmerkungen sowie das Herunterladen nach ausgewählten Objekten – sie eignet sich daher zur Erstellung von Unterdatensätzen aus großen Sammlungen.
Die ursprüngliche Quelle kann Objekte löschen oder ändern; der Code bietet ein Callback-Mechanismus, um gefundenen, veränderten, fehlenden oder neu hinzugefügten Dateien nachzuvollziehen.
Batch-Rendering mit Blender
Das offizielle Repository enthält Blender-Skripte, mit denen verschiedene gängige 3D-Formate importiert und Bilder aus mehreren Ansichten gerendert werden können.
Das Skript kann außerdem die Kameramatrix sowie Metadaten der Objekte speichern, was geeignet ist zur Erstellung neuer Perspektivenkombinationen und zur Erstellung von Trainingsbeispielen für visuelle Systeme.
Forschung zu Grundmodellen in 3D
Das Forschungsteam trainierte Zero123-XL mit Objaverse-XL und untersuchte die Skaleneffekte anhand von über hundert Millionen Mehrperspektivendarstellungen.
Die Veröffentlichung zeigt die Generalisierung neuer Eingabeperspektiven wie Skizzen, Cartoons und Charaktere, doch das Datenset selbst ist kein Schlussfolgerungsmodell.
Anleitung zur Herunterladung und Verwendung von Objaverse
- Klare Definition der Forschungsaufgaben und der zulässigen Objektlizenzen
- Schätzung der Stichprobengröße, des Netzwerkverkehrs sowie der Kosten für Festplatte und Rendering
- Erstellung einer Liste zur Aufbewahrung von Identifikationsdaten, Quellen und Lizenzen der Objekte
- Vorbereitung der Python-Umgebung und Installation des offiziellen objaverse-Pakets
- Wählen Sie die Objaverse 1.0- oder Objaverse-XL-Schnittstelle.
- Zuerst die Objektanmerkungen lesen, anstatt die gesamte Sammlung direkt herunterzuladen.
- Filtern nach Quelle, Lizenz, Tag oder geometrischen Eigenschaften
- Festlegung eines zufälligen Samenwerts zur Auswahl einer kleinen Anzahl repräsentativer Stichproben
- Aufruf der Download-Schnittstelle zur Speicherung in einem separaten Datenverzeichnis
- Protokollierung des Zustands von gefundenen, geänderten, fehlenden und neu hinzugefügten Objekten
- Überprüfen, ob die Datei verarbeitet werden kann und ob die Textur vollständig ist.
- Ausführung von Scans zur Überprüfung bösartiger Dateien, ungewöhnlichen Inhalts und Personen
- Erstellung von Testansichten mit Blender-Skripten
- Überprüfung der Konsistenz von Skalen, Koordinaten, Kamera und Beleuchtung
- Abschluss der Doppelungsbeseitigung und Aufteilung in Trainings- und Validierungsdatensätze
- Speichern der Lizenz- und Zugehörigkeitsinformationen für jedes Objekt
- Zuerst ein kleines Trainingsset verwenden, anschließend die Datenmenge erweitern.
- Bei der Veröffentlichung der Ergebnisse soll man gemäß den Anforderungen des Datensatzes und der wissenschaftlichen Veröffentlichung benannt werden.
Preise und Pakete
Objaverse erhebt keine Abonnementgebühren für Datensätze, hat aber dennoch nicht keine Gesamtkosten – insbesondere eignet es sich nicht dafür, alle XL-Objekte blind herunterzuladen.
| Projekt | Offizielle Gebühren | Mögliche Kosten | Schwerpunkte der Lizenz |
|---|---|---|---|
| Objaverse 1.0 | Kostenlos erhalten | Netzwerk, Festplatte, Rechenleistung für Reinigung und Rendering | Gesamte Genehmigung und Objektgenehmigung werden getrennt überprüft. |
| Objaverse-XL | Kostenlos erhalten | Massives Speichern, Bandbreite, Rechenleistung für Rendering und Training | Gesamt ODC-By 1.0, die Objektlizenzen variieren |
| Polycam-Daten | Nach der Anmeldung zur Verfügung stellen | Genehmigung, Datenverwaltung und Forschungsrechnung | Nur für genehmigte, nicht-kommerzielle wissenschaftliche Forschungen |
| Offizieller Python-Code | Kostenlos | Umweltschutz und weitere Entwicklung | Apache-2.0 |
| Cloud-basiertes Training oder Rendering | Kosten durch den Cloud-Dienstleister | GPU, CPU, Speicher und Ausgangsverkehr | Gleichzeitige Einhaltung der Lizenzen für Cloud-Plattformen und Objekte |
Der tatsächliche Budget wird in der Regel durch die Anzahl der ausgewählten Objekte, die durchschnittliche Dateigröße, die Anzahl der Render-Perspektiven sowie die Anzahl der Trainingszyklen bestimmt.
Die Lizenz muss schichtweise verstanden werden.
| Ebene | Lizenz oder Regeln | Was bedeutet das? |
|---|---|---|
| Das Objaverse-XL-Datensatz-Set als Ganzes | ODC-By 1.0 | Bei der Nutzung der gesamten Datenbank müssen Bedingungen wie die Angabe eines Namens eingehalten werden. |
| Einzelnes 3D-Objekt | Bestimmt durch die jeweiligen ursprünglichen Quellen | Kann für kommerzielle Zwecke erlaubt sein, eine Signatur erforderlich machen, die Bearbeitung einschränken oder den kommerziellen Einsatz verbieten. |
| Polycam-Untermenge | Nach Genehmigung für nicht-kommerzielle akademische Nutzung | Man darf sie nicht aufgrund ihrer Zugehörigkeit zur XL-Ökologie in kommerzielle Produkte einsetzen. |
| Downloaden und Verarbeiten von Code | Apache-2.0 | Der Code kann gemäß seinen Bedingungen verwendet und geändert werden. |
| Inhalt der Arbeit und Zitate | Gemäß den Regeln für Artikel und Veröffentlichungen | Die Forschungsergebnisse sollten mit den entsprechenden Verweisen auf die Artikel von Objaverse oder Objaverse-XL zitiert werden. |
Offener Quellcode, offene Datenbanken und kommerzielle Nutzung von Materialien sind drei verschiedene Aspekte – keiner von ihnen kann die anderen ersetzen.
Für Geschäftsanwendungen sollte vor dem Start des Trainings eine Whitelist mit Genehmigungen auf Objektenebene erstellt werden; eine Überprüfung der Berechtigungen darf nicht erst nach der Veröffentlichung des Modells durchgeführt werden.
Datenqualität und Sicherheitsrisiken
Daten zur Größe von Webseiten enthalten unweigerlich Beschädigungen, Duplikate, fehlende Texturen, abweichende Geometrien, fehlerhafte Metadaten und ungeeigneten Inhalt.
- Analyse komplexer 3D-Dateien unbekannter Herkunft in einer isolierten Umgebung
- Überprüfen Sie die Komprimierpakete, Skripte und externen Texturenverweise.
- Filtern von Personenscans, persönlichen Daten und sensiblen Inhalten
- Erkennung von extremen Knotenzahlen und sehr großen Texturen
- Entfernung von Duplikaten für Hashes, nahezu gleiche Werte und semantische Duplikate.
- Beibehaltung der Protokolle zur Verarbeitung von entfernten oder ungültigen Objekten
Offizielle Dokumente besagen, dass einige der als potenzielle Scannobjekte identifizierten Personen entfernt und erneut überprüft wurden. Die Nutzer müssen weiterhin ihre eigenen Prozesse zur Verwaltung von Inhalten einrichten.
Unterstützungsplattformen
- Webseite oder offizieller Online-Zugang
Client, Region, Sprache und Eingangspunkt können je nach Version ändern; vor der Installation oder Bezahlung sollte man sich an der aktuellen Produktseite orientieren.
APIs, SDKs und Open Source
Die offizielle Schnittstelle basiert auf Python und eignet sich zum Filtern von Kommentaren mithilfe von Datenrahmen sowie zum Herunterladen der ausgewählten Objekte über mehrere Prozesse.
Die Batch-Rendering-Funktion setzt Blender sowie ausreichende CPU-, GPU- und Speicherkapazitäten voraus. Bei großen Aufgaben ist zudem die Verwaltung von Wiederholungsversuchen bei Fehlern sowie die Nutzung von Checkpoints notwendig.
- Erstellung wiederholbarer Experimenteinstellungen für Datenversionen und Filterbedingungen
- Speichern Sie keine vollständigen Daten auf der Systemfestplatte.
- Die Originaldateien, die Ergebnisse der Reinigung sowie die renderierten Bilder werden in separaten Verzeichnissen verwaltet.
- Erstellen von Verknüpfungstabellen für Objektidentifikatoren, Lizenzen und Quellen.
- Vor der Schulung: Statistik zu Kategorien, Quellen und Lizenzverteilung
- Regelmäßige Überprüfung von Änderungen und Rückziehungen bei den upstream-Objekten
Für welche Projekte geeignet
- Forschung zu Bildern in 3D-Modelle und Texten in 3D-Modelle
- Synthese neuer Perspektiven und Lernen durch Mehrperspektivdarstellung
- Klassifizierung, Suche und Segmentierung von 3D-Objekten
- Robotik und Objekterkennung durch körperbasierte Intelligenz
- Bewertung der Robustheit visueller Modelle und von Kategorien mit geringer Häufigkeit
- Erstellung von lizenzgeprüften Unterdatensätzen für bestimmte Bereiche
Vorteile und Nachteile
Hauptvorteile
- Die Größe des Objekts ist bei weitem größer als bei herkömmlichen 3D-Datensätzen.
- Vielfältige Quellen und visuelle Stile
- Angebote für Anmerkungen, Download und Rendering-Tools
- Unterstützung zum Herunterladen nach Objekten statt der Gesamtdatei
- Kann für verschiedene Richtungen der 3D-Visualisierungsforschung verwendet werden
- Veröffentlichung von Arbeiten und offiziischem Code
Aufzupassende Mängel
- Die Qualität und das Format der Objekte sind nicht einheitlich.
- Die Lizenzen für einzelne Materialien unterscheiden sich stark.
- Die Kosten für das vollständige Herunterladen und Rendern sind hoch.
- Kann unangemessene oder sensible Inhalte enthalten.
- Die Dateien aus dem Oberfluss werden gelöscht oder geändert.
- Starke Fähigkeiten in der Datenverarbeitung sind erforderlich.
Grundlegende Informationen
| Projekt | Überprüfung der Informationen |
|---|---|
| Name des Tools | Objaverse-3D-Objektdatensatz |
| Englischer Name | Es gibt derzeit keinen offiziellen, einheitlichen englischen Namen. |
| Entwicklungsunternehmen oder Betreiber | Das PRIOR-Team des Allen Institute for Artificial Intelligence und Forscher der University of Washington |
| Arten von Werkzeugen | Objaverse, Objaverse-XL, 3D-Datensätze |
| Preismuster | Kostenlose und kostenpflichtige Optionen coexistieren |
| Chinesische Unterstützung | Basierend auf der aktuellen Produktoberfläche und den Modellen. |
| Anmeldeanforderungen | Gemäß den aktuellen Anforderungen an die Eingabemöglichkeiten. |
| API | Offene API ist noch nicht bestätigt. |
| SDK | Offizielles SDK noch nicht bestätigt |
| Open-Source-Zustand | Es gibt Open-Source-Komponenten oder SDKs; die genauen Grenzen sind im Text beschrieben. |
| Hauptplattformen | Webseite oder offizieller Online-Zugang |
Empfehlungswert
Empfehlungswert: 4,3/5.
Objaverse eignet sich für Forschungsteams, die große Mengen an vielfältigen 3D-Daten benötigen, und stellt eine Dateninfrastruktur dar – nicht ein sofort einsetzbares Erstellungswerkzeug.
Sein Wert liegt in der Größe, den Anmerkungen und dem Tool-Set, wobei die Einstiegshürden in der Lizenzverwaltung, der Qualitätsreinigung und den Rechennutzungskosten liegen.
Der sicherste Ansatz ist, mit einer kleinen, klar definierten Stichprobe zu beginnen, den Prozess zu überprüfen und anschließend auf die Größe von Objaverse-XL auszuweiten.
Häufige Fragen
Was ist Objaverse?
Objaverse ist ein großes, öffentlich zugängliches Datensatz für die Forschung im Bereich der 3D-Visualisierung. Er wurde gemeinsam vom PRIOR-Team des Allen Institute for Artificial Intelligence und Forschern der University of Washington entwickelt und bietet Modelldateien sowie annotierte Informationen.
Was ist der Unterschied zwischen Objaverse und Objaverse-XL?
Objaverse 1.0 umfasst etwa 800.000 kommentierte 3D-Objekte, während Objaverse-XL auf mehr als 10 Millionen Objekte aus einer breiteren Quellenbasis erweitert wird und flexiblere Downloads- sowie Verarbeitungsschnittstellen bietet.
Kann Objaverse kostenlos verwendet werden?
Datensätze und Download-Code sind kostenlos verfügbar, doch das Herunterladen, Speichern, Rendern und Trainieren verursacht lokale oder cloudbasierte Rechungskosten, wobei einige Quellen eine Anmeldung oder Einschränkungen hinsichtlich der Nutzung erfordern.
Kann Objaverse für Geschäftsprojekte verwendet werden?
Man kann nicht allgemein sprechen. Das gesamte Datensatz setzt ODC-By 1.0 voraus, doch jedes Objekt behält seine eigene Lizenz aus der Quelle bei. Vor einer kommerziellen Nutzung müssen die Objekte ausgewählt werden und es müssen Nachweise über die Genehmigung aufbewahrt werden.
Wie kann man bestimmte Modelle aus Objaverse herunterladen?
Nach der Installation der offiziellen Python-Pakete werden die Kommentare gelesen, und es wird nach Quelle, Lizenz oder Objektidentifikator gefiltert, bevor die Download-Funktion aufgerufen wird. Es wird empfohlen, zunächst eine kleine Anzahl von Beispielen herunterzuladen, um Format, Größe und Lizenzen zu überprüfen.
Werden die Modelle in Objaverse einer Qualitätsprüfung unterzogen?
Nein. Es handelt sich um Datensätze im Webseitenformat; die Modelle können beschädigt sein, Texturen fehlen, es kann zu ungewöhnlicher Geometrie, Doppelungen oder inadäquatem Inhalt kommen. Vor dem Training müssen diese Probleme selbst überprüft, Doppelungen beseitigt und der Inhalt gefiltert werden.
Ist Objaverse ein Open-Source-Projekt?
Das Herunterladen und die Verarbeitung des Codes erfolgen unter der Apache-2.0-Lizenz, während das gesamte Datenset unter der ODC-By 1.0-Lizenz steht. Keine dieser Lizenzen gilt für die ursprüngliche Lizenz jedes einzelnen 3D-Objekts.
Werkzeuge, die dem Objaverse-3D-Objektdatensatz ähneln
Guigong-Netzwerk-Sicherheitsnummer: 45132202000164