Ensemble de données d’objets Objaverse-3D

Qu’est-ce que Objaverse ?

Objaverse est un ensemble de données 3D à grande échelle destiné à la recherche en vision informatique 3D, en IA générative et en intelligence incarnée.

Le projet a été créé par l’équipe PRIOR de l’Institut d’intelligence artificielle Allen et des chercheurs de l’Université de Washington, et un outil de téléchargement en Python est fourni.

Il ne génère pas de modèles 3D pour l’utilisateur, mais fournit des données pour l’entraînement des modèles, leur évaluation, la rendu et l’analyse de données.

Comparaison des versions des ensembles de données

L’interface Objaverse 1.0 est actuellement utilisée principalement pour la compatibilité rétrograde et la lecture d’annotations supplémentaires ; les nouveaux projets peuvent privilégier l’interface XL.

Contenu et caractéristiques des données

Objet 3D à plusieurs sources

Objaverse-XL regroupe des modèles fabriqués à la main, des scans photogrammétriques d’objets du quotidien et de monuments, ainsi que des scans spécialisés de biens culturels historiques.

La diversité favorise la généralisation des modèles, ce qui signifie également que la structure, la qualité, les proportions et les licences des fichiers ne sont pas entièrement uniformes.

Formes d’objets riches

Objaverse 1.0 comprend des modèles statiques, des objets animés, des personnages liés, des composants séparables, des environnements intérieurs et extérieurs ainsi que divers styles visuels.

Selon les informations officielles, il y a plus de 44 000 objets d’animation, mais leur disponibilité concrète doit encore être vérifiée un par un.

Commentaire de l’objet

Les annotations 1.0 peuvent contenir un nom, une description, des étiquettes, des catégories, une licence, le nombre d’animations, le nombre de sommets, le nombre de faces et des informations sur les textures.

Les chercheurs peuvent filtrer les échantillons selon des annotations, afin de réduire le gaspillage de stockage et de bande passante lié au téléchargement de tous les fichiers avant de les trier.

Identifiant unique et cache local

Objaverse 1.0 fournit une identifiant unique à chaque objet, et la fonction de téléchargement retourne la correspondance entre cet identifiant et le fichier GLB local.

Les objets téléchargés sont stockés dans le cache local, et il n’est généralement pas nécessaire de les transmettre à nouveau lors des demandes ultérieures.

Interface multi-source Objaverse-XL

L’interface XL permet de lire les annotations, d’aligner les annotations et de les télécharger pour un objet sélectionné, ce qui est idéal pour créer des sous-ensembles à partir de collections volumineuses.

La source originale peut supprimer ou modifier des objets ; le code propose un mécanisme de rappel pour aider à enregistrer les fichiers trouvés, modifiés, manquants ou nouvellement ajoutés.

Rendu en masse avec Blender

Le dépôt officiel inclut des scripts Blender qui permettent d’importer divers formats 3D courants et de rendre des images à plusieurs angles.

Le script peut également enregistrer la matrice de la caméra et les métadonnées des objets, ce qui est idéal pour créer des synthèses de nouvelles perspectives et des exemples d’entraînement visuel.

Recherche sur les modèles de base 3D

L’équipe de recherche a entraîné Zero123-XL à l’aide d’Objaverse-XL, et a étudié les effets d’échelle à l’aide de plus d’un milliard d’images de rendu à multiples vues.

L’article montre la généralisation à de nouvelles perspectives à partir d’entrées telles que des esquisses, des dessins animés et des personnages, mais l’ensemble de données en soi n’est pas un modèle de raisonnement.

Guide de téléchargement et d’utilisation d’Objaverse

1. Définir les tâches de recherche et les licences d’objet acceptables
2. Estimer la taille de l’échantillon, le trafic réseau, les coûts de disque et de rendu
3. Créer une liste pour conserver l’identifiant de l’objet, sa source et sa licence
4. Préparer l’environnement Python et installer le paquet officiel objaverse
5. Sélectionnez l’interface Objaverse 1.0 ou Objaverse-XL
6. Lire d’abord les annotations de l’objet plutôt que de télécharger directement l’ensemble.
7. Filtrer par source, licence, étiquette ou attributs géométriques
8. Extraction d’un petit échantillon représentatif à partir d’une graine aléatoire fixe
9. Appeler l’interface de téléchargement pour enregistrer dans un répertoire de données indépendant
10. Enregistrer l’état des objets trouvés, modifiés, manquants et ajoutés
11. Vérifier si le fichier peut être analysé et si les textures sont complètes
12. Exécution de fichiers malveillants, analyse de contenus anormaux et de scans de personnes
13. Utiliser un script Blender pour générer des vues de test
14. Vérifier la cohérence de l’échelle, des coordonnées, de la caméra et de l’éclairage
15. Terminer le dédoublonnage et la division en ensemble d’entraînement et d’validation
16. Enregistrer les informations de licence et d’affectation de chaque objet
17. Exécuter d’abord un entraînement à petite échelle avant d’augmenter la quantité de données
18. Lors de la publication des résultats, citez les ensembles de données et respectez les exigences de la publication.

Prix et forfaits

Objaverse ne facture pas de frais de abonnement pour les ensembles de données, mais il n’est pas sans coût total, et il n’est pas particulièrement adapté pour télécharger aveuglément tous les objets XL.

Le budget réel est généralement déterminé par le nombre d’objets après filtrage, la taille moyenne des fichiers, le nombre de points de vue de rendu et le nombre d’itérations d’entraînement.

La licence doit être comprise de manière hiérarchisée.

Le code open source, la base de données ouverte et l’utilisation commerciale des matériaux sont trois problématiques distinctes ; aucune ne peut remplacer les deux autres.

Les projets commerciaux doivent établir une liste blanche des autorisations au niveau de l’objet avant d’entamer l’entraînement ; il ne faut pas effectuer des vérifications d’autorisation après la publication du modèle.

Qualité des données et risques de sécurité

Les données relatives à la taille des pages web contiennent inévitablement des textures endommagées, redondantes ou manquantes, une géométrie anormale, des étiquettes erronées et du contenu inapproprié.

• Analyser des fichiers 3D complexes d’origine inconnue dans un environnement isolé
• Vérifier les archives compressées, les scripts et les références aux textures externes
• Filtrer les scans de personnes, les informations personnelles et le contenu sensible
• Détection du nombre d’extrêmes de sommets et de textures très grandes
• Éliminer respectivement les doublons par hachage, proximité et sémantique.
• Conserver les journaux de traitement des objets supprimés ou dont la source est invalide

La documentation officielle indiquait que certaines personnes suspectées ayant fait l’objet d’un scan avaient été supprimées et réexaminées, et que les utilisateurs devaient néanmoins mettre en place leur propre processus de gouvernance du contenu.

Plateforme de support

• Version web ou portail en ligne officiel

Les clients, les régions, les langues et les points d’accès peuvent varier en fonction de la version ; il convient de se référer à la page du produit actuelle avant l’installation ou le paiement.

API, SDK et situation du logiciel open source

L’interface officielle est basée sur Python, idéale pour filtrer les annotations à l’aide de dataframes, puis télécharger les objets sélectionnés via plusieurs processus.

Le rendu en batch dépend de Blender ainsi que d’une CPU, d’une GPU et d’une mémoire suffisantes ; pour les tâches à grande échelle, il est également nécessaire de gérer les tentatives de réessai en cas d’échec et les points de sauvegarde.

• Créer des configurations d’expérience reproductibles pour les versions de données et les conditions de filtrage
• Ne stockez pas les données complètes sur le disque système.
• Gérer les fichiers originaux, les résultats de nettoyage et les images rendues dans des dossiers distincts
• Créer des tables de liaison pour l’identification des objets, les licences et les sources
• Statistiques des catégories, origines et distributions des licences avant l’entraînement
• Vérifier régulièrement les changements et les retraits des objets en amont

Quels projets conviennent

• Recherche sur la conversion d’images en modèles 3D et de texte en modèles 3D
• Synthèse à nouvelle perspective et apprentissage par représentation multi-vues
• Classification, recherche et segmentation d’objets 3D
• Perception des objets par les robots et l’intelligence incarnée
• Évaluation de la robustesse des modèles visuels et des catégories à queue longue
• Créer un sous-ensemble de données dans le domaine filtré par autorisation

Avantages et inconvénients

Principaux avantages

• La taille des objets est bien supérieure à celle des ensembles de données 3D traditionnels
• Sources et styles visuels variés
• Fournit des annotations, des téléchargements et des outils de rendu
• Prend en charge le téléchargement par objet plutôt que dans son intégralité
• Peut être utilisé dans divers domaines de recherche en vision 3D
• Thèses et code officiel rendus publics

Insuffisances à prendre en compte

• La qualité et le format des objets ne sont pas uniformes.
• Les licences pour un seul élément varient beaucoup
• Le coût du téléchargement et du rendu en totalité est élevé.
• Peut contenir des contenus inappropriés ou sensibles
• Les fichiers en amont seront supprimés ou modifiés.
• Des compétences solides en ingénierie des données sont nécessaires.

Informations de base

Indice de recommandation

Note de recommandation : 4,3/5.

Objaverse est adapté aux équipes de recherche ayant besoin de grandes quantités de données 3D diversifiées ; il s’agit d’une infrastructure de données et non d’un outil de génération prêt à l’emploi.

Sa valeur réside dans l’échelle, les annotations et la chaîne d’outils, tandis que les obstacles à son utilisation se concentrent sur la gouvernance des licences, le nettoyage de la qualité et les coûts de calcul.

La méthode la plus sûre consiste à commencer avec un petit échantillon dont les licences sont claires, à valider le processus, puis à l’élargir à l’échelle d’Objaverse-XL.

Questions fréquentes

Qu’est-ce que Objaverse ?

Objaverse est un ensemble de données ouvert à grande échelle destiné à la recherche en vision 3D, créé conjointement par l’équipe PRIOR de l’Allen Institute for Artificial Intelligence et des chercheurs de l’Université de Washington, et qui fournit des fichiers de modèles ainsi que des informations annotées.

Quelle est la différence entre Objaverse et Objaverse-XL ?

Objaverse 1.0 contient environ 800 000 objets 3D annotés, tandis que Objaverse-XL en comprend plus de 10 millions provenant de sources plus diverses, et offre des interfaces de téléchargement et de traitement plus flexibles.

Objaverse peut-il être utilisé gratuitement ?

Les ensembles de données et le code de téléchargement sont disponibles gratuitement, mais le téléchargement, le stockage, la rendu et l’entraînement entraînent des coûts de calcul locaux ou dans le cloud ; certaines sources exigent également une demande ou imposent des restrictions d’utilisation.

Objaverse peut-il être utilisé pour des projets commerciaux ?

On ne peut pas généraliser. L’ensemble du jeu de données utilise ODC-By 1.0, mais chaque objet conserve sa propre licence d’origine ; avant toute utilisation commerciale, il est nécessaire de filtrer par objet et de conserver la preuve de l’autorisation.

Comment télécharger certains modèles dans Objaverse ?

Après l’installation des paquets Python officiels, lire les commentaires, filtrer par source, licence ou identifiant d’objet, puis appeler la fonction de téléchargement. Il est recommandé de télécharger d’abord un petit nombre d’échantillons pour vérifier le format, la taille et les droits d’accès.

Tous les modèles dans Objaverse ont-ils été soumis à une vérification de qualité ?

Non. Il s’agit d’un ensemble de données à l’échelle d’une page web ; le modèle peut présenter des dommages, des textures manquantes, une géométrie anormale, des éléments redondants ou du contenu inapproprié. Avant l’entraînement, il est nécessaire de le vérifier soi-même, d’éliminer les doublons et de le filtrer.

Objaverse est-il un projet open source ?

Le téléchargement et le traitement du code sont soumis à la licence Apache-2.0, tandis que l’ensemble des ensembles de données est soumis à ODC-By 1.0 ; aucune de ces deux licences ne couvre la licence originale de chaque objet 3D distinct.