OpenMMLab

Was ist OpenMMLab?

OpenMMLab ist ein Open-Source-Algorithmen-Ökosystem für Forschung und ingenieurwissenschaftliche Anwendungen im Bereich der Computervision. Es besteht aus mehreren miteinander verbundenen Python-Projekten. Es umfasst Funktionen wie Bildklassifizierung, Objekterkennung, semantische und instanzbasierte Segmentierung, 3D-Erkennung, Pose-Ermittlung, OCR, Videoverarbeitung, generative Visualisierung, Modellkomprimierung sowie die Bereitstellung auf verschiedenen Plattformen. Zudem werden zahlreiche Konfigurationen, Algorithmusimplementierungen sowie vortrainierte Modelle bereitgestellt.

OpenMMLab ist kein einzelnes Webtool, das durch Eingabe eines Prompts Ergebnisse erzeugt. Die Benutzer müssen in der Regel Python, PyTorch, CUDA sowie Datensätze bereitstellen, um mithilfe von Konfigurationsdateien zu trainieren, zu validieren oder zu inferieren.

In der Modelldatenbank der offiziellen Website können Modelle und Konfigurationen angesehen werden, doch die Hauptverarbeitung findet weiterhin auf dem lokalen Server oder einer Cloud-GPU statt.

Kernbestandteile von OpenMMLab

MMEngine-Trainingsinfrastruktur

MMEngine bietet allgemeine Funktionen wie ein Konfigurationsystem, einen Registry-Manager, einen Runner, einen Trainingszyklus, Hooks, Logging, Datei-I/O, verteiltes Training und Bewertung. Die oberen Algorithmusbibliotheken teilen sich diese grundlegenden Komponenten, wodurch Trainingsskripte, Konfigurationen sowie Erweiterungsmöglichkeiten einheitlicher gestaltet werden können.

mmengine-lite kann installiert werden, wenn nur leichte Module wie Registrierer konfiguriert und installiert werden.

MMCV-Visuelle Grundbibliothek

MMCV bietet Funktionen für die Verarbeitung von Bildern und Videos, CNN-Komponenten sowie Operatoren mit CUDA. Es ist eine wichtige Grundlage für zahlreiche visuelle Projekte. MMCV muss mit den Versionen von PyTorch, CUDA sowie den darüberliegenden Algorithmusbibliotheken übereinstimmen.

Das Installieren einer falschen Version kann oft zu Fehlern bei der Laden der Operatoren oder zu Kompilierfehlern führen.

MMDetection und MMYOLO

MMDetection ist für die Erkennung zweidimensionaler Objekte sowie die Segmentierung von Instanzen konzipiert und integriert verschiedene Detektoren, Backbones, Necks, Verlustfunktionen sowie Datenpipelines. MMYOLO konzentriert sich auf die YOLO-Serie sowie auf die Echtzeiterkennung.

Beide eignen sich für allgemeine Überprüfungen, die Erkennung von benutzerdefinierten Objekten, Qualitätskontrolle in der Industrie sowie visuelle Analyse, doch je nach Aufgabe und Version sollte das richtige Produkt ausgewählt werden.

MMSegmentation und MMDetection3D

MMSegmentation unterstützt semantische Segmentierung sowie zahlreiche Segmentierungsarchitekturen; MMDetection3D bewältigt Punktwolken, 3D-Detektion für autonome Fahrzeuge und multimodale Wahrnehmung.

3D-Aufgaben erfordern in der Regel komplexere Datensätze, Koordinatensysteme, Kalibrierung von Sensoren sowie Hardware mit viel Arbeitsspeicher.

MMPose, MMOCR und MMAction2

MMPose wird zur Schätzung von Schlüsselpunkten am menschlichen Körper, an den Händen, im Gesicht sowie bei Tieren verwendet; MMOCR umfasst die Erkennung von Texten, deren Identifizierung sowie die Extraktion wichtiger Informationen.

MMAction2 wird für die Erkennung von Aktionen, die zeitliche Lokalisierung, die Analyse von Skelettbewegungen sowie das Verständnis von Videos verwendet. Für verschiedene Aufgaben gibt es eigene Skripte zur Datenumwandlung sowie entsprechende Indikatoren.

MMPreTrain und MMagic

MMPreTrain bietet Ansätze für Klassifizierung, Vortrainieren sowie multimodale Grundmodelle; MMagic ist für die Erstellung, Bearbeitung, Reparatur von Bildern und Videos sowie für Super-Resolution- und Diffusionsmodelle geeignet.

Generierende Modelle benötigen in der Regel viel Arbeitsspeicher, und ihre Gewichte können unter keinen kommerziellen oder für verantwortungsvolle KI geltenden Lizenzen stehen.

MMRazor und MMDeploy

MMRazor wird für Pruning, Destillation, Quantisierung und Neural Architecture Search verwendet, während MMDeploy Modelle in Backend-Umgebungen wie ONNX Runtime, TensorRT, OpenVINO, ncnn usw. konvertiert und bereitstellt. Vor der Bereitstellung müssen die Unterstützung der Operatoren, dynamische Shapes sowie Vor- und Nachverarbeitung und numerische Unterschiede überprüft werden.

MIM-Paketverwaltungswerkzeug

OpenMIM ermöglicht es, das OpenMMLab-Paket zu installieren sowie Konfigurationen und Modelle herunterzuladen. Es vereinfacht die Einrichtung der Umgebung, kann jedoch nicht automatisch alle Konflikte zwischen PyTorch, CUDA, Compilern und Systembibliotheken lösen.

Die Produktionsumgebung sollte sich auf eine feste Version verlassen und wiedergabetreue Images speichern.

Vergleich der wichtigsten Projekte von OpenMMLab

Preise und Kosten von OpenMMLab

Die Kernalgorithmenbibliothek kann kostenlos heruntergeladen und genutzt werden – es gibt keine einheitlichen Abonnementpakete. Die tatsächlichen Kosten hängen von der Rechenleistung vor Ort oder in der Cloud, den Daten, der Annotation, der Trainingszeit sowie der Umgebung zur Bereitstellung ab.

Die offizielle Website gibt keine festen Geschäftskladowe-Angebote für alle Projekte an; die Preise für Drittanbieter-GPUs sollten daher nicht als offizielle Gebühren von OpenMMLab angesehen werden.

Anleitung zur Installation von OpenMMLab

1. Bestimmung der Aufgabensammlung:Wählen Sie zunächst die Aufgaben für Erkennung, Trennung, Pose, OCR oder Erstellung aus – installieren Sie nicht gleich die gesamte Umgebung.
2. Erfassung einer unabhängigen Umgebung:Um eine Conda- oder virtuelle Umgebung zu erstellen, installieren Sie zunächst die passenden PyTorch- und CUDA-Versionen unter Verwendung der Grafiktreiber.
3. Installation von OpenMIM:Verwenden Sie MIM zur Installation von MMEngine, MMCV und den Ziel-Algorithmenbibliotheken, um Fehler durch manuelle Auswahl der Radversionen zu vermeiden.
4. Überprüfungsumgebung:Drucken Sie die Versionen von PyTorch, CUDA, MMEngine, MMCV sowie der Algorithmusbibliotheken und führen Sie das offizielle Mindest-Infersionsbeispiel aus.
5. Vorbereitung der Konfiguration und Gewichte:Laden Sie aus dem Ziel-Lager die gleiche Version der Konfiguration und des Checkpoints herunter und überprüfen Sie die Modelllizenz sowie den Hash.
6. Daten vorbereiten:In das von dem Projekt unterstützte Format umwandeln und die Kategorie-ID, den Pfad, die Beschriftungen sowie die Aufteilung für Training und Validierung überprüfen.
7. Mit dem Training beginnen:Erbe die offizielle Konfiguration und ändere nur die notwendigen Parameter. Überprüfe zunächst den Pipeline mit kleinen Datenmengen, bevor du das Training ausweiterst.
8. Bewertung und Bereitstellung:Speichern Sie Konfigurationen, Protokolle und Gewichte, bewerten Sie mit einem separaten Testdatensatz und überprüfen Sie anschließend die Ergebnisse der Umwandlung am Ziel-Backend.

Systemkonfiguration und anpassungsgemäße Trainierung

Das OpenMMLab-Projekt beschreibt Modelle, Daten, Optimierer, Lernraten, Trainingszyklen sowie Hooks in der Regel über Konfigurationsdateien. Mit dem Erbe-Mechanismus können offizielle Konfigurationen wiederverwendet werden, doch mehrfaches Überschreiben kann dazu führen, dass die endgültigen Parameter unübersichtlich werden.

Vor dem Start der Schulung sollte die vollständige Konfiguration ausgedruckt werden und zusammen mit der Codeversion gespeichert werden.

Durch das Registry können eigene Komponenten für Backbone, Dataset, Transform, Metric oder Hook registriert werden. Bei der Erweiterung sollten Tests für Eingabe/Ausgabe, Geräte, gemischte Präzision sowie verteilte Szenarien geschrieben werden, um zu vermeiden, dass die Erweiterung nur mit kleinen Datensätzen auf einer einzigen Karte funktioniert.

Anleitung zur Verwendung von OpenMMLab

Erstellung wiederverwendbarer professioneller Workflows

1. Erstellung einer Liste mit den Markenfarben, Schriftarten, Kompositionselementen sowie verbotenen Elementen;
2. Getrennte Tests der Kernkomponenten von OpenMMLab, des Vergleichs der wichtigsten Projekte von OpenMMLab sowie des Konfigurations- und Custom-Training-Systems;
3. Vergleichen Sie Qualität, Geschwindigkeit und Kosten mit derselben Gruppe von Referenzmaterialien;
4. Komplexe Ränder, Texte sowie Bilder von wichtigen Produkten sollten von Menschen bearbeitet werden.
5. Einheitliche Benennung, Größe und Prüfungsstatus;
6. Nach Stichprobenkontrollen erfolgt die Massenverarbeitung und Veröffentlichung;

Hinweise zur Implementierung des Modells

• Die in dem Trainingsframework verwendeten Python-basierten Vorbereitungs- und Nachbearbeitungsschritte, NMS, RoI-Operatoren sowie dynamische Eingaben können nicht immer direkt umgewandelt werden.
• Bei der Implementierung sollten dieselbe Normalisierung, Größenanpassung, Klassenkarte sowie Nachverarbeitung verwendet werden, und es sollten die Fehler, die Geschwindigkeit sowie der Speicherverbrauch von PyTorch im Vergleich zum Ziel-Backend an repräsentativen Daten verglichen werden.
• Nach Quantifizierung oder Pruning muss die Genauigkeit erneut bewertet werden;

Lizenz und kommerzielle Anleitung

Der größte Teil des Kerncodes – wie MMEngine, MMCV, MMDetection usw. – ist unter der Apache License 2.0 lizenziert. Er kann für Forschungszwecke sowie für kommerzielle Entwicklungen verwendet werden, wobei die Lizenz sowie die entsprechenden Angaben beibehalten werden müssen. Die konkrete Implementierung der Algorithmen, externe Abhängigkeiten sowie vorkonfigurierte Gewichte und Datensätze können unter unterschiedlichen Lizenzen stehen. In einigen Repositorien werden außerdem Funktionen aufgeführt, die entweder unter NVIDIA-Lizenzbedingungen oder unter nicht-kommerziellen Bedingungen zur Verfügung stehen.

Vor der kommerziellen Nutzung müssen Code, Modellgewichte, Trainingsdaten sowie die Nutzungsrechte für die Marke separat überprüft werden. Bei Anwendungen in den Bereichen Gesichtserkennung, Körpererkennung, Überwachung und Medizinische Bilder müssen zudem Aspekte wie Privatsphäre, Verzerrungen, Einwilligung der Betroffenen sowie branchenspezifische Vorschriften berücksichtigt werden.

Für welche Benutzer geeignet

• Studenten und Forscher, die sich mit der Erkennung von Objekten, der Segmentierung, der Bestimmung der Pose, der OCR-Technologie sowie dem Verständnis von Videos beschäftigen;
• Algorithmeningenieure, die viele Basismodelle sowie wiederholbare Experimentierkonfigurationen benötigen;
• Teams zur Entwicklung von Systemen für die industrielle Qualitätskontrolle, autonome Fahrzeuge, Fernerkundung sowie visuelle Systeme für intelligente Städte;
• Ingenieure, die PyTorch-Visualisierungsmodelle auf Servern oder Edge-Geräten bereitstellen möchten;
• Entwickler mit Kenntnissen in Python, Deep Learning und der Verwaltung von GPU-Umgebungen.

Vorteile und Bedenken

• Die Vorteile von OpenMMLab sind eine umfassende Abdeckung von Projekten, vielfältige Implementierungen von Algorithmen, einheitliche Konfigurationen, zahlreiche vortrainierte Modelle sowie eine Ökosysteme für Training, Bewertung, Komprimierung und Bereitstellung.
• Es eignet sich für ernsthafte visuelle Forschung und ingenieurwissenschaftliche Repräsentationen;
• Es gibt viele ökologische Projekte mit komplexen Abhängigkeiten; alte Anleitungen können sich auf verschiedene Hauptversionen beziehen.
• Die Kompilierung von CUDA-Operatoren sowie die Kompatibilität mit MMCV und PyTorch sind häufige Probleme;
• Die Aktivität des Projekts sowie die Wartungsstrategien können sich ebenfalls ändern. Bei der Auswahl sollte man auf die kürzlich veröffentlichten Dokumente, Issues und Migrationsanleitungen achten.
• Vortrainierte Modelle können die Bewertung mit echten Geschäftsdaten nicht ersetzen; in kritischen Szenarien muss weiterhin die Robustheit, Fairness und Sicherheit getestet werden.

Häufige Fragen

Ist OpenMMLab kostenlos?

Die wichtigsten Open-Source-Frameworks sind kostenlos und es gibt keine einheitliche Abonnementgebühr. Die Kosten für GPUs, Server, Daten sowie Wartung und Betrieb, die für das Training und die Bereitstellung benötigt werden, müssen vom Benutzer getragen werden.

Was ist der Zusammenhang zwischen OpenMMLab und MMDetection?

OpenMMLab ist die gesamte offene visuelle Ökosystem, wobei MMDetection eine Algorithmenbibliothek darstellt, die speziell für die Erkennung von 2D-Zielen und die Segmentierung von Instanzen verwendet wird.

Muss OpenMMLab unbedingt eine GPU verwenden?

Teilweise Schlussfolgerungen und leichte Funktionen können mit der CPU ausgeführt werden, doch das Trainieren sowie große visuelle Modelle erfordern in der Regel eine NVIDIA GPU sowie eine entsprechende CUDA-Umgebung.

Kann OpenMMLab für kommerzielle Zwecke verwendet werden?

Der größte Teil des Kerncodes ist unter Apache 2.0 lizenziert und kann für kommerzielle Entwicklungen verwendet werden; die Lizenzen für spezifische Modelle, Algorithmen, Abhängigkeiten und Datensätze müssen gesondert überprüft werden.

Eignet sich OpenMMLab für Anfänger?

Es gibt vollständige Dokumentationen sowie Beispiele für die Konfiguration, doch es ist notwendig, Kenntnisse in Python, PyTorch, den Formaten von Datensätzen sowie in der GPU-Umgebung zu haben. Es wird empfohlen, mit den offiziellen Anleitungen zu einem einzelnen Projekt zu beginnen.