Modelers-Musik-Community

Was ist die Modelers-Magic-Community?

Die Modelers-Magic-Community ist eine neutrale, gemeinnützige Gemeinschaft für Entwickler und Lerner im Bereich künstlicher Intelligenz. Sie bietet Dienstleistungen zur Verwaltung, Präsentation, Herunterladung sowie zur Zusammenarbeit bezüglich von Modellen, Datensätzen, Testumgebungen und Entwicklungstools. Die Community wird durch einen Vorstand geleitet, wobei das Ziel darin besteht, gemeinsam mit den Akteuren in der Wertschöpfungskette eine einheimische KI-Ökologie aufzubauen.

Es handelt sich dabei nicht nur um eine Plattform zum Herunterladen von Modelldateien, sondern sie verbindet auch Modulkarten, Beschreibungen zu Datensätzen, Anwendungsbeispiele, Tools für die Zusammenarbeit in Teams, Git-Repositories, Zugangstoken, das openMind-Entwicklungssystem sowie Anpassungen für die Ascend NPU. Nutzer können öffentlich zugängliche Gewichte finden und gleichzeitig eigene Repositorien erstellen, um Modelle, Daten und Anwendungen zu veröffentlichen.

Modellbibliothek

Die Modellbibliothek umfasst Aufgaben aus den Bereichen Natural Language Processing, Computer Vision, Sprachverarbeitung, Multimodalität und generative KI. Die Modellkarten zeigen den Eigentümer, die Art der Aufgabe, das Framework, die Tags, die Datei, die Version sowie die Anleitung zur Verwendung und können möglicherweise auf Anwendungsplattformen verlinkt sein, die online genutzt werden können.

Bevor Sie herunterladen, sollten Sie die README-Dokumentation, die Lizenzbedingungen des Modells sowie die Anleitung zur Verwendung der Trainingsdaten und die damit verbundenen Einschränkungen lesen. Die Hostung durch die Community bedeutet nicht, dass die Plattform die Genauigkeit, Sicherheit oder den kommerziellen Einsatz jedes Modells garantiert. Für ein und dasselbe Modell können es auch eine ursprüngliche Version, eine quantisierte Version, eine PyTorch-Version, eine MindSpore-Version sowie eine für Ascend angepasste Version geben.

Art und Weise des Modell-Downloads

Offene Modelle können über Webseiten einzeln heruntergeladen werden, oder man kann das gesamte Repository mit Git und Git LFS klonen. Der openMind Hub Client bietet die Möglichkeit zum Herunterladen einzelner Dateien, zum Herunterladen des gesamten Repositoriums in Form von Snapshots, sowie Funktionen zur Caching, zum Verwalten von Versionen und zum Filtern von Dateien. Er eignet sich daher gut dazu, Gewichte in Skripten zuverlässig abzurufen.

Die OpenMind Library ermöglicht es außerdem, Modelle direkt unter Verwendung von „Benutzernamen/Repository-Name“ zu laden und die Inferenz mithilfe von Pipeline, AutoModel und AutoTokenizer durchzuführen. Bei der Verwendung von trust_remote_code wird der vom Repository bereitgestellte benutzerdefinierte Code ausgeführt; es sollte daher zunächst der Quellcode überprüft und in einer isolierten Umgebung getestet werden.

Modell-Upload und Beiträge

Nach der Registrierung kann man ein persönliches oder organisatorisches Modellarchiv erstellen. Es sind Upload-Folder für Git, Git LFS und den openMind Hub Client verfügbar, sowie eine Funktion zum Pushen in die openMind Library.

Der Speicher erstellt automatisch eine README-Karten-Datei; die Mitwirkenden sollten Aufgaben, Daten, Metriken, Umgebungen, Einschränkungen sowie Lizenzen hinzufügen.

Die Zugriffstoken haben Les- und Schreibrechte – mit Schreibrechten kann man Dateien hochladen und herunterladen. Das Token wird nur beim Erstellen vollständig angezeigt. Für die automatische Erstellung sollten separate Token verwendet werden, die nicht in das Code-Repository geschrieben werden sollten.

Nach einem Leck sollte es umgehend gelöscht und neu erstellt werden.

Datensatz

Datenspeicher dienen dazu, Trainings- oder Bewertungsdaten zu speichern, zu finden und deren Versionen zu verwalten. Benutzer können nach Aufgaben und Bereichen filtern, Dateien sowie Anleitungen ansehen und diese anschließend mithilfe von Community-Tools in ihre lokale Trainingsumgebung herunterladen.

Die Offenlegung von Daten bedeutet nicht, dass sie beliebig genutzt werden können. Vor der Verarbeitung müssen Lizenzen, personenbezogene Informationen, Urheberrechte, Genehmigungen zur Datenerhebung sowie geografische Beschränkungen überprüft werden – insbesondere bei Daten im Bereich Medizin, Finanzen, Gesichtserkennung, Spracherkennung sowie Internetdaten.

Bei fehlender Datenkarte sollte sie standardmäßig nicht für kommerzielle Zwecke genutzt werden können.

Erlebnisraum

Der Experience Space dient zur Darstellung von online basierten Anwendungen, die auf Modellen aufbauen. Zu den gängigen Formen gehören ChatBots, Bilder, Sprache, Notebooks oder benutzerdefinierte Anwendungen. Die Detailseite des Modells kann mit dem Experience Space verknüpft werden, sodass Besucher ohne vorherige Konfiguration einer lokalen Umgebung Eingaben und Ausgaben testen können.

Die Experience-Spaces werden von verschiedenen Anbietern betrieben, wodurch sich die Ladezeiten, die verfügbare Zeit, die Rechenleistung sowie die Regeln bezüglich der Datenspeicherung und der Privatsphäre unterscheiden können. Geben Sie bei öffentlichen Demonstrationen keine vertraulichen Kundendaten, persönliche sensible Informationen oder unveröffentlichte Dokumente ein.

Anwendung und Notizbuch

Entwickler können Anwendungs-basierte Raumveröffentlichungsmodelle zur Demonstration erstellen oder das Notebook-Umfeld zum Experimentieren nutzen. Offizielle Praxismaterialien zeigen den Weg zur Laden-, Feinabstimmung und Auswertung von Modellen unter Nutzung von NPU-Ressourcen und eignen sich für Entwickler, die keine lokale Ascend-Umgebung haben, um die Kompatibilität zu überprüfen.

Online-Notebooks erfordern weiterhin die Verwaltung von Abhängigkeiten, Speicherung, Laufzeit sowie der Freigabe von Ressourcen. Vor einem langfristigen Training sollten Zeitlimits der Sitzung, die Persistenz auf der Festplatte, Quoten sowie Regeln für die Unterbrechung von Aufgaben festgelegt werden, und Code, Protokolle sowie Checkpoints sollten rechtzeitig exportiert werden.

openMind Library

Die OpenMind Library ist ein Komplettset für die Entwicklung von Deep-Learning-Modellen, das durch eine einheitliche API das Vortrainieren, Feinabstimmen und die Auswertung von Modellen unterstützt. Sie umfasst die häufig genutzten Interfaces AutoClass, Pipeline und Trainer von Transformers und MindFormers, ist kompatibel mit PyTorch und MindSpore und verfügt zudem über Unterstützung für NPU-Schnittstellen.

Für das Training können Tools wie MindSpeed, Accelerate, PEFT, DeepSpeed und LLaMA Factory verwendet werden. Die tatsächliche Kompatibilität hängt von openMind, den Deep-Learning-Frameworks, CANN, Treibern, Firmware sowie den Versionen der Modellimplementierungen ab. Vor der Installation sollte auf Grundlage der Dokumentation eine separate virtuelle Umgebung erstellt werden.

openMind Hub Client

Der openMind Hub Client ist ein Python- und Kommandozeilenwerkzeug zur Interaktion mit Community-Repositories. Er ermöglicht es, Repositorys zu erstellen, Metadaten abzurufen, Dateien hochzuladen, einzelne Dateien oder Snapshots herunterzuladen sowie den lokalen Cache zu verwalten. Er eignet sich zur Automatisierung von Trainingsprozessen sowie zur Vorbereitung von Umgebungen im Offline-Modus.

Der Client verfügt über eine Schwarze- und Weiße-Liste für die Download-Pfade, um das Schreiben in sensible Systemverzeichnisse zu vermeiden. Linux erlaubt standardmäßig temporäre Verzeichnisse sowie Benutzerverzeichnisse, während Windows standardmäßig Benutzerverzeichnisse sowie einige Datenträger zulässt.

Bei der Anpassung der Whiteliste hat die Blacklist weiterhin höhere Priorität.

Lokale Inferenz

Die Einsteigerdokumentation enthält Beispiele für Python 3.8, 3.9 und 3.10 und verlangt die Installation von Frameworks wie PyTorch oder MindSpore je nach Aufgabe. Mit Pipelines können Textklassifizierung, -generierung sowie weitere Aufgaben im visuellen Bereich durchgeführt werden. Nach dem Herunterladen der Modellgewichte werden hauptsächlich die eigenen CPU-, GPU- oder NPU-Ressourcen des Benutzers genutzt.

Große Modelldateien können Dutzende oder Hunderte von GB umfassen. Vor der Nutzung lokal sollten Festplatte, Arbeitsspeicher, Grafikspeicher, Genauigkeit, Quantisierung sowie die Geräteunterstützung überprüft werden. Ein erfolgreicher Download bedeutet nicht, dass die aktuelle Hardware das Modell direkt ausführen kann.

Vortrainieren und Feintunen

Die OpenMind Library bietet Schnittstellen wie Trainer und TrainingArguments, mit denen man weiterhin mit Modellen aus der Community vortrainieren, vollständig feinabstimmen oder mithilfe von PEFT parametereffizient feinabstimmen kann. Nach Abschluss kann man die Konfigurationen, Tokenizer sowie Gewichte mit push_to_hub wieder in die Community hochladen.

Die Genauigkeit der Feinabstimmung hängt von den Daten, den Vorlagen, der Lernrate, der Bewertung sowie den Lizenzen für das Grundmodell ab. Trainingsprotokolle und ein Rückgang des Verlusts allein können die Effektivität nicht belegen; es sollten unabhängige Validierungsdatensätze, manuelle Bewertungen sowie Sicherheitstests verwendet werden. Zudem müssen Framework, Zufallszahlengeneratoren und die Hardwareumgebung dokumentiert werden.

NPU-Modell-Verfügbarkeitsprüfung

Der Eigentümer des Modells oder ein Mitglied der Organisation mit Schreibrechten kann Tests zur Überprüfung der Verfügbarkeit des Modells durchführen, um zu prüfen, ob benutzerdefinierte Inferenzfälle in einer NPU-Umgebung ausgeführt werden können. Der Testskript beginnt mit dem Dateinamen inference.py im Verzeichnis examples und kann zusammen mit einer requirements-Datei verwendet werden.

Bei erfolgreicher Überprüfung werden Protokolle sowie Links zum Herunterladen der Images bereitgestellt. Änderungen im Repository-Commit, die Umstellung auf privat oder das Entfernen des Modells beenden die entsprechenden Tests. Die Verfügbarkeit bedeutet lediglich, dass die angegebenen Skripte und Umgebungen ausgeführt werden können; dies setzt jedoch nicht voraus, dass Genauigkeit, Leistung und Produktionsstabilität bereits geprüft wurden.

Organisation und Berechtigungen

Die Organisation kann Modelle, Datensätze und Experience Spaces zentral verwalten und drei Rollen einrichten: Verwalter, Editor und Leser. Der Administrator kann außerdem Mitglieder, Organisationsdaten sowie Zugriffstoken verwalten.

Redakteure können das Organisationslager ändern; nur lesende Mitglieder können nur auf autorisierte Ressourcen zugreifen.

Der Name einer Organisation kann nach ihrer Erstellung nicht mehr geändert werden. Bevor eine Organisation gelöscht wird, müssen zunächst alle Projekte entfernt werden – das ist eine hochriskante Vorgehensweise.

Das Team sollte vermeiden, persönliche Write-Token zu teilen, und für wichtige Modelle Überprüfungs-, Branching- sowie Backup-Prozesse einrichten.

Lager-Versionen-Verwaltung

Modelle und Datenbanken werden mit einer Git-basierten Versionsverwaltung verwaltet, wobei große Dateien über Git LFS abgehandelt werden. Benutzer können festgelegte Versionen aus verschiedenen Revisionen herunterladen, um zu vermeiden, dass die Ergebnisse der Trainingsschritte nach Updates nicht mehr reproduziert werden können.

Die Produktionskonfiguration sollte auf einen bestimmten Commit oder Tag festgelegt werden, und die Hash-Werte der wichtigen Dateien müssen überprüft werden. Wenn nur der Name der Hauptbranche angegeben wird, kann dieser mit den Updates des Repositoriums ändern – dadurch könnten auch ersetzte Dateien oder benutzerdefinierter Code heruntergeladen werden.

Preise und Kosten

Die Magic Music-Community ist als gemeinnützige Community konzipiert. Modelle, Datensätze, Dokumente sowie Zugänge zu den Funktionen können kostenlos eingesehen werden. Auf der offiziellen Website wird derzeit kein einheitlicher Preis für Mitgliedschaften angegeben, und es gibt auch keine feste Preisliste für GPU- oder NPU-Ressourcen, die in allen Bereichen genutzt werden können.

Kostenloser Zugriff bedeutet nicht, dass alle Nutzungskosten null sind. Lokale Downloads verursachen Speicher- und Netzwerkkosten, während lokale Trainingsschritte sowie die Ausführung der Modelle von den Nutzern mit den Kosten für Hardware, Strom oder Cloud-Ressourcen belastet werden.

Ressourcen, Quoten und Aktivitätsrechte im Online-Bereich können je nach Seite angepasst werden.

Wenn auf der Seite kein klarer Preis angegeben ist, sollte man nicht auf Artikel Dritter zurückgreifen, um einen Preis für das Paket zu schätzen.

Modelllizenz und kommerzielle Nutzung

Community-Plattformen, openMind-Tools sowie die Modelle in den Repositorien sind unterschiedliche Rechtsobjekte. Jedes Modell sowie jedes Datensatz kann eine eigene Lizenz haben; manche erlauben den kommerziellen Einsatz, während andere eine Anmeldung, eine Kennzeichnung, Beschränkungen hinsichtlich der Anzahl der Nutzer oder ein Verbot in bestimmten Anwendungsfällen vorschreiben.

Vor der Verwendung sollten Gewichte, Code, Datensätze sowie die Lizenzbedingungen für die Ausgabe jeweils überprüft werden. Auch wenn das openMind-Tool eine lockere Lizenz verwendet, ändert sich dadurch automatisch nicht die Lizenz des heruntergeladenen Modells.

GitHub, Gitee und der Open-Source-Status

Die Hauptquellcodes von openMind Library und openMind Hub Client sind in den Gitee-Organisationen im Zusammenhang mit Ascend zu finden. Der Hub Client verwendet die Mulan-Lizenz Version 2. Bei Gitee gibt es außerdem ein Feedback-Repositorium für Modeler, das zur Kommunikation bezüglich Problemen und Anforderungen der Community dient.

Community-Webdienste, Konten, gehosteter Speicher, Überprüfungen sowie der gesamte Backend-Code werden durch die Offenlegung der Toolchain nicht vollständig öffentlich gemacht. Daher sollte dies als „Die Community-Plattform stellt eine open-source Toolchain zur Verfügung; die Webdienste selbst sind jedoch keine vollständig offenen Quellen“ gekennzeichnet werden.

Inländische Rechenleistung und Framework-Ökosysteme

Die Magic Music-Community legt Wert auf die Optimierung von NPU, MindSpore sowie auf die Anpassung an inländische Modelle – gleichzeitig ist sie kompatibel mit PyTorch-Werkflows. Entwickler können Modelle erhalten, die für NPU optimiert oder überprüft wurden, wodurch die Anpassungen beim Wechsel von der herkömmlichen GPU-Technologie erleichtert werden.

Die inländisch hergestellten Anpassungsversionen müssen weiterhin mit bestimmten Chips, CANN-Versionen sowie Framework-Versionen übereinstimmen. Das „Ascend“-Schild auf den Modellkarten bedeutet nicht, dass sie für alle Hardware-Generationen geeignet sind, und kann auch keine Ersatz für Leistungsprüfungen darstellen.

Anleitung für die Modelers-Magic-Music-Community

Eine grundlegende Aufgabe erledigen

1. Registrieren Sie sich in der Modelers-Musik-Community und erstellen Sie einen API-Schlüssel, der ausschließlich für die Testumgebung verwendet wird;
2. Wählen Sie das Modell entsprechend der Eingabetypen, des Kontexts, der Qualität, der Geschwindigkeit und des Preises aus;
3. Rufen Sie zunächst die Modellbibliothek auf, um die minimale Anfrage abzuschicken und die zurückgegebene Struktur zu überprüfen;
4. Testen Sie anschließend die serielle Ausgabe, Parameter und Fehlerreaktionen mit der Modell-Download-Methode;
5. Protokollieren Sie Tokens, Anrufanzahl, Verzögerung, Fehlerrate und Kosten pro Aufruf;
6. Tragen Sie den Schlüssel in den Server-basierten Schlüsselmanager ein, bevor Sie die eigentliche Anwendung anschließen;

Erstellung wiederverwendbarer professioneller Workflows

1. Für die Entwicklungs-, Test- und Produktionsumgebungen werden unterschiedliche Schlüssel und Limits verwendet;
2. Ein repräsentatives Bewertungsset wird anhand der Modellbibliotheken, der Methoden zum Herunterladen von Modellen sowie der Möglichkeiten zum Hochladen und Beitragen von Modellen erstellt.
3. Einstellen von Timeout, Konkurrenz, Wiederholungsversuchen, Limitierung sowie Budgetobergrenzen;
4. Durchführung von Überprüfungen hinsichtlich Fakten, Sicherheit, Formatierung und sensibler Informationen am Ausgangsinhalt;
5. Überwachung von Änderungen bei Modellversionen, Preisen, Verzögerungen und Ausfallraten;
6. Vorbereitung von Plänen für die Herabstufung des Modells, Schutzmaßnahmen sowie manuelle Übernahme.

Für welche Nutzer geeignet?

• Entwickler, die nach inländischen Open-Source-Modellen, Datensätzen und THUENG-Treiberressourcen suchen;
• Studenten, die den Prozess des Ladenens, der Feinabstimmung, der Inferenz sowie der Veröffentlichung von Lernmodellen lernen;
• Teams, die zur gemeinsamen Wartung von Modellen und Daten in einem organisierten Repository zusammenarbeiten müssen;
• Forscher, die online Demos, Notebooks und Ergebnisse ihrer Modelle veröffentlichen möchten;
• Entwickler, die PyTorch, MindSpore oder Ascend NPU verwenden.

Vorteile des Produkts

• Modelle, Datensätze, Erlebnisräume und organisatorische Zusammenarbeit sind in einer Gemeinschaft zusammengefasst;
• Unterstützung für verschiedene Download-Möglichkeiten wie Webseiten, Git, Git LFS und Hub Client;
• Die OpenMind Library umfasst Vortraining, Feinabstimmung, Inferenz und Hochladen;
• Kompatibel mit PyTorch und MindSpore, mit Schwerpunkt auf die Ascend NPU;
• Es ist möglich, Tests zur Verfügbarkeit der NPU durchzuführen sowie Protokolle und Bilder zu speichern;
• Mit dem Fokus auf gemeinnützige Gemeinschaften sind die Hürden für den Zugang zu öffentlichen Ressourcen gering.

Einschränkungen und Hinweise

• Die Community-Lager werden von verschiedenen Mitwirkenden gepflegt, wodurch die Beschreibungen der Modelle, ihre Qualität sowie die Lizenzen und Sicherheitsaspekte nicht immer übereinstimmen.
• Die Erlebnisumgebungen können im Ruhezustand sein oder nicht verfügbar sein. Für die Online-Ressourcen gibt es keine einheitlich öffentlich bekannten Preise, und die Demo-Umgebungen können nicht als Produktionsumgebungen mit SLAs betrachtet werden.
• Große Dateien erfordern GitLFS und ausreichend Speicherplatz.
• Custom-Code birgt Lieferkettenrisiken;
• Die NPU-Umgebung ist empfindlich gegenüber Kombinationen von Versionen;
• Vor dem Herunterladen, Trainieren und Veröffentlichen sollten Lizenzbedingungen, gesperrte Versionen, Code-Scans überprüft sowie Checksummen für Gewichte und Daten erstellt und gesichert werden;

Häufige Fragen

Ist die Magic Music-Community kostenlos?

Modelle, Datensätze, Dokumente sowie Zugangsmöglichkeiten können kostenlos eingesehen werden; derzeit gibt es keinen einheitlichen Mitgliedspreis. Für Online-Rechenleistung, Aboquoten oder Unternehmensdienste gelten die auf den jeweiligen Seiten angegebenen Regeln.

Wie lädt man Modeler-Modelle herunter?

Man kann die Datei direkt von der Website herunterladen, sie auch mit Git und Git LFS clonen oder über den openMind Hub Client sowohl die einzelne Datei als auch den vollständigen Snapshot herunterladen.

Welche Frameworks werden von der Magic Music-Community unterstützt?

Die OpenMind Library ist kompatibel mit PyTorch und MindSpore und ist insbesondere auf die Ascend NPU abgestimmt. Sie kann zusammen mit Tools wie PEFT, DeepSpeed, Accelerate und LLaMA Factory verwendet werden.

Können alle Community-Modelle kommerziell genutzt werden?

Man kann nicht allgemein sprechen. Jedes Modell und jedes Datensatz-Lizenzmodell ist unterschiedlich; es müssen die Einschränkungen hinsichtlich des kommerziellen Einsatzes, der Angabe von Urheberrechten sowie der Anforderungen und Einsatzszenarien im jeweiligen Repository überprüft werden.

Sind Modeler open source?

Obwohl Tools wie die openMind Library und der Hub Client offene Quellcodes haben, können die vollständige Website sowie die Hosting-Dienste der MoLe-Community daher nicht als insgesamt open source angesehen werden.