Hugging Face

Was ist Hugging Face?

Hugging Face ist eine Plattform für die Zusammenarbeit bei Modellen und Daten, die sich an Entwickler, Forscher und Unternehmen im Bereich maschinelles Lernen richtet. Der zentrale Hub enthält Modelle, Datensätze sowie Spaces-Anwendungen. Die Repositorien verfügen über eine versionierte Verwaltung ähnlich wie Git. Über Model-Karten, Datensatz-Karten, Tags, Bewertungen sowie Community-Diskussionen kann man sich über die Projekte informieren.

Die offiziellen Dokumente listen derzeit über 2 Millionen Modelle, 1,5 Millionen Datensätze sowie 1,5 Millionen Anwendungen auf, die Aufgaben in den Bereichen Text, Bilder, Audio, Video, multimodale Daten sowie Robotik abdecken.

Es handelt sich dabei sowohl um eine Community für Ressourcen als auch um Infrastruktur für die Entwicklung von KI-Systemen in der Cloud: Nutzer können Gewichte lokal herunterladen, öffentliche Demonstrationen online ausführen, verschiedene Modelle über einheitliche Inferenzanbieter aufrufen oder die Modelle auf speziellen Endpunkten für automatische Skalierung bereitstellen. Jede Funktion hat ihre eigene Abrechnungsmethode – eine kostenlose Registrierung bedeutet nicht, dass GPU, API sowie die Produktivumgebung kostenlos zur Verfügung stehen.

Kernfunktionen

• Model Hub：Suchen Sie nach Modellen nach Aufgabe, Framework, Sprache, Lizenz und Beliebtheit, und sehen Sie sich Gewichtsdateien, Konfigurationen, Modellkarten, Versionsgeschichte sowie Beispiele für die Inferenz an.
• Datasets：Verwaltung und Vorschau von Trainings- und Bewertungsdaten, Unterstützung für das Laden von Skripten, streambasiertes Lesen, Viewer, Versionsverwaltung und Zugriffskontrolle.
• Spaces：Veröffentlichen Sie AI-Demos und vollständige Anwendungen mit Gradio, Docker oder statischen Seiten. Leichte Projekte können kostenlos mit CPU ausgeführt werden, während GPU-Ressourcen nach Bedarf pro Stunde aufgerüstet werden können.
• Inference Providers：Mehrere Inferenzdienste werden über einen einheitlichen Client und Token aufgerufen, es wird nach Modell und Anbietergebühren abgerechnet, und es steht eine begrenzte kostenlose Nutzungsmenge zur Verfügung.
• Inference Endpoints：Der ausgewählte Modell wird auf dedizierten CPU-, GPU- oder Accelerator-Instanzen bereitgestellt, wobei automatische Skalierung, Private Networks, Sicherheitskontrollen sowie Produktüberwachung unterstützt werden.
• Transformers und Ökosysteme:GitHub betreibt offiziell Open-Source-Bibliotheken wie Transformers, Diffusers, Datasets, Tokenizers, PEFT usw., die das Training, die Feinabstimmung und die Inferenz unterstützen.
• Organisatorische Zusammenarbeit:Es werden private Lager, Teamrechte, Ressourcengruppen, SSO, Auditing, Speicherrichtlinien und Unternehmensunterstützung bereitgestellt.
• Jobs und Rechenarbeit:Es ist möglich, Skripte auszuführen, Trainingsschritte durchzuführen sowie Batch-Aufgaben zu bearbeiten – wobei die Rechenressourcen separat abgerechnet werden.

Preis

Speicher, Spaces-Hardware, Inferenz-Endpunkte, Jobs sowie Inferenz-Anbieter sind in der Regel nicht im Preis für die Lizenz enthalten. Der Speicher im Hub folgt einem Kapazitätsmodell – die Gebühren für öffentliche und private Repositorien unterscheiden sich dabei.

Der derzeitige Referenzpreis beträgt etwa 12 US-Dollar pro TB pro Monat; bei Mengen von 50 TB, 200 TB oder mehr sinkt dieser Preis auf 10, 9 bzw. 8 US-Dollar.

Der Basis-CPU-Service von Spaces ist kostenlos; die Erhöhung auf eine leistungsstärkere CPU kostet ab etwa 0,03 US-Dollar pro Stunde. GPUs wie T4, L4, A10G und A100 werden ebenfalls nach Stunde abgerechnet. Für dedizierte Inference-Endpunkte gilt ein Preis von etwa 0,033 US-Dollar pro Stunde. Die tatsächliche Rechnung hängt von der Instanz, dem Standort, der Laufzeit sowie der automatischen Skalierung ab.

Lizenzierung und Grenzen des Open Source

Viele offizielle Clients sowie Bibliotheken von Hugging Face nutzen Open-Source-Lizenzen wie Apache 2.0. Die Plattform selbst, auf der Hugging Face gehostet wird, ist jedoch ein kommerzieller Dienst. Noch wichtiger ist…Das Vorhandensein eines Modells oder Datensatzes auf dem Hub bedeutet weder, dass es sich um Open Source handelt, noch, dass seine kommerzielle Nutzung erlaubt ist.

Jeder Lager kann unter Verwendung von MIT, Apache, OpenRAIL, Llama, Gemma, einer nicht-kommerziellen Lizenz, einer benutzerdefinierten Lizenz oder einer unbekannten Lizenz genutzt werden, wobei es möglicherweise Bedingungen bezüglich der zulässigen Nutzung, der Kennzeichnung sowie Einschränkungen bei der Weiterverbreitung geben kann.

Bevor man etwas herunterlädt, sollte man das Feld mit der Lizenz des Repositoriums, die Modellkarten, das Basismodell, die Trainingsdaten sowie den Code Dritter überprüfen. Das Fehlen einer Lizenz bedeutet nicht automatisch, dass die Ressource frei genutzt werden kann.

Eingeschränkte oder gesteuerte Modelle können die Zustimmung zu Bedingungen sowie das Einreichen eines Zugriffsantrags erfordern.

Unternehmen müssen außerdem die Quellen der Daten, personenbezogene Informationen, Urheberrechte, Exportkontrollen sowie die Verantwortlichkeiten bei der Ausfuhr überprüfen.

Anleitung zur Nutzung von Hugging Face

Eine grundlegende Aufgabe erledigen

1. Registrieren Sie sich bei Hugging Face und erstellen Sie einen API-Schlüssel, der ausschließlich für die Testumgebung verwendet wird;
2. Wählen Sie das Modell entsprechend der Eingabetypen, des Kontexts, der Qualität, der Geschwindigkeit und des Preises aus;
3. Rufen Sie zunächst den Model Hub auf, um die minimale Anfrage durchzuführen und die zurückgegebene Struktur zu überprüfen;
4. Testen Sie anschließend mit Datasets die Flussausgabe, Parameter und die Reaktion auf Ausnahmen;
5. Protokollieren Sie Tokens, Anrufanzahl, Verzögerung, Fehlerrate und Kosten pro Aufruf;
6. Tragen Sie den Schlüssel in den Server-basierten Schlüsselmanager ein, bevor Sie die eigentliche Anwendung anschließen;

Erstellung wiederverwendbarer professioneller Workflows

1. Für die Entwicklungs-, Test- und Produktionsumgebungen werden unterschiedliche Schlüssel und Limits verwendet;
2. Erstellen Sie repräsentative Bewertungssätze unter Verwendung von Model Hub, Datasets und Spaces;
3. Einstellen von Timeout, Konkurrenz, Wiederholungsversuchen, Limitierung sowie Budgetobergrenzen;
4. Durchführung von Überprüfungen hinsichtlich Fakten, Sicherheit, Formatierung und sensibler Informationen am Ausgangsinhalt;
5. Überwachung von Änderungen bei Modellversionen, Preisen, Verzögerungen und Ausfallraten;
6. Vorbereitung von Plänen für die Herabstufung des Modells, Schutzmaßnahmen sowie manuelle Übernahme.

Für welche Benutzer geeignet

• Entwickler, die offene Gewichtsmodelle suchen, vergleichen und herunterladen
• Forschungsteams, die Paper-Modelle, Datensätze und replizierbare Experimente veröffentlichen
• Mit Spaces können Produktprototypen von KI sowie Lehrinhalte für Nutzer schnell präsentiert werden.
• Organisationen, die Inference-Hosting, private Repositorien und Unternehmensgovernance benötigen

Einschränkungen und Hinweise

• Die Qualität der Community-Lager variiert stark, wobei die Leistungswerte in den Modellkarten, die Hardware-Anforderungen sowie die Nutzungseinschränkungen separat überprüft werden müssen;
• Das Ausführen von Drittanbieter-Space oder Code kann bösartige Abhängigkeiten enthalten;
• Bevor man Remote-Code aktiviert, sollte der Inhalt des Repositoriums überprüft und eine Version festgelegt werden;
• Private Lager sind keine Garantie dafür, dass alle Compliance-Anforderungen erfüllt werden. Vor dem Hochladen sensibler Daten müssen weiterhin die Datengebiete, die Aufbewahrungsfristen, die Verarbeitungspartner sowie die Zugriffskontrollen überprüft werden.
• Kostenlose Spaces können im Ruhezustand sein und einen kalten Neustart erfordern, ZeroGPU weist Warteschlangen sowie Zeitbeschränkungen auf;
• Für Produktionsdienste sollten geeignete, speziell dafür vorgesehene Endpunkte gewählt werden. Es sollten automatische Skalierungsmechanismen, Budgetwarnungen sowie Tokenrechte eingestellt werden, um zu verhindern, dass Tokens offengelegt werden oder auf unerwünschte Weise verwendet werden.

Häufige Fragen

Ist Hugging Face kostenlos?

Die grundlegenden Funktionen von Hub sowie ein Teil der CPU-Ressourcen und der Berechtigungen für die Ausführung von Berechnungen sind kostenlos. GPU-Ressourcen, spezielle Endpunkte, zusätzlicher Speicher, Aufgaben sowie APIs mit hohem Verbrauch werden nach Verbrauch abgerechnet. Für PRO- und Organisationspakete fallen zudem Gebühren für die Nutzung der Dienste an.

Können alle Modelle auf Hugging Face für kommerzielle Zwecke verwendet werden?

Nicht möglich. Es muss die Lizenz sowie die Nutzungsbedingungen für jedes Modell sowie sein zugrundeliegendes Modell überprüft werden. Nicht-kommerzielle, für Forschungszwecke vorgesehene oder unbekannte Lizenzen dürfen nicht direkt in kommerzielle Produkte eingeführt werden.

Was ist der Unterschied zwischen Spaces und Inference Endpoints?

Spaces eignet sich für Präsentationen, interaktive Anwendungen und Prototypen; Endpoints richten sich an stabile APIs und Produktivumgebungen und bieten dedizierte Instanzen, Skalierbarkeit sowie umfassendere Sicherheitskontrollen.