Datawhale

Was ist Datawhale?

Datawhale ist eine chinesische Open-Source-Lerncommunity, die sich auf Künstliche Intelligenz und Datenwissenschaft konzentriert und im Jahr 2018 gegründet wurde. Es handelt sich dabei nicht um ein bestimmtes AI-Modell oder ein Online-Generierungstool, sondern um eine Sammlung von Lehrmaterialien, Codebeispielen, Lernpfaden, Teamaktivitäten sowie Praxisprojekten, die gemeinsam von Lernenden, Entwicklern, Lehrkräften und Branchenexperten erstellt werden. Das grundlegende Konzept ist „für den Lernenden – und gemeinsam mit dem Lernenden zu wachsen“.

Der Community-Inhalt umfasst maschinelles Lernen, tiefes Lernen, Mathematik, Programmierung, große Sprachmodelle, Agenten, RAG, verstärktes Lernen, Computervisuelle, Empfehlungssysteme, Datenanalyse, embodied Intelligence und AI-Engineering. Er eignet sich dazu, verstreute Materialien in strukturierte Lernpfade zu ordnen, sowie zur Teilnahme an Open-Source-Zusammenarbeit über Issues, Pull Requests und gemeinsame Projektarbeit.

Offizielle Website und AI-Lernzentrum

Die offizielle Website von Datawhale bietet eine Übersicht über Lernwege, Kurse, Aktivitäten der Community sowie Zugänge zu entsprechenden Ressourcen. Das AI-Lernzentrum legt zusätzlich Wert auf Listen mit realen Anwendungsszenarien, Fähigkeitsstrukturen, Übungen, Wettbewerbe, Zertifikate sowie einen geschlossenen Kreislauf aus Anwendungen.

Die Benutzer können die Inhalte nach technischem Schwerpunkt und Fähigkeitsstufe auswählen, anstatt nur einzelne Artikel durchzusehen.

Die verschiedenen Eingänge werden weiterhin überarbeitet, wodurch einige Seiten möglicherweise noch in der Testphase oder im Umstellungsprozess sind. Die Namen der Kurse, die Beginnstermine sowie die Regeln bezüglich Zertifikaten und Punkten richten sich nach den Informationen auf der jeweiligen Aktivitätsseite. Die alten Lehrmaterialien spiegeln nicht unbedingt die vollständigen Funktionen des aktuellen Lernzentrums wider.

Lehrplan für künstliche Intelligenz

Für Lernende, die nicht wissen, wo sie anfangen sollen, bietet die Gemeinschaft Ausbildungsprogramme im Bereich Künstliche Intelligenz. Dabei werden Kenntnisse in Grundlagen der Mathematik, Python, Datenanalyse, Maschinellem Lernen, Deep Learning sowie generativer KI zu einem strukturierten Lernpathway zusammengefasst. Die Lernenden können je nach ihren Zielen zwischen Algorithmen, Ingenieurwesen, Anwendungsentwicklung oder Forschung wählen.

Das Ausbildungsprogramm dient als Leitfaden und ist nicht gleichzusetzen mit einem einheitlich zertifizierten Kurs. Jedes Projekt wird von unterschiedlichen Teams betreut, wodurch es Unterschiede in Schwierigkeitsgrad, Codeversionen, Aufgabentypen sowie Aktualisierungsfrequenzen gibt. Vor dem Start sollten README-Dokumente des Repositoriums, Beschreibungen der Umgebung, Issues sowie die neuesten Commit-Zeilen überprüft werden.

Gruppenlernen

Gruppenlernen ist eine der charakteristischen Gemeinschaftsaktivitäten von Datawhale. Die Organisatoren legen einen Zeitplan, Aufgaben sowie einen Ablauf für den Austausch anhand eines Open-Source-Materials fest. Die Lernenden lesen in Phasen, programmieren, nehmen Anwesenheitsprotokolle auf, diskutieren und fassen zusammen – wodurch durch die Zusammenarbeit mit Gleichaltrigen die Wahrscheinlichkeit sinkt, beim Selbstlernen aufzugeben.

Gruppenlernen ist keine Einzelbetreuung und garantiert auch nicht den Erhalt eines Jobs oder einer Zertifizierung nach Abschluss. Das Thema jeder Kursphase, die Anmeldeverfahren, die Besetzung der Betreuer sowie die Anforderungen an die Hausaufgaben können unterschiedlich sein;

Auch wenn man eine Veranstaltung verpasst hat, kann man weiterhin im öffentlichen Repository selbstständig lernen.

Open-Source-Tutorials und Code

Die Open-Source-Lehrmaterialien von Datawhale betonen, dass der Inhalt kostenlos ist und dass der Code eingesehen sowie auf GitHub gehostet werden kann. Die Lehrmaterialien umfassen in der Regel Kapiteldokumentationen, Notebooks, Beispield Projekte, Umgebungsanforderungen, Übungen sowie Referenzen. Die Nutzer können sie online lesen oder lokal kopieren, um sie anzupassen und auszuführen.

„Open Source“ bedeutet nicht, dass alle Inhalte unter derselben Lizenz stehen. Einige Anleitungen verwenden die Creative-Commons-Lizenz „Namensnennung – Nicht-kommerzielle Nutzung – Gleiches Lizenzzertifikat“, einige Softwarecodes werden unter Lizenzen wie MIT oder Apache veröffentlicht, und es gibt auch Repositorien, die Daten und Modelle von Dritten enthalten.

Bevor es zu einer Vervielfältigung, zur Veröffentlichung zum Lehrzweck oder zu kommerzieller Nutzung kommt, muss die LICENSE des Ziel-Repositories überprüft werden.

GitHub-Open-Source-Organisation

Stand dieser Überprüfung zeigt die offizielle GitHub-Organisation mehr als 200 öffentliche Repositorien. Zu den häufig genutzten Sprachen gehören Jupyter Notebook, Python, TypeScript, C++ und JavaScript. Auf der Organisationsseite finden sich Schulungsprogramme für Künstliche Intelligenz, Anleitungen zur Initiierung von Open-Source-Projekten, eine Liste von zu entwickelnden Projekten sowie Möglichkeiten zur Mitwirkung.

Eine große Anzahl an Repositoren bedeutet nicht, dass jedes Projekt ständig aktualisiert wird. Bei der Auswahl eines Projekts sollte man neben der Anzahl der „Stars“ auch die kürzlich eingereichten Änderungen, den Betreuer des Projekts, vorhandene Probleme, abhängige Versionen, die Lizenzbedingungen sowie die Verfügbarkeit von Online-Dokumentationen berücksichtigen. Die Qualität des Inhalts sollte nicht ausschließlich anhand der Anzahl der „Stars“ beurteilt werden.

Hello-Agents-Agenten-Leitfaden

Hello-Agents behandelt das Thema „Aufbau von Agenten von Grund auf“ und erläutert die grundlegenden Prinzipien von Agenten, den Einsatz von Tools, das Erinnern, Planen, die Zusammenarbeit sowie praktische Aspekte der Entwicklung. Es eignet sich für Lerner, die verstehen möchten, wie Agenten intern funktionieren, und nicht damit zufrieden sind, nur vorgefertigte Plattformen zu verwenden.

Die Entwicklung der Agentenökologie geht sehr schnell voran – die API-Modelle, Framework-Schnittstellen sowie Sicherheitsstrategien können nach der Veröffentlichung der Anleitungen ändern. Beim Ausführen von Beispielen sollten die Rechte der Tools kontrolliert werden, um zu vermeiden, dass echte Schlüssel, private Dateien oder Produktivsysteme direkt an den Test-Agenten übergeben werden.

Prinzipien des Happy-LLM-Modells

Happy-LLM richtet sich an Leser, die Grundkenntnisse erlangen und große Sprachmodelle erstellen möchten, und führt schrittweise von Tokenizer, Transformer, Trainingsdaten, Vortraining bis hin zu Feintuning und Inferenz. Im Vergleich zum einfachen Aufrufen einer Chat-API legt es mehr Wert auf die Prinzipien, den Code sowie den vollständigen Trainingsprozess.

Das Training von Lehrmodellen von Grund auf unterscheidet sich erheblich von den Ressourcenbedarfen beim Training großer kommerzieller Modelle. Die Anleitungen eignen sich zum Verständnis von Konzepten und für kleine Übungen; sie bedeuten jedoch nicht, dass normale Computer die für industrielle Anwendungen erforderlichen Parametermengen und Datenmengen bewältigen können.

Leitfaden für die Nutzung von Open-Source-LLM-Modellen

Self-LLM konzentriert sich auf den Einsatz, die Nutzung sowie die Feinabstimmung großer Open-Source-Modelle in der Linux-Umgebung – und umfasst dabei Themen wie Umgebungskonfiguration, Aufruf über die Kommandozeile, Online-Demos, Anwendungsintegration, vollständige Parameterfeinabstimmung sowie LoRA. Derzeit umfasst das Projekt mehr als 50 gängige Modelle, und es wurden außerdem Kapitel zu AMD GPUs sowie Ascend NPU hinzugefügt.

Der Name des Modells sowie die dazugehörigen Anleitungen bedeuten nicht, dass die Gewichte unbegrenzt verwendet werden können. Vor dem Herunterladen müssen Lizenzbedingungen, Anforderungen an den Arbeitsspeicher, Quantisierungsformate sowie die unterstützte Hardware überprüft werden. Zudem muss die Umgebung mit Treibern, PyTorch, CUDA, ROCm oder CANN perfekt kompatibel sein.

Kürbisbücher und Grundlagen des maschinellen Lernens

Das „Kürbisbuch“ bietet Herleitungen und Erklärungen zu den Formeln in „Machine Learning“ und eignet sich zur Vertiefung grundlegender Themen wie Wahrscheinlichkeit, Optimierung, lineare Modelle, Baummodelle und neuronale Netze im Zusammenhang mit Lehrbüchern. Es handelt sich um Unterlagen und Ergänzungen – nicht um einen automatischen Lösungsrechner.

Die Herleitung der Formeln erfordert aktives Rechnen und Code-Überprüfung. Es ist schwierig, allein durch das Lesen der Lösungen ein Verständnis für die Annahmen, Symbole und Grenzen des Algorithmus zu entwickeln. Es wird empfohlen, die Aufgaben nach dem Unterricht, die Experimentaldaten sowie das Originallehrbuch zu nutzen.

LLM-Kochbuch und Anwendungsentwicklung

Das LLM Cookbook bietet Entwicklern einen Einstieg in große Sprachmodelle. In der Community gibt es außerdem Projekte wie LLM Universe, Tiny Universe, All in RAG, Easy VectorDB, Handy Ollama und Self Dify, die Themen wie Prompt Engineering, Wissensdatenbanken, RAG, Bewertung, Agenten, Vektordatenbanken, lokale Modelle sowie Anwendungsplattformen abdecken.

Diese Lager könnten auf APIs von Drittanbietern, Cloud-Servern oder Open-Source-Komponenten angewiesen sein. Dass die Schulungen kostenlos sind, bedeutet nicht, dass die Nutzung kostengünstig ist – API-Aufrufe, Embeddings, Vektorbibliotheken, GPUs, Speicher und Domainnamen können alle Kosten verursachen.

Vibe Coding und native AI-Entwicklung

Projekte wie Easy Vibe richten sich auf die künstliche-Intelligenz-gestützte Programmierung sowie die Entwicklung von Produkten, die direkt mit KI erstellt werden. Sie helfen Lernenden dabei, von der Erfassung von Anforderungen über das Erstellen von Prototypen, die Generierung von Code bis hin zur Fehlersuche und Veröffentlichung des Projekts alles zu meistern. Der Schwerpunkt liegt darauf, durch echte Projekte die Zusammenarbeit mit KI zu erlernen – anstatt sich nur an vorgefertigte Prompt-Vorlagen zu erinnern.

Der generierte Code muss manuell überprüft, getestet sowie durch Sicherheitsscans und Lizenzprüfungen geprüft werden. KI kann das Erstellen von Prototypen beschleunigen, kann aber nicht automatisch die Verantwortung für Architektur, Sicherheit, Privatsphäre und Wartung übernehmen.

Verstärktes Lernen, Empfehlungssysteme und traditionelle KI

Datawhale hat aufgrund des Aufkommens der generativen KI nicht nur Inhalte zu großen Modellen beibehalten. In der Community gibt es weiterhin Projekte wie Easy RL, Torch RecHub, tiefes Lernen, statistisches Lernen, Datenextraktion sowie Wettbewerbsübungen – ideal, um die Grundlagen der Algorithmen zu vertiefen oder sich auf Aufgaben im Bereich Empfehlungssysteme, Steuerung und Vorhersage zu konzentrieren.

Der Lernweg sollte an den Zielen ausgerichtet sein – es ist nicht notwendig, alle Themen auf einmal zu erlernen. Wer sich auf die Anwendungsentwicklung konzentrieren möchte, sollte Priorität bei Python, LLM und RAG geben.

Wer Algorithmenforschung betreiben möchte, sollte seine Kenntnisse in Mathematik, maschinellem Lernen, Optimierung sowie in der Wiederholung von Forschungsergebnissen verbessern.

Wettbewerbe und Praxis

Die Gemeinschaft organisiert Datenwettbewerbe, Sommerlager, Projektpraktika, Technologieaustausche sowie Aktivitäten an Hochschulen, um öffentliche Daten, Geschäftsprobleme und Lernmaterialien miteinander zu verbinden. Solche Wettbewerbe können Fähigkeiten im Datenbereinigen, Feature Engineering, Modellierung, Bewertung sowie in der Teamarbeit schulen.

Die Rangfolge in den Wettbewerben hängt von der Datenaufteilung, den Regeln sowie bestimmten Kennzahlen ab und kann nicht direkt mit dem Produktionswert gleichgesetzt werden. Die Teilnehmer müssen sich an die Datenlizenzbedingungen sowie die Wettbewerbsregeln halten; es ist verboten, das Testdatenset preiszugeben, Lösungen zu kopieren oder unbefugte externe Daten zu verwenden.

Gemeinsame Entwicklung von Open-Source-Projekten

Lernende können über Issues Fehler melden, Pull Requests einreichen, um Dokumente oder Code zu verbessern, und können auch gemäß den Richtlinien für Open Source neue Projekte initiieren. Die Pflege der Community umfasst die Auswahl von Themen, die Initiierung von Projekten, die Zusammenarbeit, die Überprüfung, die Veröffentlichung sowie die kontinuierliche Wartung – es geht dabei nicht nur darum, persönliche Notizen in ein Repository hochzuladen.

Bevor man etwas beiträgt, sollte man zunächst die Richtlinien des Repositoriums lesen, den Umfang der Einreichung klar definieren, Quellen angeben und darauf achten, keine urheberrechtlich geschützten Materialien, Benutzerdaten, Schlüssel sowie große Modellgewichte in öffentliche Repositorien hochzuladen.

Preise und Gebühren

Die offiziellen Open-Source-Lehrmaterialien von Datawhale betonen ausdrücklich, dass sie kostenlos sind – es fallen keinerlei Gebühren an. Die auf GitHub verfügbaren Dateien können unter Berücksichtigung der jeweiligen Lizenzen gelesen und genutzt werden. Für das Lernen in der Community ist kein kostenpflichtiges Mitgliedschaftsabonnement notwendig.

Kostenlose Schulungen bedeuten nicht, dass der Lernprozess völlig kostenlos ist. Dritte Parteien für Cloud-GPUs, Modelle-APIs, Datendienste, gedruckte Publikationen, Zertifikate, physische Räumlichkeiten oder Kooperationsprojekte können separat berechnet werden;

Ob Gebühren anfallen, Rückerstattungen möglich sind und welche Leistungen gewährt werden, hängt von dem jeweiligen Anbieter des Services sowie den Bedingungen der aktuellen Aktion ab.

Wird eine API bereitgestellt?

Datawhale ist an sich kein einheitliches AI-Modell-Service, weshalb es keine allgemeine Generierungs-API gibt, die alle Tutorials abdeckt. In den Tutorials werden OpenAI-kompatible Schnittstellen, inländische Modell-APIs, Ollama, Vektordatenbanken sowie verschiedene Open-Source-Frameworks vorgestellt. Die erforderlichen Schlüssel sowie Kosten werden von den jeweiligen Anbietern verwaltet.

Legen Sie die API-Schlüssel nicht in Notizen, Screenshoten oder öffentlichen Arbeiten frei. Lernprojekte sollten Umgebungsvariablen, Limits sowie separate Testkonten verwenden und die Schlüssel nach Abschluss der Aktivität austauschen.

Ist es Open Source?

Datawhale ist eine Open-Source-Organisation für KI, bei der zahlreiche Tutorials und Codebeispiele auf GitHub öffentlich bereitgestellt werden. Die Offenheit der Organisation bedeutet jedoch nicht, dass der Backend aller Websites, die Systeme für Veranstaltungen sowie Ressourcen für Partnerschaften vollständig open source sind – auch gilt dies nicht für die über 200 Repositorien, die eine einheitliche Lizenz verwenden.

Die zuverlässigste Methode zur Beurteilung besteht darin, in jedem Lager die LICENSE-, README-Dateien sowie die Quellenangaben zu überprüfen. Wenn der Inhalt der Lizenz nicht klar definiert ist, sollte davon ausgegangen werden, dass das Werk weder für kommerzielle Zwecke genutzt noch weiterveröffentlicht werden darf.

Datawhale-Anleitung

Eine grundlegende Aufgabe erledigen

1. Registrieren Sie sich bei Datawhale und erstellen Sie einen API-Schlüssel, der ausschließlich für die Testumgebung verwendet wird;
2. Wählen Sie das Modell entsprechend der Eingabetypen, des Kontexts, der Qualität, der Geschwindigkeit und des Preises aus;
3. Rufen Sie zunächst die offizielle Website sowie das AI-Lernzentrum auf, um die minimale Anfrage durchzuführen und die zurückgegebene Struktur zu überprüfen;
4. Testen Sie anschließend die Flussausgabe, Parameter und Abweichungsreaktionen mit einem KI-basierten Schulungsschema;
5. Protokollieren Sie Tokens, Anrufanzahl, Verzögerung, Fehlerrate und Kosten pro Aufruf;
6. Tragen Sie den Schlüssel in den Server-basierten Schlüsselmanager ein, bevor Sie die eigentliche Anwendung anschließen;

Erstellung wiederverwendbarer professioneller Workflows

1. Für die Entwicklungs-, Test- und Produktionsumgebungen werden unterschiedliche Schlüssel und Limits verwendet;
2. Etablierung eines repräsentativen Bewertungssatzes anhand der offiziellen Website sowie des AI-Lernzentrums, der Ausbildungsprogramme für KI und des Gruppenlernens;
3. Einstellen von Timeout, Konkurrenz, Wiederholungsversuchen, Limitierung sowie Budgetobergrenzen;
4. Durchführung von Überprüfungen hinsichtlich Fakten, Sicherheit, Formatierung und sensibler Informationen am Ausgangsinhalt;
5. Überwachung von Änderungen bei Modellversionen, Preisen, Verzögerungen und Ausfallraten;
6. Vorbereitung von Plänen für die Herabstufung des Modells, Schutzmaßnahmen sowie manuelle Übernahme.

Für welche Nutzer geeignet?

• Anfänger, die das Thema KI systematisch erlernen möchten, aber nicht wissen, wie sie vorgehen sollen;
• Entwickler, die chinesische Großmodelle, RAG, Agenten sowie Anleitungen zur Feinabstimmung benötigen;
• Studenten, die durch das Lernen in Gruppen den Rhythmus beibehalten möchten, sowie Quereinsteiger;
• Hochschullehrer, die Kurse, Experimente und Open-Source-Materialien benötigen;
• Open-Source-Mitarbeiter, die sich an der Erstellung von Issues, PRs und Tutorials beteiligen möchten;
• Lernende, die Theorie mit Wettbewerben, Projekten und praktischer Produktentwicklung verbinden möchten.

Hauptvorteile

• Der chinesische Inhalt ist umfangreich und umfasst alles von den Grundlagen der Mathematik bis hin zu fortschrittlicher generativer KI.
• Tutorials, Code, Notebooks und Lernpfade sind öffentlich zugänglich;
• Gruppenlernen bietet Zeitrahmen, Aufgaben und Feedback von Mitschülern;
• Es gibt viele Projekte, darunter LLM, Agenten, RAG, CV, RL und Empfehlungssysteme;
• Durch GitHub wird die Fehlerkorrektur, die gemeinsame Entwicklung sowie die kontinuierliche Aktualisierung unterstützt;
• Vernetzung von Hochschulen, Wirtschaft und Lernenden – vielfältige Praxisthemen.

Einschränkungen und Hinweise

• Datawhale ist eine Community und ein Content-Ökosystem – es handelt sich dabei weder um eine Einrichtung, die Lernerfolge garantiert, noch um eine einheitliche Umgebung zur Ausführung.
• Einige Anleitungen werden aufgrund von Updates von Frameworks, Modellen und Abhängigkeiten ungültig.
• Die Qualität, Schwierigkeit und Wartungszustand der verschiedenen Projekte unterscheiden sich ebenfalls.
• Offen zugängliche Inhalte können Drittanbieter-Modelle, Daten, wissenschaftliche Arbeiten und Cloud-Dienste enthalten; die Nutzer müssen jeweils die Lizenzen, Datenschutzbestimmungen und Kosten überprüfen.
• Beispiele für Lehren aus den Bereichen Medizin, Finanzen, Recht usw. können nicht direkt als Grundlage für fachliche Entscheidungen herangezogen werden;

Häufige Fragen

Ist Datawhale kostenlos?

Offizielle Lehrmaterialien und Inhalte auf GitHub betonen die kostenlose Verfügbarkeit – es gibt keine einheitliche Mitgliedsgebühr. Die für den Betrieb der Kurse benötigte Cloud-Leistung, Modelle-APIs, gedruckte Bücher oder bestimmte Kooperationsveranstaltungen können jedoch zusätzliche Kosten verursachen.

Eignet sich Datawhale für Anfänger?

Passend. Man kann mit Ausbildungsprogrammen für künstliche Intelligenz, den Grundlagen von Python und maschinellem Lernen beginnen, bevor man sich großen Modellen, Agenten oder praktischen Projekten zuwendet.

Die Schwierigkeitsgrade der verschiedenen Lager unterscheiden sich stark; man sollte zunächst die Voraussetzungen lesen.

Was ist Gruppenlernen?

Im Rahmen der öffentlichen Kurse werden in festgelegten Zeitintervallen Gruppen gebildet, um zu lesen, zu programmieren, Aufgaben zu erledigen und miteinander zu kommunizieren. Nach Abschluss der Aktivitäten kann man die Lehrmaterialien in der Regel weiterhin selbstständig nutzen, wobei Hilfestellungen sowie Aufgabenzuweisungen den jeweiligen Mitteilungen folgen.

Hat Datawhale Anleitungen für große Modelle?

Ja. Happy-LLM behandelt die Prinzipien und den Aufbau großer Modelle, Self-LLM befasst sich mit der Bereitstellung und Anpassung von Open-Source-Modellen. Zudem gibt es Themen zu RAG, Agenten sowie zur Entwicklung von Evaluierungs- und Anwendungsprojekten.

Können alle Projekte von Datawhale für kommerzielle Zwecke genutzt werden?

Man kann nicht pauschal sprechen. Die Lizenzen für die verschiedenen Lager unterscheiden sich, einige Anleitungen enthalten keine kommerziellen Beschränkungen, und für Modelle, Daten und Abhängigkeiten gelten eigene Bestimmungen. Vor der kommerziellen Nutzung müssen diese Punkte einzeln überprüft werden.

Wie kann man mitwirken?

Man kann im Ziel-Repository ein Issue oder einen Pull Request einreichen, oder man kann gemäß den offiziellen Open-Source-Richtlinien um Mitwirkung bei der Entwicklung des Projekts bitten. Vor der Beitragsleistung sollte man die Projektrichtlinien lesen und sicherstellen, dass die Quellen sowie die Lizenzen konform sind.