Das große BlueHeart-Modell: BlueLM

Was ist das große Modell BlueLM mit dem blauen Herz?

Das BlueLM-Modell ist eine allgemeine KI-Modellreihe, die vom globalen Forschungsinstitut für KI von vivo selbst entwickelt wurde. Es umfasst Funktionen wie Content-Erstellung, Wissensabfragen, logisches Denken, Codeerstellung sowie Informationsauswertung. Es dient sowohl den Systemen und Anwendungen von vivo als auch Entwicklern, wobei letzteren Teile der Modellparameter sowie die zur Implementierung notwendigen Codes zur Verfügung gestellt werden.

Es ist wichtig, zwischen der gesamten Produktreihe des BlueHeart-Modells und dem open-source-Projekt BlueLM-7B zu unterscheiden. Derzeit können nur die spezifizierten Modelle mit 7 Milliarden Parametern, für Dialoge, mit 32 K Bits sowie die quantisierten Modelle heruntergeladen werden. Das bedeutet jedoch nicht, dass alle Modelle von vivo – sei es für Endgeräte, in der Cloud, für Bildverarbeitung, Sprachverarbeitung oder multimodale Anwendungen – bereits open source sind.

Verfügbare Versionen des Modells

Basismodelle eignen sich besser für Forschung, Weiterentwicklung und Feinabstimmung, während Dialogmodelle auf Interaktion ausgerichtet sind. 32K bedeutet, dass längere Kontexte verarbeitet werden können, doch die tatsächlich nutzbare Länge, Geschwindigkeit und der benötigte Speicher hängen vom Framework, von der Batch-Größe, von der Präzision sowie von der Hardware ab.

Hauptfunktionen

Inhaltscreation und -umformulierung

• Dialogmodelle können auf Grundlage von Anweisungen in Chinesisch oder Englisch Artikel, Zusammenfassungen, E-Mails, Marketingentwürfe und strukturierte Inhalte erstellen.
• Der Benutzer kann Thema, Tonfall, Länge, Zielgruppe sowie Formatanforderungen angeben. Nachdem das Modell den Text erzeugt hat, erfolgt eine Überprüfung der Fakten und der Sprache.
• Grundmodelle eignen sich für die Fortsetzung von Texten und die Feinabstimmung auf bestimmte Bereiche, während Dialogmodelle besser für die Interaktion mit direkten Anweisungen geeignet sind. Eine falsche Wahl kann die Nutzererfahrung beeinträchtigen.

Wissensfragen und Informationsextraktion

• Das Modell kann Fragen zu Allgemeinwissen, Arbeitsfähigkeiten und im Text enthaltenen Fragen beantworten und außerdem Entitäten, Schlüsselpunkte, Felder oder Beziehungen aus gegebenen Materialien extrahieren.
• Die 32K-Version eignet sich dazu, längere Dokumente im Kontext zusammenzufassen, Fragen zu beantworten oder Informationen herauszuziehen, verbindet sich jedoch nicht automatisch mit den neuesten Datenbanken.
• Modellwissen kann veraltet sein oder Täuschungen hervorrufen; Vorschriften, medizinische, finanzielle, Nachrichten- und Unternehmensdaten müssen über zuverlässige Abfragemöglichkeiten abgerufen und manuell überprüft werden.

Logisches Denken und Codeerstellung

• BlueLM kann Schlussfolgerungen im Bereich des Alltagswissens, der Wissenschaft, der Mathematik sowie bei der Aufgabenerstellung ziehen und außerdem Code erstellen sowie interpretieren.
• Entwickler sollten klare Einschränkungen, Beispiele und Testfälle bereitstellen und den generierten Code in einer isolierten Umgebung ausführen, um das Direktausführen unbekannter Befehle zu vermeiden.
• Die offiziellen Referenzwerte spiegeln nur bestimmte Datensätze und Bewertungskonfigurationen wider und bedeuten nicht, dass in allen tatsächlichen Anwendungen eine gleich hohe Genauigkeit erreicht werden kann.

Verarbeitung langer Texte

• Base-32K und Chat-32K werden zur besseren Verarbeitung längerer Kontexte eingesetzt und können lange Berichte, mehrteilige Materialien, längere Dialoge sowie Dokumentenfragen beantworten.
• Lange Texte erhöhen den Arbeitsspeicherbedarf, die Verarbeitungszeit sowie die Rechekosten. Vor der Implementierung sollte die Länge des Zieldokuments sowie die Anzahl der gleichzeitig zu verarbeitenden Aufgaben getestet werden.
• Das Einfügen des Inhalts in einen 32K-Kontext bedeutet nicht, dass das Modell jedes Detail vollständig behalten wird; wichtige Felder müssen weiterhin strukturiert extrahiert und überprüft werden.

Toolaufrufe und lokale API

• BlueLM-7B-Chat-32K unterstützt Funktionsaufrufe und kann natursprachige Anfragen in von der Anwendung definierte Funktionen sowie Parameter umwandeln.
• Die offiziellen Lager bieten Beispiele für lokale APIs im OpenAI-Format an, die fließende Antworten sowie Aufrufe von Tools unterstützen und somit eine einfache Integration in die Backend-Systeme bestehender Chat-Apps ermöglichen.
• Das Modell ist nur dafür zuständig, die Aufrufabsicht vorzugeben; die tatsächlichen Berechtigungen der Tools, die Überprüfung der Parameter, die Ausführung, das Wiederholen von Versuchen sowie die Überwachung der Ergebnisse müssen von der Anwendung selbst umgesetzt werden.
• Dieses API-Beispiel wird auf dem eigenen Server des Benutzers ausgeführt, nicht an einem öffentlichen Cloud-Service von vivo, und es gibt keine offizielle Abrechnung nach Verbrauch.

Sprachtraining und Eingabe/Ausgabe

Anleitung zur lokalen Installation

1. Lesen Sie zunächst die Lizenzen für das Open Atom Model, um herauszufinden, ob Forschung, interne Nutzung, Verbreitung oder kommerzielle Weitergabe den Bedingungen entsprechen.
2. Wählen Sie je nach Aufgabe eine Base-, Chat-, 32K- oder Quantisierungsmodell und bewerten Sie die Kompatibilität mit Grafikspeicher, Festplatte, CUDA, Treibern sowie Inferenzframeworks.
3. Holen Sie sich die offiziellen Repositorys sowie die entsprechenden Modelldateien und installieren Sie die in der Projektbeschreibung angegebenen Python-Abhängigkeiten; prüfen Sie beim Laden des Modells den zu ausführenden Remote-Code.
4. Führen Sie zunächst die Befehlszeilenversion oder die Web-Demo aus, um mit einem festen Testdatensatz die Leistung bei chinesischen Texten, langen Texten, Code, Ablehnungsfällen sowie in Geschäftsbereichen zu überprüfen.
5. Wenn eine Service-basierte Lösung benötigt wird, sollte ein lokales API-Beispiel gestartet oder vLLM bereitgestellt werden, wobei Authentifizierung, Geschwindigkeitsbeschränkungen, Timeout-Einstellungen sowie die Anonymisierung und Überwachung von Protokollen hinzugefügt werden.
6. Vor dem Zugang zum Service werden Suchfunktionen, eine Whiteliste für Tools, Ausgabefilterung sowie manuelle Überprüfungen eingeführt, anschließend werden Tests für Konkurrenzsituationen, lange Texte und Fehlerbehebung durchgeführt.
7. Protokollieren Sie die Modellversion, die Quantifizierungsmethode, die Prompte, die Lizenz sowie die Art und Weise der Datenerfassung, um ein einfaches Upgraden, Audits und das Rollback von Problemen zu ermöglichen.

Quantifizierung und Hardwareauswahl

5 GB an Grafikspeicher ist der Referenzwert für ein spezifisches offizielles 4-Bit-Beispiel und sollte nicht auf alle Systeme, Batch-Größen und Kontextlängen angewendet werden. Die Kompatibilität sowie die Leistung von CPU, Apple-Chips und anderen Beschleunigern müssen von den Entwicklern selbst überprüft werden.

Feinabstimmung und Weiterentwicklung

• Der Speicher bietet einen vollständigen Überwachungs- und Feinabstimmungsprozess, Trainingsskripte sowie Beispieldaten, die für Frage-Antwort-Szenarien, Stilanpassung oder das Erlernen von Aufgabenvorlagen verwendet werden können.
• Vor der Feinabstimmung sollten wiederholte, fehlerhafte, sensible und nicht autorisierte Daten entfernt werden, und ein separates Validierungsset erstellt werden, um zu verhindern, dass nur die Trainingsbeispiele im Gedächtnis bleiben.
• Die vollständige Feinabstimmung erfordert einen hohen Ressourcenverbrauch. Entwickler können je nach Aufgabe effiziente Methoden mit passenden Parametern wählen, müssen jedoch selbst die Umsetzung und die Ergebnisse überprüfen.
• Bei einer erneuten Veröffentlichung von Modellen, Code oder Diensten müssen die in der Lizenz geforderten Angaben beibehalten werden, und die Verantwortlichkeiten bezüglich der Daten, der Marke sowie der erstellten Inhalte müssen neu bewertet werden.

Preise und Nutzungskosten

Die kostenlose Herunterladung der Modelldateien bedeutet nicht, dass die Implementierung kostenlos ist – und auch nicht, dass man Zugang zum Inferenzservice von vivo’s Public Cloud erhält. Bei der kostenlosen Herunterladung aus dem Open-Source-Bereich gibt es keine Probleme bezüglich Rückerstattungen für Abonnements. Rückerstattungen für Cloud-Server, Speicherplatz sowie die Verwaltung von Modellen durch Dritte müssen gemäß den Regeln des jeweiligen Anbieters erfolgen.

Unterschiede zwischen API, SDK und Plattform

Open-Source-Lizenzien und kommerzielle Nutzung

• Der offizielle Repository von BlueLM hat im Dezember 2024 die Lizenz des Modells auf die Open Atom Model License aktualisiert.
• Die Beschreibung des Lagerhauses erlaubt Entwicklern dessen Nutzung für wissenschaftliche Forschung und kommerzielle Anwendungen. Für die kommerzielle Nutzung müssen jedoch weiterhin alle Bedingungen der Lizenz sowie die geltenden Gesetze eingehalten werden.
• Die Lizenz gilt nur für die Modelle und Materialien, die vom Lager ausdrücklich bereitgestellt werden, und umfasst nicht automatisch das Vivo-Logo, Verbraucheranwendungen, Cloud-Dienste oder andere nicht verfügbare Modelle.
• Bei der Verwendung von Drittdaten, Feinabstimmungssammlungen, Inferenzframeworks und Abhängigkeiten müssen zudem deren jeweilige Lizenzen sowie Regeln zum Umgang mit personenbezogenen Daten eingehalten werden.
• Bevor Modelle erneut verteilt, Hosting-Dienste angeboten oder in kommerzielle Geräte eingebettet werden, sollten die rechtlichen Angaben, Eigentumsrechte, Einschränkungen und Haftungsbedingungen von der Rechtsabteilung überprüft werden.

Hinweise zu Privatsphäre, Sicherheit und Urheberrechten

• Eine lokale Bereitstellung ermöglicht es, Prompts und Dokumente in einer vom Benutzer kontrollierten Umgebung zu belassen, doch Logs, Überwachungsfunktionen, Objektspeicher sowie externe Tools können weiterhin Daten übertragen.
• Das Herunterladen von Diensten von der Modell-Hosting-Plattform und deren Nutzung in der vivo-App unterliegen jeweils den Richtlinien zum Account der jeweiligen Plattform, Cookies, Protokollen sowie der Datenschutzrichtlinien.
• Bevor ein Modell mit benutzerdefiniertem Remote-Code geladen wird, sollte der Code überprüft, eine feste Version festgelegt und die Ausführungsumgebung isoliert werden, um die Risiken in der Lieferkette zu verringern.
• Für externe APIs sind Authentifizierung, Bandbreitenbegrenzung, Längenbeschränkungen für Eingaben, Maskierung sensibler Informationen, Isolierung gefährlicher Tools sowie die Blockierung abweichender Ausgaben erforderlich.
• Modelle können falsche Fakten, Vorurteile, schädliche Empfehlungen, ähnlichen Text oder unsicheren Code erzeugen; sie müssen vor Veröffentlichung und Ausführung manuell überprüft werden.
• Benutzereingaben, Feinabstimmungsdaten und Ergebnisse können Urheberrechte, Geschäftsgeheimnisse sowie personenbezogene Daten umfassen; der Betreiber muss Verfahren für Löschungen und Beschwerden einrichten.

Passend für Nutzer und Szenarien

• Hochschulen und Forschungsteams: Wiederholung von Experimenten, Bewertung der Chinesisch-Kenntnisse, Forschung an langen Texten und Aufruf von Tools.
• Unternehmensentwickler: Erstellen von Prototypen für Wissensabfragen, Textextraktion, Schreiben oder Codeunterstützung in der eigenen Umgebung.
• Team für Datenschutzfragen: Durch lokale Implementierung wird der Datenfluss kontrolliert, dennoch müssen alle gespeicherten Daten sowie externe Abhängigkeiten überprüft werden.
• Personen mit begrenzten Hardware-Ressourcen: Nutzen Sie 4 Bits oder andere Quantisierungsversionen, um das 7B-Dialogmodell zu nutzen.
• vivo-Ecosystem-Entwickler: Bewertung fortgeschrittener AI-APIs am Endgerät, muss jedoch je nach Systemversion und kompatiblen Geräten gestaltet werden.

Vorteile und Einschränkungen

Hauptvorteile

• Offene Grundlagen, Dialog, 32K sowie verschiedene Quantisierungsversionen – zur schrittweisen Überprüfung von der Forschung bis zur lokalen Anwendung.
• Es werden Beispiele für APIs im Format von Reasoning, Fine-Tuning, vLLM und OpenAI bereitgestellt, um die Arbeit bei der Einrichtung der Grundinfrastruktur zu reduzieren.
• Chinesisch und Englisch sind die Hauptsprachen für die Ausbildung und eignen sich für Textaufgaben, bei denen Chinesisch im Vordergrund steht.

Nutzungsbeschränkungen

• Die Hauptlinie des Open-Source-Repositories ist das 7B-Textmodell; nicht alle Fähigkeiten des großen Modells können als herunterladbare Gewichte angesehen werden.
• Die Offenlegung der Modellaktualisierungszeiten, der Framework-Abhängigkeiten und der Hardwareanforderungen kann hinter der neuesten Entwicklungslandschaft zurückbleiben; bei der Bereitstellung ist es daher notwendig, eine kompatible Version festzulegen.
• Der 32K-Kontext sowie die Funktionsaufrufe garantieren nicht automatisch eine genaue Verarbeitung langer Texte oder die Sicherheit der Tools; auf der Anwendungsseite ist weiterhin eine umfassende ingenieurwissenschaftliche Steuerung erforderlich.
• Der Technische Bericht zu BlueLM-2.5-3B bedeutet nicht, dass die Gewichte des Modells bereits verfügbar sind; daher sollte man derzeit keine Versprechen bezüglich eines Downloads oder einer lokalen Installation abgeben.

Häufige Fragen

Ist das große BlueHeart-Modell BlueLM offen source?

Teilweise open source. Die offiziellen Versionen von BlueLM-7B – die Basisversion, die Dialogfunktionen sowie die 32K- und Quantisierungsversionen – sind öffentlich verfügbar. Allerdings sind nicht alle Modelle aus der BlueHeart-Reihe von vivo sowie die Anwendungen für Endverbraucher und die Systemfunktionen vollständig open source.

Kann das BlueLM-Modell kostenlos für kommerzielle Zwecke genutzt werden?

Die Modelldateien können kostenlos heruntergeladen werden. Der Speicherplatz steht auch für kommerzielle Anwendungen zur Verfügung – allerdings müssen die Bedingungen der Open Atom Model License sowie die entsprechenden Gesetze eingehalten werden. Die Kosten für die Bereitstellung von Rechenleistung, die Genehmigung zur Verwendung von Daten sowie die Wartung und Konformitätskontrollen liegen beim Nutzer.

Wie lang ist der unterstützte Kontext von BlueLM?

Die normale 7B-Version arbeitet mit einem Kontextumfang von 2K, während Base-32K und Chat-32K einen Umfang von 32K unterstützen. Ein größerer Kontextumfang erhöht den Speicherbedarf sowie die Verzögerung – zudem wird nicht garantiert, dass alle Details genau erfasst werden können.

Bietet BlueLM eine Online-API an?

Das Lager bietet Beispiele für APIs im OpenAI-Format zur eigenständigen Implementierung – es handelt sich dabei nicht um die öffentlichen Cloud-APIs von vivo. Die Open-Platform von vivo verfügt über zusätzliche KI-Funktionen auf Geräteebene; die Anschlussbedingungen und Kosten müssen in den entsprechenden Dokumenten nachgeprüft werden.

Wie viel VRAM benötigt BlueLM mindestens?

Ein offizielles Beispiel für ein 4-Bits-Dialogmodell erfordert etwa 5 GB an Grafikspeicher. Andere Versionen hängen von der Genauigkeit, dem Kontext, der Batch-Größe sowie dem Framework ab; eine Einsatz in der Praxis sollte durch praktische Tests bestimmt werden.

Unterstützt BlueLM die Eingabe von Bildern?

Der derzeitige offizielle Open-Source-Repository für BlueLM-7B ist ein Textmodell; die späteren Ergebnisse aus dem Bereich Multimodalität können nicht direkt als verfügbare Bildgewichte verwendet werden. Für Bildaufgaben muss überprüft werden, ob das jeweilige Modell öffentlich zugänglich ist.

Sind BlueHeart QianXun und das Open-Source-Modell BlueLM dasselbe?

Es ist nicht dasselbe. BlueHeart QianXun ist eine Anwendung für Verbraucher, während BlueLM ein Open-Source-Projekt ist, bei dem Entwickler Modelle und Code herunterladen und einsetzen können. Die Funktionen, Datenschutzrichtlinien, Versionen sowie Lizenzen der beiden Produkte sind voneinander unabhängig.

Zusammenfassung

Das große BlueLM-Modell eignet sich für Entwickler, die über chinesische Sprachfähigkeiten verfügen, mit langen Texten arbeiten müssen sowie eine quantitative Implementierung und lokale APIs benötigen. Bei der Auswahl sollte zunächst zwischen der gesamten BlueLM-Reihe und der öffentlich verfügbaren 7B-Serie unterschieden werden. Anschließend sollte je nach Kontext, verfügbarer GPU-RAM und Aufgabe die passende Version ausgewählt werden. Vor der kommerziellen Nutzung müssen außerdem Lizenzen, Daten, Ausgaben sowie Sicherheitsaspekte überprüft werden.