Gelehrten-Pu-Sprache

Was ist InternLM, die Sprachmodelle der Buchstudenten?

InternLM ist ein Open-Source-Modell- und-Tool-System, das vom Shanghai Artificial Intelligence Laboratory entwickelt wurde. Es dient zur Beantwortung von Fragen in Chinesisch und Englisch, zur Durchführung von Schlussfolgerungen, zur Verarbeitung von Code, langen Texten sowie multimodaler Inhalte. Zudem wird es für wissenschaftliche Forschungen und die Entwicklung von Agenten eingesetzt. InternLM bietet nicht nur eine Online-Chat-Funktion, sondern auch die Möglichkeit, die Modellgewichte einzusehen, Frameworks für das Training und Feinabstimmen sowie Tools zur Bewertung zur Verfügung zu stellen.

Die Positionierung von Shusheng Puyu liegt eher bei einem „offenen Modell-Stack und Entwicklungsökosystem“ – es handelt sich dabei nicht um ein kommerzielles Chat-Produkt, das auf individuellen Abonnements beruht. Normale Nutzer können die Plattform über die offizielle Chat-Web-Seite nutzen, während Entwickler in der Regel Modelle von Hugging Face, ModelScope oder OpenXLab herunterladen und sie selbst bereitstellen.

Hauptmodelle

1. InternLM3

InternLM3 ist das dritte Generation der allgemeinen Sprachmodelle von Shushengpu. Offiziell wird InternLM3-8B-Instruct bereitgestellt. Es unterstützt sowohl normale Gespräche als auch tiefgehendes Denken und eignet sich für Aufgaben im Bereich Wissen, Mathematik, Logik, Programmierung sowie komplexe Anweisungen.

Die Größe von 8B eignet sich für die Nutzung mit einer einzelnen GPU. Laut den offiziellen Angaben erfordert die 4-Bit-Quantisierung etwa 8 GB an Grafikspeicher. In Wirklichkeit hängt die benötigte Speichermenge jedoch auch von der Länge des Kontexts, dem Inferenzframework, dem KV-Cache sowie von der Konkurrenzzahl ab. Bei einer Nutzung mit begrenztem Grafikspeicher sollte zunächst die maximale Speichernutzung gemessen werden – man darf sich nicht nur auf die Größe der Gewichtsdateien verlassen.

2. InternLM2.5

InternLM2.5 umfasst Größen von 1,8 B, 7 B und 20 B sowie Versionen für Chat, Mathematik, Belohnungsmodelle und langen Kontext. Dabei unterstützt die 7B Chat 1M einen Kontextumfang von einer Million Einheiten und eignet sich somit für Experimente mit sehr langen Dokumenten, doch ein langer Kontext erhöht erheblich den Speicherbedarf, die Vorladezeit sowie die Rechenkosten.

3. Internes wissenschaftliches multimodales Modell

Die Intern-S-Serie ist für KI in der Wissenschaft konzipiert. Intern-S1 baut auf allgemeinen Text- und Visualisierungsfähigkeiten auf und fügt Daten aus den Bereichen Chemie, Materialwissenschaften, Lebenswissenschaften und Geowissenschaften hinzu; dadurch kann es Molekülformeln, Proteinketten, chemische Strukturen sowie wissenschaftliche Bilder verstehen.

Intern-S1-mini bietet eine leichte Version.

Die Intern-S1-Pro-Version von 2026 erweitert sich auf wissenschaftliches Reasoning mit Billionen an Parametern im MoE-Format, während die Intern-S2 Preview effiziente wissenschaftliche Modelle mit geringerem Parameteraufwand untersucht. Wissenschaftliche Modelle können bei der Suche, Interpretation und Erstellung von Optionen helfen, ersetzen jedoch keine Experimente, Peer-Review-Prozesse, klinische Beurteilungen oder professionelle Sicherheitsverfahren.

4. InternLM-XComposer

Die XComposer-Serie dient der Verarbeitung von Bild- und Textinhalten, der kreativen Erstellung von Bild- und Textinhalten sowie der Interaktion mit Videos und Audiodaten über längere Zeiträume. Sie kann hochauflösende Bilder, Dokumente, Webseiten sowie multimodale Eingaben verarbeiten. Die Lizenzbedingungen dieser Serie unterscheiden sich teilweise von denen des allgemeinen InternLM-Repositors. Für den kommerziellen Einsatz müssen die spezifischen Anforderungen sowie die Regeln bezüglich der Nutzung des jeweiligen Modells geprüft werden.

Online-Erlebnis

Die offizielle Chat-Web-Seite ermöglicht es den Nutzern, direkt mit dem Modell zu kommunizieren – ideal zur Erprobung von Fähigkeiten im Chinesisch-Dialog, im logischen Denken sowie bei der Programmierung. Die Versionen der Modelle im Online-Dienst, die Anzahl der gleichzeitigen Verbindungen, die Historie der Interaktionen sowie die kostenlosen Nutzungsmöglichkeiten können sich ändern. Auf der offiziellen Website wird kein fester Preis für Einzelpersonenangebote angegeben.

Daher eignet sich der Tool-Katalog zur Kennzeichnung als „kostenlose Online-Testversion + Open-Source-System zum Selbstbereitstellen“; es sollten keine erfundenen Monatsgebühren angegeben oder eine dauerhafte Kostenfreiheit versprochen werden. Der Zugang zu den Online-APIs sowie die verfügbare Rechenleistung können möglicherweise ebenfalls über Anträge oder Plattformen wie OpenXLab beantragt werden.

XTuner-Training und Feinabstimmung

XTuner ist ein Open-Source-Trainingstool aus der Bookworm-Ecosystem, das für die Vortrainierung großer Modelle, die Feinabstimmung von Anweisungen, das mehrmodale Training sowie das Reinforcement Learning eingesetzt werden kann. Die neue Version XTuner V1 richtet sich an äußerst große MoE-Modelle und unterstützt lange Sequenzen, FSDP, DeepSpeed Ulysses sowie GPU- und Ascend-NPU-Hardware. Zudem kann es mit LMDeploy, vLLM und SGLang verbunden werden.

Individuelle Entwickler können mit LoRA oder QLoRA die Ressourcen für das Feintunen reduzieren, doch die Qualität der Feintuning-Daten, ihr Format sowie Urheberrechte und Datenschutz sind wichtiger als die Parameter-Einstellungen. Vor dem Training sollte ein Validierungsset erstellt werden, das Basismodell sowie die abhängigen Versionen festgehalten werden, um sich nicht nur auf den Trainingsverlust zu konzentrieren.

LMDeploy-Infersenz-Einsatz

LMDeploy wird zur Kompression, Quantisierung, Inferenz und API-Verwaltung eingesetzt und unterstützt InternLM, Intern-S sowie verschiedene Drittanbietermodelle. Es bietet einen leistungsstarken Inferenzmotor, KV-Cache-Verwaltung, Quantisierungsfunktionen sowie kompatible Schnittstellen – ideal zur Bereitstellung von Modellen als lokale oder Serverdienste.

Die Durchsatzleistung hängt von der GPU, der Genauigkeit, dem Kontext, dem Batch-Verarbeitungsmodus sowie der Konkurrenz ab. Bei der produktiven Implementierung müssen zudem Authentifizierung, Limitierung des Datenflusses, Sicherheit der Inhalte, Überwachung, Maskierung von Protokolldaten sowie die Möglichkeit zur Rücksetzung des Modells berücksichtigt werden. Ein Demo-Service darf nicht direkt im öffentlichen Internet zugänglich gemacht werden.

Lagent-Intelligenz-Agenten-Framework

Lagent ist ein leichtgewichtiges LLM-Agent-Framework, das die Aufrufung von Tools, Code-Interpreter, Suchfunktionen, Gedächtnisfunktionen sowie Einzel- und Mehr-Agent-Workflows unterstützt. Entwickler können lokale Modelle oder externe APIs austauschen und Tools sowie Agenten über eine einheitliche Nachrichtenstruktur kombinieren.

Code-Interpreter, Webseitenzugriffe und externe Tools haben echte Nebenwirkungen. Das Ausführungsumfeld sollte isoliert werden, Netzwerk- und Dateirechte eingeschränkt werden, und Löschvorgänge, Zahlungen, Nachrichtenversendungen sowie Datenbankoperationen müssen einer manuellen Genehmigung unterzogen werden.

OpenCompass-Bewertung

OpenCompass ist eine von dem Shanghai Artificial Intelligence Laboratory als Open-Source-Plattform für die Bewertung großer Modelle entwickelte Plattform, mit der Modelle hinsichtlich Wissen, Sprache, Schlussfolgerungsvermögen, Verständnis, Code sowie multimodaler Datensätze verglichen werden können. Auch die offiziellen Leistungsdaten von InternLM werden mithilfe von OpenCompass ermittelt.

Offene Benchmarks sind anfällig für Hinweistemplates, Sampling-Parameter, Datenverunreinigungen und Versionen. Bei der Auswahl von Modellen sollten eigene Kriterien wie echte Dokumente, Sprache, Verzögerung, Kosten, Sicherheit und menschliche Bewertungen berücksichtigt werden, anstatt sich allein auf die Gesamtrangliste zu stützen.

Andere ökologische Werkzeuge

• InternStudio：Es werden Kurse in der Sprache von Shushengpu sowie Anleitungen zur Rechenleistung und praktischen Anwendungen angeboten.
• HuixiangDou：Fragenbeantwortungshilfe für Gruppenchats und Wissensdatenbanken;
• MindSearch：Für mehrstufige Netzwerksuche und berichtsbasierte Antworten;
• InternEvo：Trainingsysteme für großangelegte Vortrainings;
• OpenXLab：Angebote für Modelle, Daten und Dienstleistungen im Bereich offener Rechenkapazitäten.

Die Wartungszustände und Anpassungsmodelle der verschiedenen Projekte unterscheiden sich. Bei der Installation sollten die offiziellen Dokumente der aktuellen Version verwendet werden, und die Abhängigkeitsversionen müssen festgelegt werden.

Herunterladen und lokale Bereitstellung

Das InternLM-Modell wird in der Regel im Hugging Face Transformers-Format bereitgestellt und kann auch über ModelScope und OpenXLab erworben werden. Es kann mit Tools wie Transformers, LMDeploy, vLLM usw. ausgeführt werden; nach Quantisierung ist es für Consumer-GPUs geeignet.

Bevor man das Modell herunterlädt, sollte man die Festplatte, den Grafikspeicher, den Arbeitsspeicher, die Bandbreite sowie die Lizenzen überprüfen. Wenn „trust_remote_code“ aktiviert wird, wird der benutzerdefinierte Python-Code aus dem Repository ausgeführt. Es ist daher notwendig, zunächst die Quelle, die Version des Codes sowie den Inhalt der Dateien zu überprüfen – und den Code in einer isolierten Umgebung auszuführen.

API und Preise

Der offizielle InternLM-Repository bietet Zugänge zu Chat Web und API, doch die offizielle Website verfügt derzeit nicht über eine öffentlich zugängliche, einheitliche Preisliste für Millionen an Tokens wie es kommerzielle MaaS-Plattformen haben. Die Möglichkeiten zur kostenlosen Nutzung, die Rechenleistung von OpenXLab sowie die Anträge auf Kooperations-APIs können in Bezug auf Mengen und Abrechnung unterschiedlich sein.

Die Implementierung des Modells selbst verursacht keine Kosten im Rahmen der Token-Plattformgebühren, doch es sind Kosten für GPU, Cloud-Server, Strom, Speicher, Bandbreite, Wartung sowie Konnektivität zu tragen. Unternehmen sollten vor der Nutzung die eigenen Implementierungskosten mit den Preisen für Drittanbieter-Hosting vergleichen.

Open Source und kommerzielle Lizenzen

In der Hauptdatenbank von InternLM3 ist ausdrücklich festgelegt, dass der Code sowie die Modellgewichte unter der Apache 2.0-Lizenz stehen. Dies ermöglicht die Nutzung, Änderung, Verteilung und kommerzielle Anwendung – allerdings müssen die Lizenzbedingungen sowie die Urheberrechtsangaben beibehalten werden, und es müssen die geltenden Gesetze eingehalten werden.

XTuner, Lagent sowie mehrere andere Tools verwenden ebenfalls Apache 2.0. Das Intern-S1-Projekt ist derzeit als Apache 2.0 gekennzeichnet.

Verschiedene multimodale Projekte können zusätzliche Bedingungen haben; beispielsweise wird für den XComposer-Code Apache 2.0 verwendet, doch in den Anweisungen zur kommerziellen Nutzung der Modellgewichte ist es weiterhin erforderlich, eine Anfrage einzureichen oder diese einzusehen.

Drittanbieter-Grundmodelle, Datensätze und abhängige Lizenzen fallen nicht unter die Lizenz des InternLM-Projekts. Bei kommerziellen Produkten müssen Gewichte, Code, Trainingsdaten und externe Komponenten einzeln überprüft werden – anstatt nur auf das Lizenz-Schild oben auf der GitHub-Seite zu schauen.

Daten und Sicherheit

Open-Source-Gewichte ermöglichen die Verarbeitung sensibler Daten lokal, was die Kontrolle über die Datengrenzen erleichtert. Allerdings fällt die Sicherheitsverantwortung auf den Betreiber. Organisationen müssen Abhängigkeiten beheben, die Schnittstellen der Modelle kontrollieren, Zugriffe protokollieren, Angriffe durch Manipulationen verhindern und sicherstellen, dass keine Systeminformationen durch die Modelle geleakt werden.

Modelle können voreingenommene Inhalte, schädliche Inhalte, fehlerhafte Codes sowie erfundene Fakten erzeugen. Offiziell wird außerdem darauf hingewiesen, dass durch die probabilistische Erzeugung unerwünschte Ergebnisse nicht vollständig vermieden werden können; daher sollten Veröffentlichende den Inhalt überprüfen und manuell nachprüfen.

Anleitung zur Verwendung von InternLM

Eine grundlegende Aufgabe erledigen

1. Registrieren Sie den InternLM-Studenten und erstellen Sie einen API-Schlüssel, der ausschließlich für die Testumgebung verwendet wird;
2. Wählen Sie das Modell entsprechend der Eingabetypen, des Kontexts, der Qualität, der Geschwindigkeit und des Preises aus;
3. Rufen Sie zunächst das Hauptmodell auf, um die minimale Anfrage auszuführen und die zurückgegebene Struktur zu überprüfen;
4. Testen Sie anschließend die serielle Ausgabe, Parameter sowie die Reaktion auf Fehler mithilfe eines Online-Tests.
5. Protokollieren Sie Tokens, Anrufanzahl, Verzögerung, Fehlerrate und Kosten pro Aufruf;
6. Tragen Sie den Schlüssel in den Server-basierten Schlüsselmanager ein, bevor Sie die eigentliche Anwendung anschließen;

Erstellung wiederverwendbarer professioneller Workflows

1. Für die Entwicklungs-, Test- und Produktionsumgebungen werden unterschiedliche Schlüssel und Limits verwendet;
2. Ein repräsentatives Bewertungsset wird auf der Grundlage der Hauptmodelle, der Online-Erfahrung sowie des XTuner-Trainings und -Tunings erstellt;
3. Einstellen von Timeout, Konkurrenz, Wiederholungsversuchen, Limitierung sowie Budgetobergrenzen;
4. Durchführung von Überprüfungen hinsichtlich Fakten, Sicherheit, Formatierung und sensibler Informationen am Ausgangsinhalt;
5. Überwachung von Änderungen bei Modellversionen, Preisen, Verzögerungen und Ausfallraten;
6. Vorbereitung von Plänen für die Herabstufung des Modells, Schutzmaßnahmen sowie manuelle Übernahme.

Für welche Nutzer geeignet?

• Entwickler, die chinesische Open-Source-Sprachmodelle und eine lokale Bereitstellung benötigen;
• Studenten, die sich mit Feinabstimmung, Reasoning, Quantifizierung und Agentenentwicklung beschäftigen;
• Teams, die wissenschaftliche multimodale Modelle nutzen, um Chemie, Materialwissenschaften und Lebenswissenschaften zu erforschen;
• Organisationen, die Millionen an Kontext sowie private Dokumente für Experimente benötigen;
• Entwicklerteams, die mit XTuner, LMDeploy und Lagent vollständige Anwendungen aufbauen;
• Unternehmen, die die Gewichte des Apache 2.0-Lizenzmodells für kommerzielle Produkte erhalten möchten.

Einschränkungen und Hinweise

• Das 8B-Modell ist kostengünstig, erreicht aber bei komplexen Fakten, Code-Repositories, langfristigen Agenten und in Fachgebieten nicht unbedingt die Leistungsfähigkeit großer geschlossener Quellcode-Modelle.
• Die Ausgaben wissenschaftlicher Modelle sind auch keine experimentellen Ergebnisse oder Fachzertifizierungen.
• Ein Kontext von einer Million bedeutet nicht, dass das Modell den gesamten Inhalt genau speichern kann. Die tatsächliche Leistung hängt von der Position, der Suche sowie vom Abnahmeeffekt der Aufmerksamkeit ab.
• Es sollte RAG, Blockierung, Zitieren und manuelle Überprüfung kombiniert werden, anstatt alle Daten auf einmal einzufügen;

Häufige Fragen

Ist die Pu-Sprache für Gelehrte kostenlos?

Offiziell werden kostenlose Online-Tests sowie Open-Source-Modelle zur kostenlosen Herunterladung angeboten. Für die Einrichtung sind die eigenen Kosten für Hardware und Wartung zu tragen, und die Kapazitäten des Online-Dienstes können sich ändern.

Was ist das neueste allgemeine Modell?

Der aktuelle Schwerpunkt des Hauptrepos von InternLM liegt auf InternLM3-8B-Instruct; im Bereich wissenschaftlicher Multimodalität gibt es Updates wie Intern-S1, S1-Pro und S2 Preview.

Kann es für kommerzielle Zwecke verwendet werden?

Der InternLM3-Code sowie die Gewichte unterliegen der Apache 2.0-Lizenz und können kommerziell genutzt werden. Für andere Projekte wie XComposer müssen die Modellgewichte sowie die Bedingungen für eine kommerzielle Nutzung gesondert geprüft werden.

Wie viel Grafikspeicher ist benötigt?

Laut offiziellen Beispielen benötigt InternLM3 8B bei Verwendung von 4 Bit etwa 8 GB an Grafikspeicher. In Wirklichkeit muss außerdem Platz für den Kontext, das Cache sowie die Frameworks reserviert werden.

Wird eine API bereitgestellt?

Die Behörden bieten Online-Eingänge für APIs sowie Beispiele für die eigene Implementierung an, es gibt jedoch keinen einheitlich festgelegten Preis für Token. Entwickler können außerdem ihre eigenen kompatiblen APIs mit LMDeploy oder vLLM bereitstellen.

Ist Shusheng Pu Yu open source?

Es handelt sich um ein Öffentliches-Quellcode-Modell- und -Tool-Ökosystem. Für das Hauptmodell, das Training, die Bereitstellung, die Agenten sowie die Bewertung gibt es offizielle Repositorien, doch für jedes Projekt sowie für Drittkomponenten müssen die Lizenzen separat überprüft werden.