Le grand modèle BlueHeart BlueLM

Qu’est-ce que le grand modèle BlueHeart BlueLM ?

Le grand modèle BlueHeart BlueLM est une matrice de grands modèles universels développée en interne par le laboratoire mondial d’IA de vivo, offrant des capacités couvrant la création de contenu, les questions-réponses, le raisonnement logique, la génération de code et l’extraction d’informations. Il sert à la fois les systèmes et applications de vivo, tout en mettant à disposition des développeurs une partie des poids du modèle ainsi que le code de déploiement.

Il est nécessaire de faire une distinction particulière entre la matrice complète de produits du grand modèle BlueHeart et le projet open source BlueLM-7B. Actuellement, seuls les modèles de base de 7B, les modèles de dialogue, les modèles de 32K ainsi que les modèles quantifiés spécifiés sont disponibles pour téléchargement public ; cela ne signifie pas que tous les modèles de vivo, qu’ils soient côté appareil, dans le cloud, pour l’image, la voix ou multimodaux, soient open source.

Version du modèle déjà disponible

Les modèles de base sont plus adaptés à la recherche, à l’extension et au fine-tuning, tandis que les modèles de dialogue ont été alignés pour l’interaction. 32K signifie qu’ils peuvent gérer un contexte plus long, mais la longueur réellement utilisable, la vitesse et la mémoire vidéo dépendent du framework, de la taille du batch, de la précision et du matériel.

Fonction principale

Création de contenu et réécriture

• Les modèles de dialogue peuvent générer des articles, des résumés, des e-mails, des brouillons de marketing et du contenu structuré en fonction d’instructions en chinois ou en anglais.
• L’utilisateur peut indiquer le thème, le ton, la longueur, le public cible et les exigences de format ; après que le modèle ait généré le texte, une vérification des faits et du langage est effectuée.
• Les modèles de base conviennent à la continuation de texte et au micro-ajustement par domaine, tandis que les modèles de dialogue sont plus adaptés à l’interaction avec des instructions directes ; un mauvais choix peut affecter l’expérience d’utilisation.

QCM et extraction d’informations

• Le modèle peut répondre à des questions de bon sens, de compétences professionnelles et contenues dans un texte, et il peut également extraire des entités, des points clés, des champs ou des relations à partir de matériaux donnés.
• La version 32K convient pour résumer, répondre à des questions ou extraire des informations à partir de documents longs dans leur contexte, mais elle ne se connecte pas automatiquement aux bases de données les plus récentes.
• Les connaissances des modèles peuvent être obsolètes ou générer des illusions ; les données réglementaires, médicales, financières, journalistiques et d’entreprise doivent être accessibles par des recherches fiables et soumises à une vérification manuelle.

Raisonnement logique et génération de code

• BlueLM peut effectuer des raisonnements liés au bon sens, à la science, aux mathématiques et à la planification de tâches, ainsi que générer et interpréter du code.
• Les développeurs doivent fournir des contraintes claires, des exemples et des cas de test, et exécuter le code généré dans un environnement isolé pour éviter d’exécuter directement des commandes inconnues.
• Les scores de référence publiés ne reflètent que des ensembles de données et des paramètres d’évaluation spécifiques ; ils ne signifient pas que tous les contextes réels permettront d’atteindre un niveau de précision équivalent.

Traitement de textes longs

• Base-32K et Chat-32K sont utilisés pour une compréhension de contexte plus étendue, permettant de traiter des rapports longs, des documents en plusieurs sections, des conversations prolongées ainsi que des questions-réponses sur des documents.
• Les textes longs augmentent la mémoire vidéo, le délai de traitement et les coûts de calcul ; il convient de tester la longueur du document cible ainsi que le nombre de tâches simultanées avant le déploiement.
• Mettre le contenu dans un contexte de 32 K ne signifie pas que le modèle se souviendra de chaque détail ; les champs importants doivent toujours être extraits et vérifiés de manière structurée.

Appel d’outils et API locale

• BlueLM-7B-Chat-32K prend en charge l’appel de fonctions, permettant de convertir les requêtes en langage naturel en fonctions et paramètres définis par l’application.
• Le dépôt officiel fournit des exemples d’API locales au format OpenAI, prenant en charge les réponses en flux et les appels d’outils, ce qui facilite l’intégration avec les backends existants d’applications de chat.
• Le modèle est uniquement chargé de formuler l’intention d’appel ; les droits des outils réels, la validation des paramètres, l’exécution, les tentatives de réessai et l’audit des résultats doivent être gérés par l’application.
• Cet exemple d’API s’exécute sur le propre serveur de l’utilisateur, et non sur un point cloud public fourni par vivo, sans tarification officielle à la consommation.

Langage d’entraînement et entrée/sortie

Tutoriel de déploiement local

1. Lisez d’abord la licence du modèle Atom Open pour déterminer si la recherche, l’utilisation interne, la distribution ou la livraison à des fins commerciales sont conformes aux conditions.
2. Selon la tâche, choisissez Base, Chat, 32K ou un modèle quantifié, et évaluez la compatibilité de la mémoire vidéo, du disque, de CUDA, des pilotes et du framework d’inférence.
3. Obtenir les entrepôts officiels et les fichiers de modèle correspondants, installer les dépendances Python indiquées dans la déclaration du projet ; examiner le code distant à exécuter lors du chargement du modèle.
4. Téléchargez d’abord la version en ligne de commande ou la démo web, et utilisez un ensemble de test fixe pour vérifier les performances avec du chinois, des textes longs, du code, des réponses refusées et des domaines professionnels.
5. Lorsqu’un service est nécessaire, lancez un exemple d’API locale ou déployez vLLM, et ajoutez l’authentification, les limitations de débit, les temps d’attente, le masquage des journaux et la surveillance.
6. Avant d’intégrer le service, ajouter la recherche, la liste blanche des outils, le filtrage des résultats et la révision manuelle, puis effectuer des tests de concurrence, de texte long et de récupération en cas de panne.
7. Enregistrer la version du modèle, la méthode de quantification, les prompts, la licence et la manière d’obtenir les données, afin de faciliter les mises à jour, les audits et le retrait en cas de problème.

Quantification et sélection du matériel

5 Go de mémoire vidéo est une valeur de référence pour l’exemple officiel spécifique à 4 bits et ne doit pas être appliquée à tous les systèmes, tailles de lots et longueurs de contexte. La compatibilité et les performances du CPU, des puces Apple et d’autres accélérateurs doivent être vérifiées par le développeur lui-même.

Ajustements finaux et développement secondaire

• L’entrepôt fournit un processus complet de fine-tuning supervisé, des scripts d’entraînement et des données d’exemple, pouvant être utilisés pour les questions-réponses dans un domaine spécifique, l’adaptation de style ou l’apprentissage des formats de tâches.
• Avant le ajustement fin, il convient de nettoyer les données redondantes, erronées, sensibles et non autorisées, ainsi que de créer un ensemble de validation distinct, afin d’éviter de ne retenir que les échantillons d’entraînement.
• L’ajustement fin complet consomme beaucoup de ressources ; les développeurs peuvent choisir des méthodes efficaces en fonction de la tâche, mais doivent eux-mêmes vérifier la mise en œuvre et les résultats.
• Lors de la républication de modèles, de code ou de services, il convient de conserver les mentions exigées par la licence et de réévaluer les responsabilités relatives aux données, à la marque et au contenu généré.

Prix et coûts d’utilisation

Le fait que les fichiers de modèle puissent être téléchargés gratuitement ne signifie pas que leur déploiement est sans coût, ni qu’ils confèrent des crédits d’inference sur le cloud public vivo. Le téléchargement open source ne soulève pas de problèmes de remboursement en cas d’abonnement, tandis que les remboursements pour les serveurs cloud, le stockage et l’hébergement de modèles tiers doivent être gérés conformément aux règles des prestataires correspondants.

Différences entre API, SDK et plateforme

Licences open source et usage commercial

• En décembre 2024, le dépôt officiel de BlueLM a mis à jour la licence du modèle en licence Atom Open.
• Les conditions du dépôt autorisent les développeurs à l’utiliser pour des recherches académiques et des applications commerciales, mais toute utilisation commerciale doit néanmoins respecter l’intégralité des conditions de la licence ainsi que les lois applicables.
• La licence ne couvre que les modèles et matériaux explicitement fournis par l’entrepôt, et ne couvre pas automatiquement la marque vivo, les applications pour consommateurs, les services cloud ou d’autres modèles non mis à disposition.
• Lors de l’utilisation de données tierces, d’ensembles de micro-ajustement, de cadres d’inférence et de dépendances, il est également nécessaire de respecter respectivement leurs licences et leurs règles relatives aux informations personnelles.
• Avant de préparer une nouvelle distribution du modèle, de fournir des services d’hébergement ou de l’incorporer dans des équipements commerciaux, le service juridique doit vérifier les déclarations, les droits de propriété, les restrictions et les clauses de responsabilité.

Considérations sur la vie privée, la sécurité et les droits d’auteur

• Le déploiement local permet de conserver les prompts et les documents dans un environnement sous le contrôle de l’utilisateur, mais les journaux, la surveillance, le stockage d’objets et les outils externes peuvent encore transmettre des données.
• Le téléchargement depuis le site de hébergement de modèles et l’utilisation des services dans l’application vivo sont respectivement soumis aux politiques de compte, aux cookies, aux journaux d’activité et à la politique de confidentialité de la plateforme correspondante.
• Avant de charger un modèle contenant du code distant personnalisé, il convient d’examiner le code, de fixer sa version et d’isoler l’environnement de exécution afin de réduire les risques liés à la chaîne d’approvisionnement.
• Les API externes nécessitent une authentification, un contrôle du débit, des limites de longueur des entrées, un masquage des informations sensibles, une isolation des outils dangereux et un blocage des sorties anormales.
• Le modèle peut générer des faits erronés, des biais, des conseils nuisibles, du texte similaire ou du code non sécurisé ; il doit faire l’objet d’une révision manuelle avant sa publication et son exécution.
• Les entrées des utilisateurs, les données de fine-tuning et les résultats générés peuvent faire l’objet de droits d’auteur, de secrets commerciaux et de données personnelles ; le prestataire doit donc mettre en place des procédures de suppression et de traitement des réclamations.

Adapté aux utilisateurs et aux scénarios

• Établissements d’enseignement supérieur et équipes de recherche : répétition d’expériences, évaluation des compétences en chinois, étude de textes longs et appel d’outils.
• Développeur d’entreprise : Créer des prototypes de QRC, d’extraction de texte, d’écriture ou d’aide au codage dans son propre environnement.
• Équipe sensible à la vie privée : le chemin des données est contrôlé par un déploiement local, mais toute stockage et dépendance externe doivent néanmoins faire l’objet d’une audit.
• Personnes disposant de ressources matérielles limitées : expérimenter le modèle de dialogue 7B avec 4 bits ou d’autres versions quantisées.
• Développeurs de l’écosystème vivo : évaluer les API avancées d’IA côté appareil, mais il est nécessaire de les concevoir en fonction de la version du système et des modèles compatibles.

Avantages et limites

Avantages principaux

• Base publique, dialogue, 32K et plusieurs versions quantitatives, facilitant la validation progressive, de la recherche à l’application locale.
• Fournit des exemples d’API pour le raisonnement, le micro-ajustement, vLLM et le format OpenAI, afin de réduire les efforts nécessaires à la mise en place de l’infrastructure de base.
• Le chinois et l’anglais sont les langues principales d’entraînement, adaptés aux tâches de texte axées sur le chinois.

Restrictions d'utilisation

• La branche principale du dépôt open source est le modèle de texte 7B ; on ne peut pas considérer l’ensemble des capacités du grand modèle BlueHeart comme des poids téléchargeables.
• La publication des dates de mise à jour du modèle, des dépendances du framework et des exigences en matière de matériel peut être en retard par rapport à l’écosystème le plus récent ; il est donc nécessaire de fixer une version compatible lors du déploiement.
• Le contexte 32K et l’appel de fonctions ne garantissent pas automatiquement une précision des textes longs ou la sécurité des outils ; une gestion d’ingénierie complète reste nécessaire du côté de l’application.
• Le rapport technique BlueLM-2.5-3B ne signifie pas que les poids du modèle sont désormais accessibles ; il ne faut donc pas s’engager à le télécharger ou à l’installer localement sur cette base.

Questions fréquentes

Le grand modèle BlueHeart BlueLM est-il open source ?

Partiellement open source. La version de base, la version conversationnelle, la version 32K et la version quantisée de BlueLM-7B ont été rendues publiques par les développeurs officiels, mais toute la matrice de modèles BlueHeart de vivo, ainsi que les applications grand public et les fonctionnalités système, ne sont pas entièrement open source.

Le modèle BlueLM peut-il être utilisé à des fins commerciales gratuitement ?

Les fichiers de modèles peuvent être téléchargés gratuitement, et le dépôt accueille les applications commerciales, à condition de respecter la licence OpenAtom Model License ainsi que les lois applicables. Les coûts liés au déploiement des ressources de calcul, à l’autorisation des données, à l’exploitation et à la conformité incombent à l’utilisateur.

Quelle longueur de contexte BlueLM prend-il en charge ?

La version standard 7B utilise un contexte de 2 K, tandis que Base-32K et Chat-32K prennent en charge 32 K. Un contexte plus long augmente la mémoire vidéo et les délais, sans garantir que chaque détail puisse être extrait avec précision.

BlueLM propose-t-il une API en ligne ?

L’entrepôt fournit des exemples d’API au format OpenAI pouvant être déployés par soi-même, et non des API du cloud public vivo. La plateforme ouverte vivo dispose également de capacités d’IA côté appareil ; les conditions d’accès et les frais doivent être vérifiés dans la documentation correspondante.

Quelle est la mémoire vidéo minimale requise pour BlueLM ?

Un exemple officiel du modèle de dialogue 4bits nécessite environ 5 Go de mémoire vidéo. D’autres versions dépendent de la précision, du contexte, de la taille des lots et du framework ; une mise en œuvre en production doit être déterminée par des tests pratiques.

BlueLM prend-il en charge l’entrée d’images ?

Le dépôt open source officiel actuel de BlueLM-7B est un modèle de texte ; il n’est pas possible d’utiliser directement les résultats de recherches multimodales ultérieurs comme poids d’image publiés. Pour les tâches d’image, il faut vérifier si le modèle spécifique est rendu public.

Le modèle BlueHeart QianXun est-il identique au modèle open source BlueLM ?

Ce n’est pas pareil. BlueHeart QianXun est une application destinée aux consommateurs, tandis que le projet open source BlueLM propose des modèles et du code à télécharger et à déployer par les développeurs ; leurs fonctionnalités, politiques de données, versions et licences sont indépendantes les unes des autres.

Résumé

Le grand modèle BlueHeart BlueLM est adapté aux développeurs ayant besoin de capacités en chinois, de textes longs, d’un déploiement quantifié et d’une API locale. Lors du choix, il convient d’abord de distinguer la matrice BlueHeart globale de la série 7B publique, puis de sélectionner la version en fonction du contexte, de la mémoire vidéo et de la tâche, et d’effectuer une vérification des licences, des données, des sorties et de la sécurité avant utilisation commerciale.