Denvr

Qu’est-ce que Denvr ?

Denvr est une plateforme d’infrastructure cloud pour l’IA et d’IA privée gérée par Denvr Dataworks Corp., dont le siège se trouve à Calgary, au Canada. Elle répond principalement aux besoins en puissance de calcul GPU, réseau, stockage et gestion opérationnelle nécessaires à l’entraînement des modèles, à leur micro-ajustement, à l’inference ainsi qu’à leur déploiement privé au sein des entreprises.

La plateforme propose à la fois des ressources cloud sur demande et une infrastructure dédiée, utilisables dans les régions du Canada et des États-Unis, et permet également de créer des environnements locaux pour les organisations ayant besoin de souveraineté des données, de faibles latences ou d’isolement. Il ne s’agit pas d’un chatbot universel ; les utilisateurs créent généralement des ressources de calcul via une console, une API ou des outils d’infrastructure, puis exécutent leurs propres modèles et charges de travail.

Composition du produit

Fonction principale

Calcul GPU et CPU

Les utilisateurs peuvent créer des nœuds avec une ou plusieurs GPU, et choisir entre du matériel bare metal, des machines virtuelles ou des conteneurs en fonction de la charge de travail. Le matériel actuel comprend les NVIDIA H200, GH200, H100, A100, A40 ainsi que l’Intel Gaudi2 ; les modèles disponibles varient selon la région, les stocks et les modes d’achat.

• Entraînement et fine-tuning : utilisation de GPU à grande mémoire vidéo, de plusieurs cartes NVLink ainsi que d’interconnexions haute vitesse pour traiter de grands modèles, des modèles visuels et des calculs scientifiques.
• Essais d’élasticité : exécuter temporairement des notebooks, des évaluations, du traitement de données ou des tâches de conversion de modèles via des instances sur demande.
• Cluster réservé : verrouillage de la capacité via des engagements sur plusieurs mois ou une année, adapté à l’entraînement continu, à l’inference en production et à un planification fiable.
• Charge de travail du CPU : Configurer des instances Intel ou AMD pour le prétraitement des données, l’orchestration des services, le calcul général et les composants qui n’ont pas besoin d’une GPU.
• Images d’apprentissage automatique : utilisation d’images préinstallées avec des pilotes, Docker et des frameworks courants pour réduire le temps de préparation de l’environnement de base.

Réseaux et stockage haute performance

Les nœuds multi-GPU peuvent être interconnectés via InfiniBand, RoCE et NVLink, etc. La bande passante spécifique dépend du modèle de l’instance. Les utilisateurs peuvent également configurer des disques NVMe locaux, des disques persistants ou des systèmes de fichiers partagés en réseau pour équilibrer vitesse, portée du partage et persistance.

• NVMe local : adapté au cache, aux données d’entraînement temporaires et aux fichiers intermédiaires à fort débit, mais il convient de vérifier le cycle de vie des données après la libération de l’instance.
• Disque persistant : stocke les données de manière indépendante des instances de calcul, idéal pour les poids des modèles, les ensembles de données et les fichiers de projets à long terme.
• Système de fichiers partagé : permet aux nœuds du cluster d’accéder au même espace de données, facilitant l’entraînement distribué et la collaboration d’équipe.
• Isolation du réseau : définir des limites d’accès via une VPC, un VPN, des adresses IP publiques ou privées, sans avoir à exposer tous les services au réseau public.

Étendue de traitement d’IA dédiée

L’inférence par IA déploye le modèle sur des GPU dédiés à un seul locataire ; il n’y a pas de facturation en fonction des tokens d’entrée ou de sortie, mais plutôt en fonction du temps de GPU utilisé. Les endpoints peuvent disposer d’une IP publique ou privée, et la compatibilité avec l’API OpenAI permet de réduire les coûts de migration des applications.

• Répertoire des modèles : Sélectionnez les modèles et le matériel listés sur la plateforme ; une fois démarré, vous obtiendrez des points de terminaison d’inférence pouvant être appelés par l’application.
• Modèles personnalisés : Déployer des modèles propriétaires, ouverts ou fine-tunés via le vLLM Server ou l’Ollama Server.
• Capacité stable : les GPU dédiés ne partagent pas les ressources de traitement inférentiel avec d’autres locataires, ce qui est idéal pour les services ayant des exigences précises en matière de latence et de débit.
• Caractéristiques des coûts : l’absence de limite de tokens ne signifie pas qu’il n’y a pas de frais ; des coûts en temps GPU continuent d’être générés pendant le fonctionnement de l’endpoint.
• Frontières de compatibilité : La compatibilité du format d’interface ne signifie pas que chaque paramètre, capacité du modèle ou champ de réponse soit identique à celui des autres services ; il convient de procéder à des tests avant la migration.

Notebook et applications interactives

La plateforme propose des applications prépackagées telles que Jupyter Notebooks et OpenWebUI, permettant aux développeurs d’accéder à un environnement interactif via leur navigateur. Les Notebooks conviennent pour l’expérimentation avec du code, des données et des modèles, tandis qu’OpenWebUI facilite pour les équipes la mise à l’épreuve des modèles déjà déployés via une interface de chat.

Ces applications continuent de fonctionner sur les ressources de calcul et de stockage choisies par l’utilisateur ; les frais, le contrôle d’accès ainsi que la manière de sauvegarder les données sont déterminés par les paramètres de configuration de base. Fermer la page du navigateur n’arrête pas nécessairement automatiquement l’instance ; il convient de vérifier l’état des ressources après utilisation.

Le flux de travail de l’enregistrement à la mise en œuvre

1. Créez un compte d’organisation et accédez à la console Web pour finaliser les paramètres du compte, des équipes et de la facturation.
2. Sélectionnez la région, le projet et la VPC, puis confirmez les exigences en matière de stockage des données, d’accès réseau et de capacité.
3. Choisissez une instance GPU ou CPU en fonction de la mémoire vidéo du modèle, de l’ampleur de l’entraînement, des objectifs de latence et du budget.
4. Sélectionnez une image d’apprentissage automatique, un Notebook, OpenWebUI ou une image personnalisée, puis montez un disque persistant ou un stockage partagé.
5. Configurer SSH, les clés, les permissions des utilisateurs, les adresses IP publiques ou privées, ainsi que les connexions de pare-feu et VPN nécessaires.
6. Télécharger des données et du code, ou récupérer les poids du modèle depuis un stockage contrôlé, puis exécuter des tâches d’entraînement, de fine-tuning ou de déploiement.
7. Surveiller et examiner les performances, la capacité et les anomalies par le biais des journaux, et automatiser les opérations répétitives à l’aide d’API, de CLI ou de Terraform.
8. Arrêter ou supprimer les ressources de calcul qui ne sont plus utilisées une fois la tâche terminée, tout en conservant les disques, les snapshots et les journaux vraiment nécessaires.

Processus de déploiement du service d’inférence

1. Vérifier la licence du modèle, le format des poids, la longueur du contexte, les besoins en mémoire vidéo et le nombre de connexions simultanées attendu.
2. Sélectionnez une version dans le répertoire des modèles, ou préparez un modèle personnalisé que le vLLM Server ou Ollama Server peuvent charger.
3. Sélectionnez le modèle de GPU, le nombre, la région ainsi que l’endpoint public ou privé, pour évaluer les coûts de fonctionnement continu.
4. Définissez l’authentification, les politiques de réseau et les clés ; ne mettez pas les identifiants d’accès dans le code front-end ou dans un dépôt public.
5. Créer une extrémité et effectuer des tests avec un client compatible avec l’API d’OpenAI pour un faible volume de données, afin de vérifier les paramètres, les réponses et le traitement des erreurs.
6. Tester d’abord le délai du premier token, le débit, la longueur du contexte et la limite de concurrence, avant de décider s’il faut augmenter les instances ou déployer plusieurs endpoints.
7. Surveiller en continu le temps de fonctionnement et l’utilisation de la GPU ; les services ayant un faible niveau d’utilisation peuvent voir leur capacité ajustée ou être arrêtés en fonction des besoins métier.

Prix et facturation

Le calcul est effectué selon les besoins et facturé par minute ; la page affiche un prix de référence par heure GPU ou par heure d’instance. La réservation de ressources sur plusieurs mois ou une année peut permettre d’économiser jusqu’à 20 %, mais la capacité disponible, la région, la durée du contrat et le prix final doivent faire l’objet d’une confirmation via la console ou une offre.

Sur la page du prix total, l’H100 est indiqué à 2,30 dollars, tandis que la page du produit AI Compute affiche 2,45 dollars ; par conséquent, il ne faut pas considérer les chiffres d’une seule page comme le prix fixe de vente pour tous les comptes. La région, les stocks, le cycle de règlement, les conditions de réservation et la date de mise à jour de la page peuvent influencer les résultats ; il convient de vérifier l’estimation du facture réelle avant de créer des ressources.

CPU, stockage et réseau

La page des prix actuels indique que les flux entrants et sortants sur Internet, l’IPv4 public, les passerelles VPN et les VPC sont gratuits, mais cela ne signifie pas que tous les réseaux personnalisés, les connexions inter-régionales ou les connexions privées soient sans frais. Les projets à grande échelle doivent avoir leurs coûts complets confirmés dans le cahier des charges et le contrat.

Montant du crédit d’entrepreneuriat et paiement

Le programme entrepreneurial AI Ascend offre une allocation cloud initiale de 1 000 dollars ; les équipes éligibles peuvent demander jusqu’à 500 000 dollars d’allocation de production. Ces allocations nécessitent une demande et une évaluation de l’éligibilité, et ne constituent pas des forfaits gratuits permanents accordés automatiquement à tous les nouveaux comptes.

• Les ressources à la demande peuvent être payées par carte de crédit prépayée, et les entreprises peuvent également demander une facture par virement bancaire.
• Les ressources réservées exigent généralement un engagement de temps ; la résiliation anticipée, les modifications de capacité et le traitement des montants non utilisés doivent se conformer à la commande.
• La page publique ne fournit pas d’engagement de remboursement uniforme pour tous les produits cloud ; il convient de vérifier les conditions de résiliation, de remboursement, d’SLA et d’interruption de service avant l’achat.
• Les endpoints de raisonnement sont facturés en fonction du temps GPU, et même si le volume des requêtes est faible, une facturation peut s’appliquer tant que l’endpoint reste en exécution.

API, SDK et statut open source

Denvr propose une API REST, des outils en ligne de commande, un SDK pour Python, un SDK pour Go et un fournisseur Terraform, qui peuvent être utilisés pour créer des clusters, des serveurs virtuels, des réseaux ainsi que des ressources d’application. Les équipes peuvent intégrer ces interfaces dans des processus de livraison continue, d’environnements expérimentaux et d’infrastructure en code.

Lors de l’utilisation d’un SDK ou d’un exemple, il convient de consulter la licence et les dépendances du répertoire de la version spécifique, et de ne pas considérer tous les projets au sein de l’organisation comme relevant de la même autorisation. Le déploiement de modèles tiers exige également le respect des conditions de licence relatives aux poids du modèle, au modèle de base, au jeu de données et au contenu généré.

Plateforme de support

Adapté aux utilisateurs et aux scénarios

• Équipe d’IA : Il est nécessaire d’obtenir rapidement des cartes de calcul telles que H100, A100, GH200, etc., pour l’entraînement, le fine-tuning et les évaluations.
• Développeur d’entreprise : souhaiter déployer des endpoints de modèles personnalisés compatibles avec l’API d’OpenAI, tout en contrôlant le matériel et le réseau.
• Organisations régulées : nécessitent une planification pour les régions du Canada ou des États-Unis, des réseaux privés, des environnements dédiés et le stockage des données.
• Équipe d’ingénierie de plateforme : souhaite gérer de manière unifiée les ressources de développement et de production à l’aide d’API, de CLI, de SDK ou de Terraform.
• Équipes de recherche et d’ingénierie : nécessitent des interconnexions à haute vitesse, un stockage partagé et des clusters multi-nœuds pour exécuter des charges de travail distribuées.
• Start-ups : qui répondent aux critères d’AI Ascend et ont besoin de crédits cloud en phase initiale, de support technique ou de ressources pour l’expansion de la production.

Avantage

• Il existe des solutions allant d’une seule GPU à des clusters multi-nœuds, pouvant couvrir les expérimentations, l’entraînement et l’inference en production.
• Les points de traitement par inférence utilisent des GPU dédiés monotenant, dont le coût est calculé en fonction du temps d’utilisation du matériel, ce qui facilite la planification de la capacité pour des charges très stables.
• Il offre en même temps une console web, des API, une CLI, des SDK et Terraform, adaptés aux équipes à différents niveaux de maturité.
• Les VPC, les adresses IP privées, les VPN et les data centers régionaux aident à mettre en place des solutions d’isolation et de résidence des données.
• Les produits d’IA privée peuvent être déployés sur des clouds dédiés ou des infrastructures locales, sans être limités aux instances de cloud public.

Restrictions et précautions

• La disponibilité des GPU dépend de la région, des stocks et des conditions de réservation ; le matériel indiqué sur la page ne garantit pas qu’il puisse être créé à tout moment.
• Les pages de produits diffèrent quant au prix unitaire du H100 ; le coût réel doit être confirmé dans la console, la commande ou la proposition de vente.
• Le raisonnement dédié est facturé en fonction du temps d’exécution ; les services à faible volume de requêtes peuvent être moins économiques que les services basés sur des tokens.
• Les informations publiques ne précisent pas de délais unifiés pour les remboursements, les annulations, les SLA et la suppression des données pour l’ensemble des produits.
• Les conditions du site et l’accord des produits cloud ne sont pas le même document ; les entreprises qui effectuent des achats doivent examiner le contrat de service réel ainsi que les conditions de traitement des données.
• Les contrôles SOC 2, les capacités de sécurité et les exigences relatives au lieu de stockage des données doivent être évalués en fonction de la région spécifique, du produit, de la configuration et de la portée du contrat.
• La qualité de la sortie de la plateforme dépend du modèle, de la version, des instructions, des données et des paramètres de raisonnement déployés par l’utilisateur ; l’infrastructure ne garantit pas l’exactitude des réponses fournies par le modèle.

Confidentialité, sécurité et utilisation commerciale

La plateforme gère les informations de compte et de contact de l’entreprise, les identifiants de connexion, la communication, le taux d’utilisation des ressources, les indicateurs du système ainsi que les informations sur les appareils et les navigations. Certains prestataires peuvent traiter les données au Canada, aux États-Unis ou dans d’autres juridictions ; l’entreprise doit vérifier les accords de traitement des données applicables et les exigences transfrontalières.

• Le client est responsable d’obtenir les autorisations légales nécessaires pour traiter les données qu’il télécharge, et ne doit pas soumettre de données personnelles sensibles en l’absence d’accords et de mesures de contrôle.
• La plateforme met en œuvre des mesures de sécurité administrative, technique et physique, et restreint l’accès aux personnes en fonction des besoins opérationnels, mais tout environnement cloud exige que les utilisateurs configurent correctement leurs identités, clés et réseaux.
• Le texte sur la confidentialité ne prévoit pas de délai fixe et uniforme pour la suppression, et les activités publiques peuvent persister même après la suppression du compte.
• La conservation des données d’entraînement, les poids de fine-tuning ainsi que l’enregistrement des journaux, leur sauvegarde, leur suppression et la réponse en cas d’incident doivent être clairement définis dans le contrat d’entreprise.
• La licence d’utilisation du contenu du site web ne peut pas remplacer l’autorisation commerciale relative aux données clients, aux modèles tiers ou aux résultats générés.
• La possibilité de commercialiser un modèle dépend des licences du modèle déployé, des dépendances et des données d’entraînement ; les services d’infrastructure de Denvr ne confèrent pas automatiquement ces droits.

Questions fréquentes

Denvr est-il un chatbot ?

Non. C’est une plateforme de calcul par IA, de raisonnement et d’infrastructure privée ; OpenWebUI n’est qu’une interface interactive pour expérimenter les modèles déployés.

Denvr a-t-il une version gratuite ?

Aucun niveau de calcul gratuit permanent destiné à tous les utilisateurs n’a été confirmé. AI Ascend propose des quotas sur demande aux équipes d’entrepreneurs remplissant les conditions, et ne peut pas être considéré comme un forfait gratuit universel offert automatiquement à la registration.

Le service de raisonnement est-il facturé au token ?

Les endpoints d’inférence d’IA dédiés ne sont pas facturés en fonction du nombre de tokens, mais en fonction du temps d’exécution sur la GPU. L’absence de limite de tokens ne signifie pas que c’est gratuit ; le fait que l’endpoint reste en ligne peut continuer à engendrer des frais.

Quel est le prix actuel de l’H100 ?

La page du prix total indique 2,30 dollars par heure de GPU, tandis qu’une autre page du produit affiche 2,45 dollars par heure. Avant de créer la commande, il convient de se référer à la région sélectionnée, à la console de compte ou à la proposition officielle de prix.

Peut-on déployer ses propres modèles ?

Il est possible de déployer des modèles personnalisés, ouverts ou fine-tunés via le vLLM Server ou l’Ollama Server. L’utilisateur doit néanmoins vérifier la compatibilité du format, les besoins en mémoire vidéo et la licence du modèle.

L’interface est-elle identique à l’API d’OpenAI ?

Les endpoints de raisonnement adoptent un format d’appel compatible, ce qui facilite la réutilisation des clients courants. Les modèles spécifiques, les paramètres, les champs de retour, les débits et le comportement en cas d’erreur doivent néanmoins être confirmés par des tests.

Denvr est-il une plateforme open source ?

Il n’a pas été vérifié si la plateforme cloud elle-même est open source. Les SDK Python, Go, Terraform Provider ainsi que certains dépôts d’exemples ont leur code ouvert et sont licenciés sous les licences MIT ou Apache-2.0, ces licences ne couvrant que les projets correspondants.

Y a-t-il des applications mobiles ou des extensions de navigateur ?

Aucune application officielle pour iOS, Android ou extension de navigateur n’a été confirmée pour l’instant. Les points d’accès vérifiés sont principalement la console web, l’API, la CLI, le SDK et Terraform.

Les données de l’entreprise seront-elles stockées au Canada ?

La plateforme propose des options de déploiement dans les régions du Canada et des États-Unis ainsi que des déploiements privés, mais l’emplacement réel des données dépend de la région, du service, des sauvegardes et des arrangements avec le fournisseur choisis. Les organisations ayant des exigences strictes en matière de localisation doivent les confirmer une par une dans l’architecture et le contrat.

Résumé

Denvr convient aux équipes ayant besoin d’une GPU dédiée, d’inférence privée, d’une région au Canada ou d’un contrôle total sur l’infrastructure. Lors du choix, il convient de comparer en même temps la disponibilité du matériel, les coûts de fonctionnement continu, les frais de réseau et de stockage, les licences des modèles, ainsi que les clauses de sécurité, de suppression et de remboursement prévues dans le contrat.