Jan

Qu’est-ce que Jan ?

Jan est un outil gratuit et open source pour des conversations IA locales et l’exécution de grands modèles de langage, conçu comme une alternative à ChatGPT pouvant être utilisée hors ligne. Les utilisateurs peuvent télécharger les modèles sous Windows, macOS ou Linux afin de mener des conversations et des raisonnements directement sur leur propre ordinateur.

Il est également possible de configurer des API de modèles distants tels que OpenAI, Anthropic, Google, Groq, OpenRouter, etc., et de passer d’un modèle local à un modèle cloud depuis la même interface.

Jan ne propose pas un véritable « modèle ChatGPT hors ligne », mais exécute Qwen, Llama, les modèles développés par Jan ou d’autres poids open source compatibles. Les capacités dépendent du modèle téléchargé, de sa version quantifiée, ainsi que de la mémoire de l’ordinateur et de la carte graphique.

Il convient aux utilisateurs qui accordent de l’importance à la vie privée, au travail hors ligne, à la liberté des modèles et aux API locales.

Fonctionnalités clés de Jan

Exécuter de grands modèles en mode hors ligne localement

Jan exécute des modèles localement à l’aide de backends tels que llama.cpp et Apple MLX. Les utilisateurs peuvent télécharger des versions adaptées à leur matériel depuis le centre de modèles, ou importer des modèles compatibles.

Les fichiers de modèle sont enregistrés sur l’appareil ; une fois le téléchargement terminé, il est possible de discuter sans Internet, et les inférences ne génèrent pas de frais API par utilisation.

Local ne signifie pas nécessairement plus rapide. La taille du modèle, la quantification, la longueur du contexte, le CPU, le GPU, la bande passante mémoire et les processus en arrière-plan influencent tous la vitesse.

Choisir un modèle trop grand peut entraîner une erreur de chargement, des réponses lentes ou un contexte compressé.

Interface unifiée des modèles cloud

Si le matériel local est insuffisant, il est possible d’ajouter les clés API de services tels que OpenAI, Anthropic, Gemini, Mistral, Groq ou des services compatibles avec OpenAI à Jan. Les modèles cloud s’exécutent sur les serveurs du fournisseur, nécessitent une connexion réseau et sont facturés selon les tarifs du fournisseur correspondant.

Jan ne rendra pas ces API commerciales gratuites par eux-mêmes.

Projets et Assistants

Projects est utilisé pour gérer de manière centralisée les conversations, les fichiers et les instructions partagées, tandis qu’Assistants conserve les rôles, les comportements et les préférences. Les utilisateurs peuvent créer des assistants distincts pour l’écriture, le codage, l’apprentissage ou les réponses à des questions sur des documents internes, afin d’éviter de devoir entrer à nouveau les informations de base à chaque fois.

La mémoire à long terme et le téléchargement de fichiers exigent toujours une attention portée aux données sensibles et à la longueur du contexte.

Agents et Jan CLI

Jan CLI permet de charger des modèles depuis la terminal, de lancer des services locaux compatibles avec OpenAI, d’afficher les modèles et les threads de conversation, ainsi que de connecter des modèles locaux à des agents d’encodage ou d’automatisation compatibles. `jan serve` fournit par défaut une interface sur le port local, tandis que `jan launch` permet de sélectionner un modèle et de lancer les workflows d’agents pris en charge.

CLI partage les modèles et les dossiers de données avec les applications de bureau.

API locale compatible OpenAI

Jan peut exposer le modèle local via une API compatible OpenAI ; les applications n’ont qu’à modifier l’URL de base et l’ID du modèle pour pouvoir l’appeler. Le service permet de définir le port, le préfixe API, la clé API, les hôtes fiables, les délais d’expiration des requêtes et CORS.

Par défaut, il est plus sûr de se limiter à l’ordinateur local ; si l’on le lie à toutes les cartes réseau, il est nécessaire de définir une clé forte, un pare-feu et des hôtes fiables.

Appel d’outil MCP

Jan peut servir d’hôte MCP pour se connecter à des fichiers locaux, des navigateurs, des bases de données ou des outils API personnalisés. Avant l’appel de l’outil, les paramètres que le modèle est prêt à transmettre sont affichés, afin que l’utilisateur puisse les approuver ou les refuser.

Bien qu’il soit possible d’activer « Autoriser toutes les outils », cela augmente considérablement les risques d’injection de prompts et d’erreurs d’utilisation, en particulier lorsque les outils ont accès au navigateur enregistré, aux fichiers ou à la ligne de commande.

Tous les modèles locaux ne sont pas doués pour l’appel d’outils. Avant d’utiliser MCP, il convient de choisir un modèle qui prend en charge explicitement les appels d’outils, et de tester individuellement les paramètres de l’outil ainsi que son format de retour.

Confidentialité et données locales

Lors de l’utilisation d’un modèle local, les prompts et les réponses sont principalement stockés sur le dispositif ; l’utilisateur peut commencer sans devoir créer un compte cloud.

Après la connexion à un modèle distant, à un MCP externe ou à une recherche en réseau, les données correspondantes sont envoyées au tiers concerné ; par conséquent, le fait que « Jan accorde de l’importance à la vie privée » ne signifie pas que toutes les utilisations soient entièrement hors ligne.

Avant d’installer les extensions et les services MCP, il convient également de vérifier l’origine et les permissions.

Comparaison des prix et des modes de fonctionnement de Jan

Les applications de bureau et la CLI de Jan sont gratuites, tandis que le dépôt officiel est soumis à la licence Apache 2.0. Les modèles locaux peuvent généralement être exécutés gratuitement, mais l’utilisateur doit assumer les coûts liés au matériel, à l’électricité et au stockage.

Les modèles cloud sont facturés séparément par chaque fournisseur d’API.

Exigences matérielles et sélection du modèle

Selon les recommandations officielles, il convient de réserver environ 5 Go ou plus de espace disque par modèle, ainsi que suffisamment de mémoire disponible équivalant à environ le double de la taille des fichiers du modèle. Cela dépend en réalité de la quantification, du contexte, du cache KV et du backend ; il ne faut pas se baser uniquement sur le nombre de paramètres.

Tutoriel de téléchargement et d’installation pour Jan

1. Télécharger l’application :Choisissez le paquet d’installation Windows, macOS ou Linux sur le site officiel de Jan.
2. Terminer le premier démarrage :L’application téléchargera le modèle de base par défaut ; il est également possible d’accéder au Hub pour choisir d’autres modèles.
3. Quantification selon le matériel :Testez d’abord la vitesse et la mémoire avec un modèle plus petit, puis augmentez progressivement le nombre de paramètres ou la précision.
4. Créer un dialogue :Sélectionnez un modèle local dans le sélecteur de modèles, saisissez le problème et observez les performances en termes de mémoire, de vitesse et de contexte.
5. Configurer le modèle cloud :Pour obtenir des capacités plus élevées, saisissez votre propre clé API dans Model Providers.
6. Activer l’API locale :Définissez l’adresse d’écoute, le port et la clé API, et n’ouvrez le réseau local que si c’est vraiment nécessaire.
7. Connecter le MCP :Installez un serveur fiable, sélectionnez un modèle prenant en charge l’appel d’outils, et maintenez l’approbation étape par étape.

Guide d’utilisation de Jan AI

Créer des flux de travail professionnels réutilisables

1. Utiliser des clés et des quotas différents pour les environnements de développement, de test et de production ;
2. Exécuter les grands modèles en mode hors ligne local, avec une interface unifiée pour les modèles cloud, et créer des ensembles d’évaluation représentatifs pour Projects et Assistants ;
3. Définir les délais d’attente, la concurrence, les tentatives de réessai, le throttling et les plafonds budgétaires ;
4. Effectuer des vérifications sur la sortie en ce qui concerne les faits, la sécurité, le format et les informations sensibles ;
5. Surveiller les changements de version, de prix, de délai et de taux d’échec des modèles de surveillance ;
6. Préparer des plans de dégradation du modèle, de coupure et de prise en main manuelle ;

À qui s’adresse-t-il

• Utilisateurs individuels qui souhaitent discuter hors ligne et conserver les données autant que possible sur leur ordinateur ;
• Les amateurs d’IA qui ont besoin de comparer plusieurs modèles locaux et cloud ;
• Développeurs souhaitant fournir des interfaces locales compatibles avec OpenAI pour leurs propres applications ;
• Équipe capable de gérer les documents internes, le code et les données privées, mais pouvant également assurer elle-même la sécurité des équipements ;
• Les utilisateurs avancés qui souhaitent ajouter des outils de fichiers, de navigateur et de données à leur assistant local via MCP.

Avantages et précautions

• Les avantages de Jan sont son open source gratuit, sa compatibilité multiplateforme, l’absence de compte requis, la priorité donnée au fonctionnement local, ainsi que le regroupement de la gestion des modèles, de la messagerie, de la CLI, de l’API et du MCP dans une application unique.
• L’utilisateur peut soit travailler complètement hors ligne, soit basculer selon les tâches vers un modèle cloud plus puissant ;
• Les modèles locaux peuvent encore générer des informations erronées ; on ne peut pas les considérer comme fiables simplement parce qu’ils sont hors ligne.
• La licence du modèle est également séparée de la licence logicielle Jan ; il convient de vérifier les clauses relatives aux poids spécifiques avant une utilisation commerciale.
• MCP et les API de réseau local élargissent la surface d’attaque ; il ne faut pas approuver à l’avance des outils inconnus ou exposer des services sans mot de passe.
• Lorsqu’il s’agit de documents importants, il convient de faire une sauvegarde du répertoire de données Jan et de protéger les connexions au dispositif ainsi que le chiffrement du disque ;

Questions fréquentes

Jan AI est-il gratuit ?

L’application Jan, la CLI et l’inférence locale sont gratuites. Une fois connectés à des modèles cloud tels que OpenAI ou OpenRouter, les frais sont facturés par le fournisseur d’API correspondant.

Jan peut-il être complètement hors ligne ?

Oui. Il est possible de chatter hors ligne après avoir téléchargé à l’avance le modèle local.

Le téléchargement de modèles, l’appel d’API cloud, la recherche sur Internet et les MCP externes nécessitent un réseau.

Jan prend-il en charge les modèles chinois ?

Il est possible d’importer ou de télécharger des modèles compatibles dotés de capacités en chinois solides, tels que Qwen. La qualité du chinois dépend du modèle spécifique, de la quantification et des paramètres de contexte.

Jan peut-il servir d’API locale ?

Oui, des interfaces compatibles avec OpenAI peuvent être fournies pour être appelées par des scripts, des applications et des agents. Lors de l’accès au réseau local, il est nécessaire de définir une clé API ainsi que des restrictions réseau.

Jan est-il open source ?

Open source : le dépôt principal officiel sur GitHub utilise la licence Apache 2.0. Les modèles tiers téléchargés sont soumis à leurs licences respectives.