Aporia

Qu’est-ce qu’une aporie ?

Aporia est une plateforme d’observabilité et de Guardrails conçue pour les applications d’IA en production, qui servait auparavant à la fois l’apprentissage automatique traditionnel et l’IA générative. Elle met en œuvre des stratégies de sécurité entre les entrées et les sorties des modèles, et enregistre les sessions, les incidents de violation et les performances des modèles.

Aporia a été rachetée par Coralogix en décembre 2024, et son équipe ainsi que ses technologies ont été intégrées à Coralogix AI. Pour les achats actuels et l’acquisition de nouvelles capacités, le Coralogix AI Center constitue la porte d’entrée principale.

État actuel du produit

• Le site web de la marque Aporia conserve toujours les informations sur les produits et les documents historiques.
• Les anciennes technologies Guardrails et d’observabilité ont été intégrées à Coralogix.
• Le Coralogix AI Center présente de manière unifiée les performances, la qualité, la sécurité et la gouvernance de l’IA.
• L’ancien responsable de l’équipe Aporia continue de participer aux produits d’IA de Coralogix.
• Les nouveaux clients doivent confirmer la migration, le support et l’entité contractuelle.
• Les anciens tutoriels et les anciens prix ne peuvent pas être considérés directement comme la solution actuelle.

Qu’est-ce que AI Guardrails ?

Les Guardrails sont des couches de vérification indépendantes qui s’exécutent avant que les entrées de l’utilisateur n’atteignent le grand modèle, ainsi qu’avant que les résultats du modèle ne soient renvoyés à l’utilisateur. Elles peuvent autoriser, bloquer, remplacer ou réécrire du contenu, permettant ainsi d’éviter de devoir intégrer toutes les règles de sécurité dans les prompts du système.

Capacité de protection principale

• Détection d’injection de prompts et de tentatives de jailbreak.
• Identifier et traiter les informations d’identité personnelle.
• Vérifier la toxicité, la haine, la violence et le contenu inapproprié.
• Détecter si la réponse dépasse le sujet autorisé ou restreint.
• Aide à détecter les hallucinations dépourvues de contexte.
• Appliquer les politiques de l’entreprise à l’aide de règles personnalisées.
• Des stratégies différentes sont configurées pour l’entrée et la sortie respectivement.

Protection contre l’injection de prompts

La stratégie d’injection de prompts est utilisée pour détecter les entrées qui tentent de surcharger les instructions du système, de voler le contexte ou d’amener l’outil à dépasser ses prérogatives. Elle permet de réduire les risques, mais ne peut pas garantir la suppression de tous les nouveaux types d’attaques.

Illusions et vérification de la justesse

La plateforme peut évaluer, en se basant sur le contexte fourni, si une réponse est étayée, ou utiliser des stratégies d’évaluation pour marquer les résultats suspects. Les faits du monde réel, les conclusions professionnelles et les informations en temps réel nécessitent encore des sources de données fiables et une vérification manuelle.

Protection des informations sensibles

• Détecter les informations personnelles dans les entrées de l’utilisateur.
• Empêcher le modèle de produire des données qui ne doivent pas être divulguées.
• Masquer ou réécrire des champs spécifiques.
• Enregistrer les raisons de déclenchement de la stratégie et les actions à effectuer.
• Distinction des règles de protection des données par application.
• Intégration aux processus de confidentialité existants de l’entreprise.

Politique de sécurité du contenu

• Restreindre le contenu violent, sexuel, haineux et harcelant.
• Définir les sujets autorisés et interdits selon les paramètres de l’entreprise.
• Transformer les réponses à haut risque en réponses sûres.
• Bloquer les requêtes manifestement malveillantes à l’entrée.
• Intercepter le contenu hors contrôle du modèle à la sortie.
• Entraîner des limites métier personnalisées à l’aide d’exemples.

Guardrails personnalisés

L’équipe peut établir des règles personnalisées en fonction de la politique commerciale, et utiliser des exemples positifs et négatifs pour indiquer ce qui doit être autorisé ou interdit. Les stratégies personnalisées conviennent aux termes sectoriels, aux normes de marque et aux processus internes, mais il est nécessaire de tester en continu les faux positifs et les faux négatifs.

Sécurité multimodale

Aporia a publiquement soutenu Guardrails pour les scénarios d’IA textuelle, graphique et audio. Les formats d’entrée, modèles et stratégies actuellement pris en charge doivent être confirmés dans l’environnement de produit Coralogix.

Observabilité des applications d’IA

• Suivre les prompts, les réponses et les appels d’outils.
• Voir les retards, les erreurs, les tokens et la consommation.
• Analyser les variations de qualité entre différents modèles et versions.
• Diagnostiquer les problèmes par application, session et chemin d’utilisateur.
• Taux de déclenchement des stratégies de détection et types de risque.
• Associer l’exécution de l’IA à la télémétrie des applications traditionnelles.

Session Explorer

La fonction de consultation des sessions permet de visualiser les conversations successives, les décisions stratégiques et les résultats finaux du traitement. L’équipe peut identifier les problèmes au sein d’une seule session utilisateur, plutôt que de se contenter des graphiques de synthèse.

Surveillance du apprentissage automatique traditionnel

• Dérive des données de surveillance et dérive conceptuelle.
• Détecter les valeurs manquantes, les valeurs anormales et les problèmes d’intégrité des données.
• Suivre l’évolution de la performance du modèle dans le temps.
• Comparer la performance des groupes de segmentation et des dimensions métier.
• Utiliser la capacité d’interprétation pour prédire les anomalies.
• Déclencher une alerte ou un flux de travail de traitement automatique.

À qui s’adresse-t-il

• Équipe d’ingénierie prête à mettre l’IA générative en production.
• Les entreprises qui doivent surveiller la qualité des réponses RAG.
• Produits d’IA pour le traitement des données clients et de contenus sensibles.
• Il est nécessaire d’unifier l’observabilité de l’IA et des applications au sein de l’organisation.
• Équipe de plateforme pour gérer plusieurs modèles et agents intelligents.
• Équipes de données nécessitant une surveillance du dérive en apprentissage automatique traditionnel.

Scénarios d'utilisation typiques

• Pour empêcher les robots de service client de divulguer des informations sensibles.
• Détection de l’injection de prompts dans les assistants à la connaissance d’entreprise.
• Restreindre les assistants financiers ou médicaux à répondre aux questions qui sortent de leur champ d’action.
• Suivre les appels des outils des agents intelligents IA et les raisons des échecs.
• Évaluer si les réponses RAG sont soutenues par le contexte.
• Surveiller le dérive des données des modèles de crédit, de recommandation et de contrôle des risques.
• Relier les anomalies de l’IA aux journaux d’application et aux problèmes d’infrastructure.

Quand cela ne convient pas vraiment

• Utilisateurs qui ne font que des conversations personnelles et n’ont pas besoin de surveillance de la production.
• On espère que Guardrails remplacera l’audit manuel dans les activités à haut risque.
• Équipes ayant besoin d’un moteur de sécurité open source complet et à déployer hors ligne.
• Prototypes initiaux sans identifiant de journal et d’application unifié.
• Clients qui souhaitent uniquement acheter le forfait indépendant Aporia ancien.
• Équipe manquant de personnel pour assumer les tests continus de stratégie et les opérations.

Tutoriel d’accès à Guardrails

1. Listez les types de données que les applications d’IA recevront et généreront.
2. Identifier les risques qui doivent être empêchés, modifiés, enregistrés et transférés manuellement.
3. Intégrez le SDK ou l’agent Guardrails actuel dans le projet de test.
4. Activez d’abord un petit nombre de stratégies prédéfinies et utilisez la répétition d’échantillons historiques.
5. Statistiques des faux positifs, des faux négatifs et des retards pour chaque stratégie.
6. Ajouter des exemples d’acceptation et de refus pour les règles métier.
7. Activez le blocage uniquement après validation par le mode d’observation.
8. Après le lancement, vérifier en continu les tendances de déclenchement des sessions et des stratégies.

Tutoriel sur la configuration de la protection contre l’injection de prompts

1. Collecter des exemples de fuites de mémoire connues, d’overwriting d’instructions et de vol de données.
2. Distinguer les commandes des utilisateurs ordinaires des véritables actes d’attaque.
3. Activer la stratégie d’injection de prompts à l’entrée.
4. Définir l’enregistrement ou le transfert à un agent pour les événements à faible confiance.
5. Configurer le blocage et la réponse de sécurité pour les attaques à haute confiance.
6. Tester les variantes multilingues, de codage et d’injection indirecte.
7. Vérifier que le blocage ne perturbe pas les requêtes de service normales.
8. Élargir régulièrement l’ensemble de test en fonction des journaux d’attaques.

Tutoriel pour la création de surveillance par IA

1. Créer des identifiants de projet et d’environnement distincts pour chaque application d’IA.
2. Collecte des prompts, des réponses, des délais, des tokens et des messages d’erreur.
3. Masquez d’abord les champs sensibles selon les besoins.
4. Définir les indicateurs de qualité, de sécurité, de coût et de performance.
5. Définir le responsable de l’application et les destinataires des alertes.
6. Relier les sessions anormales aux journaux d’application et aux versions publiées.
7. Mettre en place un processus d’analyse des problèmes et de mise à jour des stratégies.
8. Évaluer mensuellement l’efficacité de la protection et la consommation des unités IA.

Mode de facturation actuel

Après l’acquisition d’Aporia, l’évaluation par l’IA de Coralogix actuel et l’utilisation de Guardrails se facturent en unités AI. Les unités AI sont calculées séparément des quotas de journalisation, d’indicateurs et de traçage de requêtes ; l’évaluation et la protection consomment généralement des tokens traités ainsi que selon le type de fonctionnalité.

Description des prix et des versions

Comment les unités d’IA comprennent-elles

Les unités AI sont des pools de consommation indépendants mis en place par Coralogix pour les fonctionnalités d’IA, et ne peuvent pas être échangées contre des unités de journaux, de métriques ou de suivi. L’envoi de données de liaison AI est facturé selon les tarifs habituels de suivi ; seuls la mise en œuvre d’évaluations ou de Guardrails entraîne une consommation supplémentaire correspondante liée aux fonctionnalités d’IA.

Que faut-il vérifier avant d’acheter

• Méthode de migration des comptes Aporia existants et de conservation des données.
• Modèles, langages et types d’entrée pris en charge par Guardrails.
• Quantité d’IA gratuite, prix pour dépassement et contrôle du budget mensuel.
• Coût additionnel des journaux, des traces et des unités d’IA.
• Régions de données, accords de confidentialité et certifications de sécurité.
• Niveaux de support, SLA et processus de réponse aux incidents.
• Plan de migration des anciens SDK vers Coralogix AI Center.

Faux positifs et faux négatifs

• Une stratégie trop stricte peut empêcher les demandes des utilisateurs normaux.
• Une stratégie trop laxiste pourrait laisser passer de nouveaux types d’attaques.
• Les termes multilingues et sectoriels peuvent affecter la précision de la classification.
• Un contexte long peut augmenter les délais et la difficulté de jugement.
• La détection des hallucinations dépend du contexte de référence disponible.
• L’efficacité de la stratégie doit être évaluée à l’aide d’échantillons réels de l’activité commerciale.

Performance et latence

Les garde-fous ajoutent des traitements supplémentaires dans la chaîne de modèles, il convient donc de mesurer la valeur moyenne, le retard à l’extrémité et le comportement de dégradation en cas de panne. Les applications critiques doivent également décider s’il faut refuser les requêtes ou les autoriser temporairement en cas d’indisponibilité des services de protection.

Confidentialité et traitement des données

• Les prompts et les réponses peuvent contenir des informations sur les clients et le personnel.
• Avant de collecter les sessions, il convient de déterminer les champs minimum nécessaires.
• Masquer à l’avance les mots de passe, les tokens et les informations de paiement.
• Restreindre qui peut consulter la session complète.
• Définir les processus de conservation, de suppression et d’audit des données.
• Les données transfrontalières ou réglementées nécessitent une vérification du contrat et de la région.

Frontière de sécurité

Les garde-fous font partie de la défense en profondeur et ne peuvent pas remplacer l’authentification, le contrôle d’accès, l’autorisation des outils, l’isolement réseau et l’approbation manuelle. Même si la politique de contenu est validée, les agents peuvent encore effectuer des opérations dangereuses en raison de droits incorrects.

API et capacités d’intégration

Aporia initiale permettait d’accéder aux applications d’IA générative via un SDK ou un proxy, et pouvait être intégrée à des chaînes de appel compatibles avec OpenAI. Actuellement, le Coralogix AI Center assure la surveillance et la protection par l’intermédiaire de liens IA, de SDK et de stratégies de plateforme ; les interfaces spécifiques doivent se référer au document en vigueur.

GitHub et l’état open source

L’organisation officielle GitHub d’Aporia conserve les outils d’importation, les projets de exemple et les ressources MLOps, mais la plateforme principale Guardrails n’est pas un produit entièrement open source. La licence des SDK et des exemples publics ne s’étend pas automatiquement aux moteurs de détection hébergés.

Avantages du produit

• Mettre en œuvre une protection en temps réel des deux côtés de l’entrée et de la sortie du modèle.
• Couvre l’injection de prompts, les informations sensibles et la sécurité du contenu.
• Prend en charge les stratégies prédéfinies et les règles personnalisées par l’entreprise.
• Fournit une analyse de détection au niveau de la session et de déclenchement de stratégies.
• Prendre en compte à la fois l’IA générative et le suivi de l’apprentissage automatique traditionnel.
• Après intégration dans Coralogix, il est possible de relier la télémétrie des applications et de l’infrastructure.

Restrictions d'utilisation

• Aporia a été rachetée, les points d’accès aux produits et les contrats ont changé.
• Les tests de sécurité ne peuvent pas atteindre zéro faux positifs et zéro faux négatifs.
• La stratégie augmentera le retard et les coûts supplémentaires en unités d’IA.
• L’évaluation des hallucinations dépend du contexte et de la définition de la tâche.
• Les décisions à haut risque nécessitent toujours une supervision humaine.
• La plateforme de détection et d’hébergement du noyau n’est pas open source.
• Les documents anciens et les forfaits anciens ne sont peut-être plus applicables aux nouveaux clients.

Informations de base

Indice de recommandation

L’indice de recommandation global est de 4,2 sur 5. La technologie Guardrails d’Aporia convient à la sécurité et au suivi de l’IA en production, mais les nouveaux utilisateurs devraient évaluer directement le Coralogix AI Center et prendre en compte la précision des stratégies, les délais et les coûts de consommation dans leur projet pilote.

Questions fréquentes

Aporia est-il encore utilisable ?

Les technologies associées sont encore utilisées, mais elles font actuellement partie principalement du Coralogix AI Center.

Qui a racheté Aporia ?

En décembre 2024, Coralogix a annoncé l’acquisition d’Aporia.

À quoi peut servir l’Aporia Guardrails ?

Il peut aider à détecter des risques tels que l’injection de prompts, les informations sensibles, le contenu toxique, les dérives de sujet et les hallucinations.

Les garde-fous peuvent-ils garantir la sécurité de l’IA ?

Non, il doit être utilisé en conjonction avec le contrôle des droits d’accès, la surveillance, les tests et l’examen manuel.

Comment est facturé maintenant ?

Dans Coralogix, l’évaluation et Guardrails sont principalement facturées au moyen d’unités AI indépendantes.

Y a-t-il une limite gratuite ?

Le plan gratuit comprend une limite mensuelle d’IA, qui est réinitialisée et soumise aux règles du compte.

Prend-il en charge l’apprentissage automatique traditionnel ?

Historiquement, Aporia a offert un suivi de la dérive, de la qualité des données, de la performance et de l’interprétabilité.

Aporia est-elle open source ?

La plateforme principale n’est pas open source ; le GitHub officiel ne met en ligne que certains outils, exemples et ressources.

Pourquoi encore une vérification manuelle ?

Les tests peuvent entraîner des faux positifs et des faux négatifs ; les activités à haut risque ne peuvent pas confier la responsabilité finale à une seule règle automatique.