Aporia

Was ist Aporie?

Aporia ist eine Plattform für Überwachungsfunktionen und Sicherheitsregeln, die für die Entwicklung von KI-Anwendungen konzipiert wurde. Früher diente sie gleichzeitig sowohl dem traditionellen maschinellen Lernen als auch der generativen KI. Sie setzt Sicherheitsrichtlinien zwischen den Eingaben und Ausgaben der Modelle um und protokolliert Sitzungen, Verstöße sowie die Leistung der Modelle.

Aporia wurde im Dezember 2024 von Coralogix übernommen; das Team sowie die Technologien wurden in Coralogix AI integriert. Für Anschaffungen und die Entwicklung neuer Funktionen sollte künftig hauptsächlich das Coralogix AI Center genutzt werden.

Aktueller Produktzustand

• Die Website der Marke Aporia enthält weiterhin Produktinformationen und historische Dokumente.
• Die ursprünglichen Guardrails- sowie Observabilitäts-Technologien wurden in Coralogix integriert.
• Das Coralogix AI Center zeigt die Leistung, Qualität, Sicherheit und Governance von KI zentral dar.
• Der ehemalige Leiter des Aporia-Teams ist weiterhin an den Coralogix AI-Produkten beteiligt.
• Neukunden sollten die Migration, den Support sowie die Vertragsparteien bestätigen.
• Alte Anleitungen und alte Preise können nicht direkt als aktuelle Lösungen angesehen werden.

Was sind AI Guardrails?

Guardrails sind eine separate Überprüfungsschicht, die vor dem Eingang der Benutzereingaben in das große Modell sowie vor der Rückgabe der Modellergebnisse an den Benutzer ausgeführt wird. Sie kann Inhalt zulassen, blockieren, ersetzen oder umschreiben, sodass Sicherheitsregeln nicht vollständig in die Systemanweisungen eingebaut werden müssen.

Hauptschutzfähigkeiten

• Detektion von Prompt-Injektionen und Jailbreak-Versuchen.
• Identifizierung und Verarbeitung personenbezogener Daten.
• Überprüfen Sie Toxizität, Hass, Gewalt und unangemessene Inhalte.
• Prüfen, ob die Antwort das zulässige oder begrenzte Thema überschreitet.
• Hilfsdiagnostik zur Erkennung von Halluzinationen ohne kontextuelle Grundlage.
• Verwenden Sie benutzerdefinierte Regeln zur Umsetzung der Unternehmensrichtlinien.
• Für Eingang und Ausgang werden jeweils unterschiedliche Strategien konfiguriert.

Schutz vor Prompt-Injection

Die Prompt-Injection-Strategie dient dazu, Eingaben zu erkennen, die versuchen, Systemanweisungen zu überschreiben, den Kontext zu stehlen oder Tools dazu zu bringen, ihre Befugnisse zu überschreiten. Sie kann das Risiko verringern, garantiert jedoch nicht, alle neuen Angriffsarten abzuwehren.

Halluzinationen und Überprüfung der Richtigkeit

Die Plattform kann anhand des bereitgestellten Kontexts beurteilen, ob eine Antwort gestützt ist, oder verdächtige Ergebnisse mit Bewertungsmethoden kennzeichnen. Offene Weltfakten, fachliche Schlussfolgerungen und Echtzeitinformationen erfordern weiterhin zuverlässige Datensätze sowie manuelle Überprüfung.

Schutz sensibler Informationen

• Überprüfung personenbezogener Informationen in der Benutzereingabe.
• Verhindern Sie, dass das Modell Daten freigibt, die nicht offengelegt werden dürfen.
• Verschleierung oder Überarbeitung bestimmter Felder.
• Protokollieren Sie die Ursachen für das Auslösen der Strategie sowie die durchgeführten Aktionen.
• Datenschutzregeln nach Anwendung unterscheiden.
• In Einklang mit den bestehenden Datenschutzprozessen des Unternehmens.

Inhaltssicherheitsrichtlinien

• Einschränkung von Inhalten mit Gewalt, Sex, Hass und Belästigung.
• Einstellen Sie nach Geschäftsanforderungen erlaubte und verbotene Themen.
• Umwandlung von Antworten mit hohem Risiko in sichere Antworten.
• Offensichtlich bösartige Anfragen werden am Eingang blockiert.
• Am Ausgang werden inhaltliche Probleme des Modells blockiert.
• Üben Sie benutzerdefinierte Geschäftsgrenzen anhand von Beispielen.

Custom Guardrails

Das Team kann anhand der Geschäftsrichtlinien eigene Regeln festlegen und mit Beispielen für richtige und falsche Fälle zeigen, was erlaubt oder verboten werden soll. Eigene Strategien eignen sich für Branchenbegriffe, Markenvorgaben und interne Prozesse, erfordern jedoch eine kontinuierliche Überprüfung auf Fehlalarme und übersehene Fälle.

Multimodale Sicherheit

Aporia hat öffentlich die Guardrails für Anwendungen im Bereich KI für Texte, Bilder und Audiodaten unterstützt. Die konkret unterstützten Eingabeformate, Modelle und Strategien sollten im Produktumfeld von Coralogix überprüft werden.

Überwachbarkeit von KI-Anwendungen

• Verfolgen von Prompten, Antworten und Toolaufrufen.
• Überprüfen Sie Verzögerungen, Fehler, Token und Nutzungsmenge.
• Analyse der Qualitätsveränderungen bei verschiedenen Modellen und Versionen.
• Führen Sie die Fehlerbehebung nach Anwendung, Sitzung und Benutzerpfad durch.
• Erkennung der Auslösungsrate der Strategie und der Risikotypen.
• Die Ausführung von KI mit der Telemetrie traditioneller Anwendungen verknüpfen.

Session Explorer

Die Funktion zur Anzeige von Konversationen dient dazu, fortlaufende Gespräche, Entscheidungslogiken sowie die endgültigen Ergebnisse einzusehen. Das Team kann so Probleme in den einzelnen Benutzerkonversationen ausmachen, anstatt sich nur auf zusammenfassende Diagramme zu verlassen.

Traditionelle Überwachung im maschinellen Lernen

• Überwachungsdatendrift und Konzeptdrift.
• Fehlende Werte, Ausreißer und Probleme bei der Datenintegrität wurden festgestellt.
• Überwachen Sie die Veränderung der Modellleistung im Laufe der Zeit.
• Vergleich der Leistung in den Segmentierungs- und Geschäftskontextdimensionen.
• Verwendung der Erklärungskraft zur Prädiktion von Anomalien.
• Auslösen von Alarmen oder automatische Verarbeitung von Workflows.

Für welche Benutzer geeignet

• Entwicklerteams, die generative KI in die Produktion einsetzen wollen.
• Unternehmen, die die Qualität der RAG-Frage-Antwort-Interaktionen überwachen müssen.
• KI-Produkte zur Verarbeitung von Kundendaten und sensiblen Inhalten.
• Es sind Organisationen erforderlich, die die Überwachbarkeit von KI und Anwendungen standardisieren.
• Plattformteam zur Verwaltung mehrerer Modelle und Agenten.
• Datenteams, die eine Überwachung des Drifts im Rahmen des traditionellen maschinellen Lernens benötigen.

Typische Anwendungsszenarien

• Um eine Weitergabe sensibler Informationen durch Service-Roboter zu verhindern.
• Erkennung von Prompt-Injection in Unternehmens-Wissensassistenten.
• Beschränken Sie die Finanz- oder Medizin-Assistenten daran, Fragen außerhalb ihres Aufgabengebiets zu beantworten.
• Tools zur Überwachung der Aufrufe von KI-Agenten und der Ursachen für Fehler.
• Bewerten Sie, ob die RAG-Antwort durch den Kontext gestützt wird.
• Überwachung des Datendrifts bei Kredit-, Empfehlungs- und Risikomanagementmodellen.
• Verknüpfen Sie AI-Anomalien mit Anwendungsprotokollen und Infrastrukturproblemen.

Für welche Situationen es nicht wirklich geeignet ist

• Benutzer, die nur private Chats führen und kein Überwachungssystem für die Produktion benötigen.
• Es ist zu hoffen, dass Guardrails die manuelle Prüfung in hochriskanten Geschäftsprozessen ersetzen kann.
• Teams, die einen vollständigen, open-source-basierten Sicherheitssystem benötigen und dieses offline einsetzen wollen.
• Frühe Prototypen ohne einheitliche Protokolle und Anwendungsidentifikatoren.
• Kunden, die nur das alte Aporia-Einzelpaket kaufen möchten.
• Ein Team mit unzureichendem Personal, das keine kontinuierlichen Tests von Strategien sowie deren Umsetzung bewältigen kann.

Anleitung zur Anbindung an Guardrails

1. Listen Sie die Datentypen auf, die von KI-Anwendungen empfangen und erzeugt werden.
2. Bestimmen Sie die Risiken, die verhindert, umgeschrieben, aufgezeichnet und manuell weitergeleitet werden müssen.
3. Fügen Sie im Testprojekt das aktuelle Guardrails SDK oder Proxy hinzu.
4. Aktivieren Sie zunächst eine kleine Anzahl von voreingestellten Strategien und verwenden Sie historische Beispiele zur Wiedergabe.
5. Erstellen Sie Statistiken zu Fehlalarmen, übersehenen Fällen und Verzögerungen für jede Strategie.
6. Zu den Geschäftsregeln werden Beispiele für Zulassungen und Ablehnungen hinzugefügt.
7. Aktivieren Sie die Blockierung erst nach Überprüfung im Beobachtungsmodus.
8. Nach dem Go-Live werden die Trends bei Sitzungen und Strategieauslösungen kontinuierlich überprüft.

Leitfaden zur Konfiguration von Schutzmaßnahmen gegen Prompt-Injection

1. Sammeln von Beispielen für bekannte Ausbrüche aus Sicherheitsmechanismen, Überschreiben von Befehlen und Datenraub.
2. Unterscheiden Sie zwischen normalen Benutzeranweisungen und echten Angriffshandlungen.
3. Aktivieren Sie bei der Eingabe die Prompt-Injektion-Strategie.
4. Für Ereignisse mit geringer Zuverlässigkeit: Aufzeichnung oder Überleitung an einen Menschen.
5. Konfigurieren Sie Blockierungen und sichere Reaktionen für Angriffe mit hoher Zuverlässigkeit.
6. Testen Sie mehrsprachige, kodierte und indirekte Injection-Varianten.
7. Bestätigen, dass die Blockade keine normalen Geschäftsanfragen stört.
8. Erweitern Sie regelmäßig den Testdatensatz anhand der Angriffsprotokolle.

Leitfaden zur Einrichtung von AI-Überwachung

1. Für jede KI-Anwendung werden eigene Projekt- und Umgebungsidentifikatoren erstellt.
2. Erhebung von Prompten, Antworten, Verzögerungen, Tokens und Fehlermeldungen.
3. Sensible Felder sollten zunächst entsprechend maskiert werden.
4. Definieren Sie Qualitäts-, Sicherheits-, Kosten- und Leistungsindikatoren.
5. Legen Sie den Verantwortlichen für die Anwendung sowie die Empfänger von Benachrichtigungen fest.
6. Verknüpfen Sie abnormale Sitzungen mit den Anwendungsprotokollen und den veröffentlichten Versionen.
7. Etablieren eines Prozesses für die Analyse von Problemen und die Aktualisierung von Strategien.
8. Die Wirksamkeit des Schutzes sowie der Verbrauch an AI-Einheiten werden monatlich bewertet.

Der aktuelle Abrechnungsmodus

Nach der Übernahme von Aporia werden die AI-Bewertungen bei Coralogix sowie der Einsatz von Guardrails über AI Units abgerechnet. AI Units werden getrennt von den Log-Daten, Metriken und Trace-Informationen berechnet; die Bewertung und Absicherung erfolgen in der Regel nach der Anzahl der verarbeiteten Tokens sowie dem Typ der Funktionen.

Preise und Informationen zu den Versionen

Wie verstehen AI-Einheiten?

AI-Einheiten sind separate Ressourcenpools, die von Coralogix für AI-Funktionen bereitgestellt werden. Sie können nicht mit Log-, Metrik- oder Trace-Einheiten ausgetauscht werden. Das Senden von AI-Verbindungsdaten wird wie üblich nach den Regeln für Trace-Daten abgerechnet; nur bei Aktivierung von Bewertungsfunktionen oder Guardrails entsteht ein zusätzlicher Verbrauch durch die entsprechenden AI-Funktionen.

Was muss vor dem Einkauf überprüft werden?

• Migration bestehender Aporia-Konten und Methode zur Datenspeicherung.
• Modelle, Sprachen und Eingabetypen, die von Guardrails unterstützt werden.
• Kostenloser AI-Aufwand, Preise für den Überschuss und monatliche Budgetkontrolle.
• Die zusätzlichen Kosten für Protokolle, Trace-Daten und AI-Einheiten.
• Datenregionen, Datenschutzvereinbarungen und Sicherheitszertifizierungen.
• Support-Ebenen, SLA und Prozesse für die Reaktion auf Störungen.
• Migrationsplan vom alten SDK zum Coralogix AI Center.

Falschmeldungen und Auslassungen

• Übermäßig strenge Strategien können Anfragen normaler Benutzer blockieren.
• Eine zu lockere Strategie könnte neue Angriffe übersehen.
• Mehrsprachigkeit und Branchenjargon können die Genauigkeit der Klassifizierung beeinträchtigen.
• Lange Kontexte können Verzögerungen und Schwierigkeiten bei der Beurteilung verursachen.
• Die Erkennung von Halluzinationen hängt vom verfügbaren Referenzkontext ab.
• Die Wirksamkeit der Strategie muss anhand echter Geschäftsbeispiele bewertet werden.

Leistung und Verzögerung

Schutzmechanismen führen in der Modellkette zu zusätzlicher Verarbeitung, weshalb der Durchschnittswert, die Verzögerungen am Ende der Kette sowie das Verhalten im Falle von Fehlern gemessen werden sollten. In wichtigen Anwendungen muss außerdem entschieden werden, ob Anfragen abgelehnt oder vorübergehend genehmigt werden sollen, wenn die Schutzdienste nicht verfügbar sind.

Privatsphäre und Datenverarbeitung

• Die Hinweise und Antworten können Kundendaten sowie Mitarbeiterdaten enthalten.
• Vor der Datenerfassung im Session-Modus sollten die minimal notwendigen Felder festgelegt werden.
• Passwörter, Token und Zahlungsinformationen werden im Voraus maskiert.
• Einschränkung, wer die vollständige Sitzung ansehen darf.
• Einstellen von Prozessen für die Aufbewahrung, Löschung und Auditing von Daten.
• Für grenzüberschreitende oder regulierte Daten muss Vertrag und Region überprüft werden.

Sichere Grenzen

Guardrails sind Teil der mehrschichtigen Verteidigung und können Authentifizierung, Zugriffskontrolle, Berechtigungsverwaltung, Netzwerkisolierung sowie manuelle Überprüfungen nicht ersetzen. Selbst wenn die Inhaltspolitik erfüllt ist, können Agenten aufgrund fehlerhafter Berechtigungen gefährliche Aktionen ausführen.

APIs und Integrationsmöglichkeiten

Ursprünglich unterstützte Aporia den Zugriff auf generative KI-Anwendungen über SDKs oder Proxy-Server und war in der Lage, mit OpenAI-kompatiblen Aufrufketten zu arbeiten. Derzeit übernimmt das Coralogix AI Center die Überwachung und Absicherung über KI-Verbindungen, SDKs sowie Plattformstrategien; die genauen Schnittstellen richten sich nach den aktuellen Dokumentationen.

GitHub und der Open-Source-Zustand

Die offizielle GitHub-Organisation von Aporia behält die Importwerkzeuge, Beispielprojekte und MLOps-Ressourcen bei, doch die Kern-Plattform Guardrails ist kein vollständig open-source-Produkt. Die Lizenzen für die öffentlichen SDKs und Beispiele gelten nicht automatisch für die gehosteten Detektions Engines.

Vorteile des Produkts

• Erfüllen Sie eine Echtzeit-Schutzfunktion auf beiden Seiten der Modell-Eingaben und -Ausgaben.
• Abdeckung von Prompt-Injection, sensiblen Informationen und Inhaltssicherheit.
• Unterstützung von voreingestellten Strategien und unternehmensspezifischen Regeln.
• Es werden Analysen auf Session-Ebene sowie Analysen zur Auslösung von Strategien bereitgestellt.
• Berücksichtigung der Überwachung von generativer KI und traditionellem maschinellem Lernen.
• Nach der Integration in Coralogix kann die Telemetrie von Anwendungen und Infrastruktur verknüpft werden.

Nutzungsbeschränkungen

• Aporia wurde übernommen, die Produktzugänge und Verträge haben sich geändert.
• Sicherheitsprüfungen können weder Null-Falschalarme noch Null-Auslassfehler erreichen.
• Die Strategie führt zu Verzögerungen und höheren Kosten für zusätzliche KI-Einheiten.
• Die Beurteilung von Halluzinationen hängt vom Kontext und der Aufgabenbeschreibung ab.
• Entscheidungen mit hohem Risiko erfordern weiterhin menschliche Überwachung.
• Die Kern-Prüfungs- und Hosting-Plattform ist nicht open source.
• Alte Dokumente und alte Pakete gelten möglicherweise nicht mehr für neue Kunden.

Grundlegende Informationen

Empfehlungswert

Der Gesamtbewertungswert beträgt 4,2 von 5 möglichen Punkten. Aporias Guardrails-Technologie eignet sich zur Sicherstellung der Sicherheit und Überwachung in KI-Systemen. Neue Nutzer sollten jedoch zunächst das Coralogix AI Center ausprobieren und dabei die Genauigkeit der Strategien, die Verzögerungen sowie die Kosten berücksichtigen.

Häufige Fragen

Kann Aporia noch verwendet werden?

Die entsprechenden Technologien werden weiterhin eingesetzt, sind aber derzeit hauptsächlich in das Coralogix AI Center integriert.

Von wem wurde Aporia übernommen?

Coralogix kündigte im Dezember 2024 die Übernahme von Aporia an.

Wogegen kann Aporia Guardrails schützen?

Es kann dabei helfen, Risiken wie Prompt-Injection, sensible Informationen, toxische Inhalte, Themenüberschreitungen und Halluzinationen zu erkennen.

Können Schutzmaßnahmen die Sicherheit von KI gewährleisten?

Nein, es muss zusammen mit Zugriffskontrolle, Überwachung, Tests und manueller Prüfung verwendet werden.

Wie wird jetzt abgerechnet?

In Coralogix werden die Bewertungen und Guardrails hauptsächlich mit eigenständigen AI-Einheiten abgerechnet.

Gibt es einen kostenlosen Betrag?

Der kostenlose Plan beinhaltet eine monatliche AI-Auslastung, die zurückgesetzt wird und den Regeln des Kontos unterliegt.

Wird traditionelles maschinelles Lernen unterstützt?

Aporia bietet in der Geschichte die Überwachung von Drift, Datenqualität, Leistung und Interpretierbarkeit.

Ist Aporia Open Source?

Die Kernplattform ist nicht open source; auf der offiziellen GitHub-Seite werden nur einige Werkzeuge, Beispiele und Ressourcen veröffentlicht.

Warum ist eine manuelle Überprüfung noch notwendig?

Bei der Überprüfung kommen Fehlalarme und Auslassungen vor; bei hochriskanten Geschäften darf die endgültige Verantwortung nicht allein einer automatischen Regel übertragen werden.