Fiorino.AI

Eine kurze Beschreibung

Fiorino.AI ist ein Open-Source-Tool zur Verwaltung der Kosten und des Verbrauchs von LLMs. Es hilft AI-SaaS-Teams dabei, die Token nach Benutzern, Modellen und Geschäftsaspekten zu erfassen, Kosten zu schätzen, Preiserhöhungen festzulegen sowie Daten für die Abrechnung des Verbrauchs bereitzustellen.

Einführung in die Tools

Fiorino.AI richtet sich an Entwicklerteams, die OpenAI, Anthropic oder andere große Modell-Dienste in ihren Produkten einsetzen möchten. Es nimmt über REST-APIs Informationen wie externe Benutzeridentifikatoren, Eingangs- und Ausgabetoken sowie Angaben zu Anbietern und Modellen entgegen und fasst diese Daten anschließend in einem Kosten-Dashboard zusammen.

Das Projekt wird von der gleichnamigen GitHub-Organisation gewartet. Für den Backend-Bereich werden Python, FastAPI, SQLAlchemy und PostgreSQL verwendet, während für den Frontend-Bereich React, TypeScript, Vite und Recharts genutzt werden. Die Benutzer können den Backend-Bereich über Docker bereitstellen oder auch einen eigenen Frontend-Bereich entwickeln.

Die Verantwortlichen nennen Mengenbeschränkungen, Stripe-Berechnungssysteme, Geschäftslabels sowie eine Analyse der Kosteneffizienz durch KI zu den zukünftigen Entwicklungsrichtungen des Produkts. Doch viele Punkte in diesem Roadmap sind noch nicht umgesetzt. Da die letzte offizielle Aktualisierung des Lagers auf Juli 2025 datiert, sollte vor der endgültigen Einführung auf dem tatsächlichen Code sowie auf lokalen Tests geachtet werden.

Hauptfunktionen

Aufzeichnung der LLM-Aufrufe

Die Anwendung kann über die Tracking-Schnittstelle anonyme externe Benutzer-IDs, Eingabetoken, Ausgabetoken sowie den Namen des Anbieters und des Modells erhalten. Das Team muss nach Abschluss der tatsächlichen Modellaufrufe die genauen Verbrauchswerte an Fiorino.AI senden.

Kosten nach Nutzeranalyse

Das System unterscheidet die Benutzer anhand anonymer externer IDs und ermöglicht es, die Nutzung sowie die Kosten der LLMs durch verschiedene Benutzer zu überprüfen. Anonyme IDs verringern die Menge an direkten Identitätsdaten, doch solange die Zuordnungsliste im Unternehmenssystem gespeichert bleibt, können die Daten erneut mit Personen in Verbindung gebracht werden.

Mehrmodelle und Mehranbieter

Das Ziel des Projekts ist es, die Überwachung der verschiedenen großen Modell-Dienste sowie der Modellversionen zu vereinheitlichen, um zu vermeiden, dass jeder Anbieter separat statistische Daten erfasst. Die Preisliste muss stets aktualisiert werden, da sonst selbst bei korrekter Anzahl an Tokens falsche Kosten angezeigt werden können.

Kosten-Dashboard

Die Benutzeroberfläche bietet eine Visualisierung der Echtzeit-Kostenentwicklungen, der Token-Nutzung sowie der Verteilung der Modelle. Das Dashboard eignet sich dazu, Nutzer mit hohen Kosten sowie abweichende Schwankungen aufzudecken, stellt jedoch nicht die endgültige Rechnung des Cloud-Anbieters dar.

Modellkosten und Aufschlag

Die Backend-Plattform kann die Kosten der Modelle verwalten und individuelle Aufschläge festlegen, um den Bruttogewinn des Services oder Preise für Kunden zu berechnen. Bei der Preisberechnung sollten Eingaben, Ausgaben, Caching, Batchverarbeitungen sowie andere Abrechnungselemente berücksichtigt werden.

Realm-Mehrfachmieter-Grenze

Die offiziellen Dokumentationen organisieren die verschiedenen Anwendungen oder Tenant-Gruppen innerhalb von Realm und erzeugen für jede Integration eine API-Schlüssel. Bei einer Mehr-Tenant-Einsatzweise muss die Isolation von Abfragen, Schlüsseln und Daten zwischen den Realm-Instanzen gewährleistet werden – es darf sich nicht nur auf die Benutzeroberfläche verlassen werden.

API-Schlüssel-Verwaltung

In der README-Datei für die Frontend-Seite sind Entwicklerwerkzeuge zur Erstellung und Verwaltung von API-Schlüsseln aufgeführt. In der Produktionsumgebung sollte nur ein vollständiger Schlüssel angezeigt werden; dieser sollte als Hash gespeichert werden, und es sollten Funktionen zur Rückgängigmachung, Erneuerung sowie Einhaltung minimaler Berechtigungen vorhanden sein.

Obergrenze für die Nutzung und Erinnerungen

Die offizielle Website sowie die Haupt-README-Datei listen unter den Funktionen die Einstellung von Limits nach Benutzer oder Abonnementstufe sowie Warnungen bei Annäherung an das Limit auf. Der alte Roadmap listet weiterhin Quoten, Geschwindigkeitsbeschränkungen und Reset-Zyklen als geplante Funktionen auf, weshalb diese im aktuellen Code einzeln überprüft werden müssen.

Stripe-Nutzungsabrechnung

Die Projektwerbung kann mit Stripe in Kombination für eine Verbrauchsabrechnung genutzt werden, doch der alte Roadmap sieht weiterhin eine modulare Abrechnung vor. Man darf nicht davon ausgehen, dass bereits vollständige Prozesse für Rechnungen, Rückerstattungen, Steuern und Abstimmungen für den Produktivbetrieb verfügbar sind – allein aufgrund der README-Dokumentation.

AI-Kostenanalyse und maßgeschneiderte Erkenntnisse

Die offizielle Beschreibung umfasst die Kosten für Anfragen in natürlicher Sprache, die Erkennung von Nutzungsmustern sowie das Vorschlagen von Optimierungsvorschlägen. Zudem wird die Möglichkeit geboten, Geschäftsdimensionen nach Funktionen oder Aktionen zu kennzeichnen. Der Roadmap zeigt weiterhin an, dass diese Fähigkeiten noch nicht vollständig umgesetzt sind; Implementierer sollten sie daher als Experimente oder zu planende Fähigkeiten betrachten.

Überprüfte Fähigkeiten und Fähigkeiten, die noch überprüft werden müssen

Wirkungsprinzip

1. Das Team implementiert in seiner eigenen Infrastruktur den Fiorino.AI-Backend sowie PostgreSQL.
2. Erstellen Sie ein Realm und generieren Sie einen API-Schlüssel für dieses Produkt oder diesen Tenant.
3. KI-Anwendungen rufen Modellservices auf und erhalten tatsächliche Eingangs- und Ausgabetoken sowie Modellinformationen.
4. Die Anwendung sendet die anonymen Benutzer-ID, den Token, den Anbieter sowie das Modell an die Verbrauchserfassungs-Schnittstelle.
5. Fiorino.AI berechnet die Nutzungskosten anhand des Modellpreises und eines kundenspezifischen Aufschlags.
6. Das Dashboard fasst die Trends nach Benutzer, Modell, Zeit und anderen Dimensionen zusammen.
7. Das Team vergleicht die internen Aufzeichnungen mit den Rechnungen des Anbieters und korrigiert Preise oder unerfasste Posten.
8. Wenn eine Abrechnung für den Kunden erforderlich ist, wird die überprüfte Verbrauchsmenge an einen unabhängigen Rechnungs- und Abstimmungsprozess übergeben.

Einsatzanleitung

Starten des Backends mit Docker

1. Vorbereiten Sie eine eigenständige PostgreSQL-Datenbank und erstellen Sie Anwendungskonten mit eingeschränkten Berechtigungen.
2. Sichern Sie die Datenbankverbindungsinformationen und übergeben Sie keine Passwörter in das Code-Repository.
3. Laden Sie das offizielle Container-Image herunter und mappen Sie die Anwendungsporte auf das kontrollierte Netzwerk.
4. Verbinden Sie sich über die Umgebungsvariable DATABASE_URL mit PostgreSQL.
5. Nach dem Start überprüfen Sie die Datenbankmigration, den Gesundheitszustand und die API-Dokumentation.
6. Einstellen eines Reverse-Proxy, der Verschlüsselung der Übertragung, der Authentifizierung sowie von Zugriffsprotokollen.
7. Erstellen Sie ein Test-Realm und eine API-Key, um nur simulierten Verbrauch zu senden und die Überprüfung durchzuführen.

Erstellen der Frontend-Struktur

1. Holen Sie sich die offiziellen Quellcodes für die Frontend-Entwicklung und installieren Sie eine Node.js-Umgebung, die den Anforderungen des Projekts entspricht.
2. Installieren Sie die Abhängigkeiten und konfigurieren Sie in der Umgebungsdatei die Adresse Ihrer eigenen Backend-Schnittstelle.
3. Überprüfen Sie im Entwicklungsmodus die Seiten für Anmeldung, Dashboard, Realm und API Key.
4. Führen statische Überprüfungen und Produktkompilierungen durch sowie bearbeiten Sicherheitswarnungen bezüglich der Abhängigkeiten.
5. Die Ergebnisse der Erstellung werden in einen statischen Service bereitgestellt, und die zugelassenen Backend-Verbindungen werden eingeschränkt.
6. Überprüfen Sie die Seiten für mobile Größen, Dunkelmodus, Fehlerzustände und unzureichende Berechtigungen.

Anbindung an KI-Apps

1. Erstellen Sie für jede Umgebung und jedes Produkt eine eigene Realm sowie einen API-Schlüssel.
2. Auf der Server-Seite wird die tatsächliche Anzahl der Tokens abgerufen, die vom Modellanbieter zurückgegeben wird.
3. Verwenden Sie eine stabile externe ID, mit der der Benutzer nicht direkt identifiziert werden kann.
4. Aufrufen des Verbrauchstracking-Endpunkts und Übergeben des Eingabetokens, Ausgabetokens, Anbieters sowie des Modells.
5. Setzen Sie sichere Wiederholungsversuche für Zeitüberschreitungen und Fehler, um eine doppelte Zählung zu vermeiden.
6. Regelmäßige Stichprobenkontrollen von Anwendungsprotokollen, Fiorino.AI und Anbieterrechnungen.
7. Bei einem Schlüssel-Leak oder Personalauswechslung ist dieser umgehend zu widerrufen und ausgetauscht.

Für welche Benutzer geeignet

• AI SaaS-Entwicklerteam: Anzeige der Modellkosten und des Bruttogewinns aus Sicht des Endnutzers.
• Unternehmen mit Priorität bei der Selbstverwaltung: Sie bewahren die Kostenangaben in ihrer eigenen Datenbank auf.
• Mehrmodell-Anwendung: Einheitliche Vergleich der Token-Verbrauche verschiedener Anbieter und Modelle.
• Preis pro Verbrauch: Erstellung von prüfbaren Verbrauchsprotokollen für das spätere Rechnungswesen.
• Plattformentwicklerteam: Einführung eines einheitlichen Kostenzentrums für mehrere interne KI-Funktionen.
• Open-Source-Mitarbeiter: Verbesserungen am FastAPI-Backend, der React-Vorlage sowie den Deployment-Dokumentationen.

Typische Anwendungsszenarien

• Erkennen, ob eine kleine Anzahl von Benutzern den größten Teil des Modellbudgets verbraucht.
• Vergleichen Sie die Einheitskosten bei Verwendung verschiedener Modelle für dieselbe Funktion.
• Die Kosten für LLM werden nach Produktfunktionen, Aktionen oder Nutzern verteilt.
• Schätzen Sie vor der Gestaltung des Pakets die durchschnittlichen Kosten pro Nutzer sowie den Gewinnspielraum ein.
• Für Unternehmenskunden werden detaillierte Verbrauchsinformationen sowie interne Prüfprotokolle bereitgestellt.
• Feststellung von Token-Abweichungen, fehlerhaften Schleifen oder plötzlich länger werdenden Prompten.
• Übergeben Sie das nach der Überprüfung verfügbare Modell an das bestehende Rechnungssystem zur Abrechnung.

Vorteile des Produkts

• Sowohl der Backend- als auch der Frontend-Code ist öffentlich zugänglich, sodass man die Implementierung überprüfen und selbst bereitstellen kann.
• Die Anbindung über eine REST API ist einfach und eignet sich dazu, in bestehenden AI-Anwendungen weitere Einträge hinzuzufügen.
• Durch die Verwendung anonymer externer IDs wird die Notwendigkeit, Namen und E-Mail-Adressen direkt weiterzugeben, verringert.
• Unterstützt mehrere Anbieter und Modelle, ist nicht an einen bestimmten LLM-Dienst gebunden.
• Das React-Dashboard bietet eine zentrale Ansicht für Token, Kosten und Trends.
• Die Apache 2.0-Lizenz erlaubt die Änderung und Verbreitung unter Einhaltung der Bedingungen.
• Docker senkt die Hürden für den lokalen Test und die Bereitstellung im Backend.

Einsatzbeschränkungen und Risiken

• Das Projekt ist von geringer Größe; das offizielle Repository weist nur wenige Interessensanzeichen und Beiträge auf.
• Die letzten öffentlichen Updates für Backend und Frontend stammen vom Juli 2025, wobei die Wartung nur begrenzt stattfindet.
• Der Lagerbestand verfügt über keine offizielle Veröffentlichung; Versionserhöhungen und Rollbacks müssen selbst verwaltet werden.
• Die Roadmap wurde zuletzt im November 2024 aktualisiert, und mehrere Werbefunktionen werden weiterhin als unvollendet angezeigt.
• Die Preise der Modelle ändern sich häufig, und veraltete Kostenlisten führen zu Fehlbewertungen von Gewinnen und Quoten.
• Wiederholte Versuche, Zeitüberschreitungen oder eine unsachgemäße parallele Verarbeitung können zu wiederholten oder fehlenden Verbrauchseinträgen führen.
• Anonyme Benutzeridentifikatoren führen nicht automatisch zur Anonymisierung; in Kombination mit Geschäftsbeziehungen kann die Identität einer Person dennoch ermittelt werden.
• Selbstverwaltung bedeutet, dass der Betreiber für die Datenbank, die Backups, die Überwachung, die Schlüssel sowie die Sicherheitsbehebungen verantwortlich ist.
• Stripe-Buchhaltung, Quoten, Cost Analyst und Compliance-Tools können nicht allein auf der Grundlage von Dokumenten als verfügbar angesehen werden.
• In der README-Datei der Frontend-Anwendung wird die Lizenz fälschlicherweise als GPL v3 angegeben, während die tatsächliche LICENSE-Datei Apache 2.0 ist.
• Es gibt keine offiziell angegebenen Service-Level-Angaben, keine Unterstützung für Unternehmen, keine Datenschutzrichtlinien oder Zertifizierungen für die Sicherheit.
• Das Projekt ersetzt nicht die Rechnungen des Cloud-Modells; es sollte regelmäßig mit den Rechnungen des Anbieters abgeglichen werden.

Preise und Nutzungskosten

Stand dem 22. August 2026 bietet Fiorino.AI keine offiziellen kommerziellen Hosting-Pakete an. Die Quellcode kann unter der Apache 2.0-Lizenz kostenlos genutzt werden, doch das Self-Hosting birgt weiterhin Kosten für Infrastruktur, Entwicklung und Wartung.

Kostenlose Open-Source-Lösungen bedeuten nicht, dass die Nutzung kostenlos ist. In einer Produktionsumgebung müssen zudem hochverfügbare Datenbanken, die Speicherung von Protokollen, die Aufbewahrung von Daten, die Aktualisierung von Abhängigkeiten, der Wechsel von Schlüsseln sowie die Einbindung von Entwicklern berücksichtigt werden.

API und Integration

Die Backend-Schnittstelle von Fiorino.AI bietet REST-APIs sowie dokumentierte interaktive Schnittstellen. Der typische Zugriffsablauf besteht darin, ein Realm zu erstellen, eine API-Key zu generieren und anschließend die Endpunkte zur Verfolgung des Nutzungsverhaltens zu nutzen, um die IDs der externen Benutzer, Tokens, Anbieter sowie Modelle zu erfassen.

Open Source und Lizenzen

Sowohl die LICENSE-Dateien im Backend- als auch im Frontend-Lager sind unter der Apache License 2.0 lizenziert, was die Nutzung, Änderung und Verteilung unter der Bedingung gestattet, dass die Lizenzbedingungen eingehalten werden sowie Angaben zur Herkunft und zu den vorgenommenen Änderungen mitgeteilt werden. Die Lizenz gewährt keinen Anspruch auf die Nutzung von Markenzeichen und bietet auch keine Garantie für die Qualität des Softwareprodukts.

Am Ende der README-Datei für die Frontend-Software steht GPL v3, doch sowohl die LICENSE-Datei im Repository als auch die Lizenz auf GitHub weisen auf Apache 2.0 hin. Aufgrund dieser Unstimmigkeiten in den Projektdokumenten sollte man vor einer weiteren Verbreitung oder kommerziellen Nutzung die Betreuer um Klarstellung bitten und sich an den Ergebnissen der rechtlichen Prüfung halten.

Privatsphäre und Sicherheit

Fiorino.AI betont die Verwendung anonymer Benutzer IDs und Self-Hosting, doch dies erfüllt nicht automatisch die Datenschutzvorschriften. Der Deployer kontrolliert die Datenbanken, Protokolle, Schnittstellen und Backups und trägt daher die größte Verantwortung für den Datenschutz.

• Geben Sie keine Namen, E-Mail-Adressen, den Originaltext der Anweisungen oder Geschäftsgeheimnisse direkt in external_id ein.
• Es sollte klar sein, ob die Schnittstelle den Inhalt der Nachrichten empfangen muss; bei der Übertragung sollte die Menge an Daten so gering wie möglich gehalten werden.
• Die Datenbank verwendet separate Konten, minimale Berechtigungen, verschlüsselte Übertragung sowie statische Verschlüsselung.
• Der API-Schlüssel wird nur auf der Serverseite oder in einem Schlüsselverwaltungssystem gespeichert, wobei dessen Erneuerung und Entfernung protokolliert werden.
• Beschränken Sie den Zugriff aus dem öffentlichen Internet auf die API-Dokumentation, das Admin-Backend und die Datenbank.
• Legen Sie Strategien für die Ablaufzeit der Datenerfassung, Löschung, Export sowie Tenant-Isolation fest.
• Die Überprüfung stützt sich auf Versionen, Sicherheitswarnungen und Container-Image-Kanäle.
• Erfassen Sie vor der Verwendung in den Kundenrechnungen Prozesse für Idempotenz, Abstimmung, Fehlerbehebung und Auditing.

Grundlegende Informationen

Empfehlungswert

Empfehlungswert: 3,8 / 5. Fiorino.AI bietet eine klare Grundlage für die Verfolgung der Open-Source-Kosten; die API-Felder sind einfach gestaltet, und Docker sowie PostgreSQL erleichtern es Entwicklerteams, in ihrem eigenen Umfeld zu testen.

Die Hauptmängel sind schwache Wartungssignale des Projekts, kein offizieller Release, Unterschiede zwischen Roadmap und Funktionsbeschreibungen sowie widersprüchliche Dokumentationen zu den Lizenzen für die Frontend-Technologien. Es eignet sich besser für Entwicklerteams, die bereit sind, Code zu lesen und die Funktionalitäten weiterzuentwickeln, und ist nicht geeignet als fertige Unternehmenslösung, die keine Wartung erfordert.

Häufige Fragen

Was macht Fiorino.AI?

Es erfasst den Token-Verbrauch jeder anonymen Benutzerin und jedes Modells in KI-Anwendungen, berechnet die Kosten und analysiert diese über ein Dashboard. Das Team kann die überprüften Aufzeichnungen außerdem zur Festlegung von Quoten oder zur Abrechnung mit Kunden verwenden.

Ist Fiorino.AI kostenlos?

Der Quellcode ist kostenlos und unter einer Open-Source-Lizenz verfügbar; es gibt keine offiziell angegebenen Preise für die Hosting-Dienste. Die Kosten für Server, PostgreSQL, Aufrufe der Modelle sowie Monitoring und Wartung müssen selbst getragen werden.

Welche Modelle werden unterstützt?

Die Schnittstellen werden nach Anbieter und Modellname erfasst und sind in ihrer Konzeption nicht an eine bestimmte Plattform gebunden. Die tatsächlichen Kosten hängen davon ab, ob die Preisliste der im Einsatz befindlichen Modelle vollständig und aktuell ist.

Kann man die Kosten nach Benutzern tracken?

Ja, anonyme Benutzer können über external_id erfasst werden. Verwenden Sie keine Namen oder E-Mail-Adressen direkt als Identifikatoren und schützen Sie sorgfältig die Zuordnungen im Unternehmenssystem.

Kann man direkt mit Stripe bezahlen?

In der Projektwerbung sowie in den README-Dateien wird auf die Abrechnung nach Verbrauch über Stripe hingewiesen, doch im alten Roadmap wird dieses Modul weiterhin als unvollendet geführt. Vor der Einführung in der Produktion muss der aktuelle Code überprüft werden, und Tests bezüglich der tatsächlichen Abrechnung, Rückerstattungen sowie der Abstimmung der Daten müssen durchgeführt werden.

Ist der AI Cost Analyst bereits verfügbar?

Offiziell wird es als Fähigkeit aufgeführt, doch der Roadmap zeigt weiterhin an, dass es noch nicht abgeschlossen ist. Es sollte sich nach der tatsächlichen Benutzeroberfläche und den Schnittstellen nach dem Deployment richten – man sollte sich nicht vorzeitig darauf verlassen.

Wie wird es bereitgestellt?

Die Backend-Plattform kann über Docker mit PostgreSQL verbunden werden, während das Frontend die Adresse des Backends konfigurieren und anschließend selbst erstellt werden muss. In der Produktivumgebung sind zudem Verschlüsselung der Datenübertragung, Zugriffskontrolle, Backup-Verfahren sowie Überwachungsfunktionen erforderlich.

Wird eine API bereitgestellt?

Es wird eine REST-API bereitgestellt, mit der Token, Anbieter, Modelle sowie anonyme Benutzer über API-Schlüssel erfasst werden können. Die offizielle Client-SDK befindet sich noch in der Planungsphase.

Ist Fiorino.AI open source?

Ja, sowohl der Backend- als auch der Frontend-Code ist offen verfügbar. Die tatsächlichen LICENSE-Dateien beider Repositorien sind Apache 2.0.

Warum muss die Lizenz erneut bestätigt werden?

In der README-Datei für die Frontend-Bibliothek steht fälschlicherweise GPL v3, während die tatsächliche LICENSE-Datei Apache 2.0 angibt. Die Auswirkungen auf den internen Einsatz sind gering, doch vor erneuter Verteilung oder kommerzieller Integration sollten klare Erläuterungen eingeholt werden.

Wird das Projekt noch gewartet?

Die letzten öffentlichen Updates für Backend und Frontend stammen vom Juli 2025, und es gab keine offizielle Veröffentlichung. Es ist möglich, es auszuprobieren, man sollte jedoch nicht davon ausgehen, dass es eine kontinuierliche Wartung oder Unterstützung durch das Unternehmen gibt.

Kann es die Rechnung des Modellanbieters ersetzen?

Es kann nicht vollständig ersetzt werden. Es handelt sich um eine interne Größe für die Kostensteuerung; daher muss sie regelmäßig mit den tatsächlichen Rechnungen des Anbieters des Modells abgeglichen werden.

Zusammenfassung

Fiorino.AI eignet sich für AI-Produktteams, die die Kosten der Endnutzer-LLMs kontrollieren möchten, während sie gleichzeitig die Möglichkeit behalten, die Lösung selbst zu hosten und den Quellcode zu überprüfen. Es bietet Backend-Schnittstellen, PostgreSQL zur Datenspeicherung sowie eine visualisierte Benutzeroberfläche – und kann somit als Ausgangspunkt für die Kostenkontrolle dienen.

Bevor es offiziell eingeführt wird, müssen die Funktionalitäten der Roadmap, die Lizenzen, die Sicherheit der Schlüssel, die Zählung der Wiederholungen sowie die Aktualisierung der Preisliste überprüft werden. Es ist sicherer, es als erweiterbare Open-Source-Basis zu betrachten und nicht als fertiges Produkt mit vollständigen Unternehmensrechnungs- und Konformitätsfunktionen.