ContentMod

Was ist ContentMod?

ContentMod ist ein AI-basiertes Content-Reviewing-Dienstleistungsangebot für Entwickler und Plattformbetreiber. Er dient dazu, von Nutzern eingereichte Texte und Bilder zu analysieren und Risikobewertungen in den Produktworkflow einzubinden. Er eignet sich für soziale Netzwerke, E-Commerce-Plattformen, Lernwerkzeuge, Unternehmenskooperationen sowie andere Anwendungen mit nutzererstellten Inhalten.

Das Produkt basiert auf einer Hosted-API und einer Verwaltungsoberfläche und bietet zudem ein TypeScript-SDK, OpenAPI-Spezifikationen, eine Überprüfungsqueue, Webhooks sowie Discord-Bots. Es handelt sich dabei nicht um ein allgemeines Content-Management-System, und es kann die eigenen Community-Richtlinien der Plattform sowie die Mechanismen für manuelle Beschwerden nicht ersetzen.

Hauptfunktionen

Textprüfung

• Nach Eingabe eines Textes gibt die Schnittstelle eine Sicherheitsbeurteilung, die Zuverlässigkeit, die Emotion, das Thema, die Risikowertung sowie die Kategorie der Sensitivität zurück.
• Das Ergebnis enthält Empfehlungen zur Ablehnung oder zur Überprüfung durch einen Menschen, kann aber auch einen gefilterten Text ausgeben, in dem unangemessene Wörter durch Sterne ersetzt wurden.
• Es können benutzerdefinierte Metadaten wie die Benutzernummer hinzugefügt werden, um die Überprüfungsprotokolle mit Inhalten oder Konten im Geschäftssystem zu verknüpfen.

Bildprüfung

• Bilder können über eine zugängliche Bild-URL oder als Base64-String eingereicht werden und eignen sich für Profilbilder, Produktfotos, Bilder zu Beiträgen sowie Anhänge in Chats.
• Die Ausgabe umfasst Sicherheitsbeurteilungen, Bildbeschreibungen, Risikoscores, Themen, Inhaltsklassifizierungen sowie sensible Kategorien und Schweregrade.
• Die Überprüfung eines Bildes kostet 3 Tokens – das ist teurer als die Textüberprüfung, bei der pro Überprüfung nur 1 Token benötigt werden.

Überprüfungsqueue

• Die manuelle Warteschlange ermöglicht es den Prüfern, die Inhalte einzeln zu akzeptieren oder abzulehnen, und lässt die KI zunächst einen Bericht erstellen, um die Entscheidung zu unterstützen.
• Automatische Warteschlangen können je nach Einstellung direkt annehmen, ablehnen oder zur manuellen Überprüfung weiterleiten und eignen sich für Inhaltsströme mit hoher Frequenz, bei denen die Regeln relativ stabil sind.
• Die manuelle Warteschlange ist für alle Optionen verfügbar und kann kostenlos genutzt werden, während eine vollständig automatisierte Warteschlange ein kostenpflichtiges Paket erfordert.

Asynchrone Verarbeitung und Webhook

• Anfragen nach Texten und Bildern können verzögert verarbeitet werden; die Schnittstelle gibt zunächst eine Prüfnummer zurück, und die Ergebnisse werden anschließend über eine Abfrage-Schnittstelle abgerufen.
• Nach der Konfiguration des Callbacks sendet der Dienst das Ergebnis der Ausführung an das Geschäftssystem, wodurch eine ständige Abfragen seitens des Clients vermieden wird.
• Aktionen wie Annahme oder Ablehnung in der Warteschlange können ebenfalls Webhooks auslösen, um Inhalte automatisch zu verbergen, Benutzer zu benachrichtigen oder Tickets zu erstellen.

Anpassbare Regeln, Wörterlisten und Analyse

• Die Plattform unterstützt individuell anpassbare Prüfparameter sowie eine Liste von zu verbietenden Wörtern, wodurch derselbe Erkennungsfunktionsumfang an unterschiedliche Gemeinschaften oder Altersklassen angepasst werden kann.
• Die Admin-Oberfläche bietet einen Playground, in dem man zunächst mit Beispieldaten die Rückgabenergebnisse betrachten kann, um anschließend Schwellenwerte und Handlungslogiken festzulegen.
• Die Mengenanalyse dient dazu, Aufrufe zur Überprüfung sowie den Ressourcenverbrauch zu verfolgen. Bei mehreren Projekten wird jeweils separat abgerechnet, was die Kostenerfassung nach Kunde oder Geschäftsbereich erleichtert.

Discord-Bot

• Der Administrator kann den ContentMod-Bot in einen Discord-Server hinzufügen und anschließend das ContentMod-Konto über Befehle verbinden.
• Roboter werden zur automatischen Überprüfung von Servernachrichten eingesetzt. Nach der Entbindung muss der Roboter in Discord deinstalliert oder entfernt werden, um den Zugriff vollständig zu beenden.
• Bei der Autorisierung sollten die vom Roboter beantragten Serverrechte überprüft werden, und nach Deaktivierung sollten die nicht mehr benötigten Rechte sowie Projekt-Schlüssel entzogen werden.

Eingabe und Ausgabe

Anmeldeprozess

1. Erstellen Sie Konten und Projekte, holen Sie sich im Projekt-Backend die öffentliche und private Schlüssel ab und lagern Sie diese getrennt für die Entwicklungs-, Test- und Produktionsumgebung auf.
2. Wählen Sie entweder die REST API oder installieren Sie das TypeScript SDK, initialisieren Sie den Client und stellen Sie sicher, dass der Schlüssel nur auf der Serverseite gespeichert wird.
3. Zuerst werden in der Playground repräsentativer Text und Bilder verwendet, um die Risikokategorien, die Zuverlässigkeit sowie die empfohlenen Maßnahmen zu testen.
4. Platzieren Sie den Überprüfungsaufruf vor der Veröffentlichung des Inhalts oder nach dem Hochladen im Prozess und wählen Sie je nach Geschäftsrisiko eine sofortige Rückmeldung, verzögerte Verarbeitung oder einen Webhook aus.
5. Etablieren Sie eine manuelle oder automatische Überprüfungsqueue und konfigurieren Sie Regeln für Ablehnung, Weiterleitung zur Überprüfung, Benachrichtigung und Beschwerden, um nicht nur von einer einzigen Bewertung abhängig zu sein.
6. Überwachen von Tokens, Fehlentscheidungen, Übersehungen und Verarbeitungsverzögerungen sowie regelmäßige Neukalibrierung der Regeln mit echten Beispielen.

API und SDK

Preispakete

Die Abrechnung erfolgt projektbezogen über Stripe, wobei verschiedene Projekte im selben Konto getrennt abgerechnet werden. Der offizielle Preis ist eine monatliche Gebühr in US-Dollar; Steuern, die Währung der Abrechnung sowie die Zahlungsmethoden können je nach der tatsächlichen Abrechnungsseite variieren.

Sowohl Starter als auch Pro beinhalten Bildprüfung, Prüfungsqueue, Mehrsprachigkeit und Webhooks. In den allgemeinen Bedingungen werden keine Angaben zu Rückerstattungen, zum Zeitpunkt der Kündigung oder zur Handhabung ungenutzter Tokens gemacht. Dies sollte vor dem Kauf auf der Zahlelseite oder über die Support-Kanäle geklärt werden.

Mehrsprachigkeit und Plattformunterstützung

• Auf der Produktseite wird angegeben, dass die Textüberprüfung in mehr als 50 Sprachen möglich ist, doch es werden weder die Genauigkeitsraten für jede Sprache, noch regionale Unterschiede oder eine vollständige Liste der Sprachen bereitgestellt.
• Die Hauptbedienplattform ist das Web-Management-Backend; die tatsächliche Prüffunktion wird durch Server-APIs, SDKs, Webhooks sowie Discord-Bots in die Anwendungen integriert.
• Es wurden keine iOS-, Android- oder native Desktop-Anwendungen für Endverbraucher gefunden.

Open Source und kommerzielle Nutzung

Die ContentMod-Hosting-Plattform sowie das Überprüfungsmodell werden nicht als Open-Source-Produkte angesehen. Die Metadaten des offiziellen TypeScript SDK-Pakets in npm geben an, dass eine MIT-Lizenz gilt. Im Code-Repository gibt es jedoch kein separates Lizenzdokument; bei der Wiederverwendung des SDK-Quellcodes sollte daher die geltende Lizenzbedingung erneut überprüft werden.

Das Zahlungsmodell richtet sich an den Zugang zu Geschäftsplattformen, doch die Nutzer müssen weiterhin sicherstellen, dass die eingereichten Inhalte, die Überprüfungsregeln sowie die endgültige Handhabung den örtlichen Gesetzen, Verträgen sowie den Richtlinien ihrer eigenen Community entsprechen. Die Ausgaben des Modells übertragen keine Urheberrechte an Drittinhalten und befreien auch nicht von der Verpflichtung zu manueller Überprüfung und Beschwerdemanagement.

Privatsphäre und Sicherheit

• Die Datenschutzrichtlinie legt fest, dass Kontoinformationen, API-Nutzungsdaten sowie Cookies erfasst werden und zur Bereitstellung von Diensten, zur Kommunikation bezüglich Rechnungen, zum Schutz der Sicherheit sowie zur Leistungsanalyse verwendet werden.
• Die Plattform nutzt die von Cloudflare bereitgestellten API-Infrastruktur und Sicherheitsdienste. Die Hostung der Frontend-Seiten erfolgt über Vercel, und die Zahlungen werden von Stripe pro Projekt abgewickelt.
• Der Anbieter verspricht, personenbezogene Daten weder zu verkaufen noch zu vermieten, kann jedoch notwendige Daten mit den Betreibern oder mit Behörden teilen, die aufgrund von Gesetzen eine Anfrage stellen.
• Die Richtlinien erlauben es den Nutzern, die Anfrage auf Zugriff, Aktualisierung oder Löschung von Kontodaten zu stellen sowie unnötige Analyse-Cookies abzuschalten.
• In den offiziellen Dokumenten wird nicht angegeben, wie lange die zu prüfenden Texte und Bilder gespeichert werden sollen, wo die Daten aufbewahrt werden oder ob sie für das Training von Modellen verwendet werden. Vor der Verarbeitung personenbezogener Daten muss dies durch einen Vertrag festgelegt werden.
• Jede automatische Überprüfung kann zu Fehlentscheidungen oder Übersehungen führen. In Szenarien mit hohem Risiko sollten Mechanismen für manuelle Überprüfung, Einspruch, Protokollierung sowie zur Abschwächung von Störungen vorhanden sein.

Häufige Fragen

Welchen Inhalt kann ContentMod überprüfen?

Es bearbeitet hauptsächlich Texte und Bilder und gibt Sicherheitsbeurteilungen, Risikowerte, sensible Kategorien sowie Empfehlungen für weitere Schritte aus; eine Überprüfung von Audiodateien oder Videos ist derzeit noch nicht verfügbar.

Wie werden Texte und Bilder in Tokens umgerechnet?

Jede Textüberprüfung verbraucht 1 Token, jede Bildüberprüfung verbraucht 3 Tokens. Auch die Aufrufe der KI in der Warteschlange müssen in die Planung des Ressourcenverbrauchs einbezogen werden.

Gibt es eine kostenlose Lösung?

Die manuelle Überprüfungsqueue kann kostenlos genutzt werden, doch auf der offiziellen Preisseite wird das vollständige kostenlose API-Paket nicht aufgeführt. Die Preise für die Versionen Starter und Pro betragen jeweils 20 US-Dollar bzw. 69 US-Dollar pro Monat.

Kann das Ergebnis direkt zur automatischen Löschung verwendet werden?

Technisch ist die Bearbeitung über automatische Warteschlangen und Webhooks möglich, doch für wichtige Konten oder Inhalte mit hohem Risiko sollten manuelle Überprüfungen sowie Reklamationsmöglichkeiten beibehalten werden.

Wird eine API und ein SDK bereitgestellt?

Die Plattform bietet REST-APIs, OpenAPI-Spezifikationen sowie ein TypeScript-SDK. Zudem ist es möglich, über Discord-Bots auf den Server zuzugreifen, um Prüfungen durchzuführen.

Ist ContentMod ein Open-Source-Produkt?

Die Hosting-Plattformen sowie die Überprüfungsmodelle gelten nicht als Open Source. Die TypeScript SDK-Pakete sind unter der MIT-Lizenz veröffentlicht, doch der Abonnementsdienst selbst erhält dadurch keine Eigenschaften eines Open-Source-Produkts.