ContentMod

Qu’est-ce que ContentMod ?

ContentMod est un service d’analyse de contenu par IA destiné aux développeurs et aux équipes de gestion de plateforme, permettant d’analyser les textes et images soumis par les utilisateurs et d’intégrer des jugements de risque dans le flux de travail du produit. Il convient aux communautés sociales, au e-commerce, aux outils éducatifs, à la collaboration d’entreprise et à d’autres scénarios impliquant du contenu généré par les utilisateurs.

Le produit est axé sur les API de gestion et l’interface d’administration, tout en offrant un SDK TypeScript, des spécifications OpenAPI, une file d’attente de validation, des webhooks ainsi que des robots Discord. Ce n’est pas un système de gestion de contenu universel, et il ne peut pas remplacer les règles communautaires propres à la plateforme ni son mécanisme de recours manuel.

Fonction principale

Vérification de texte

• Après avoir saisi un texte, l’interface renvoie un jugement de sécurité, un degré de confiance, une évaluation émotionnelle, un thème, un score de risque et des catégories sensibles.
• Le résultat comprend des actions recommandant de refuser ou de transférer à une vérification manuelle, et peut également générer un texte filtré avec les mots inappropriés remplacés par des astérisques.
• Des métadonnées personnalisées telles que le numéro d’utilisateur peuvent être ajoutées, afin de faciliter la liaison des enregistrements de validation avec le contenu ou les comptes dans le système d’entreprise.

Vérification des images

• Les images peuvent être soumises via une adresse URL accessible ou une chaîne de caractères Base64, et conviennent pour les profils, les photos de produits, les images associées aux posts et les pièces jointes dans les chats.
• La sortie comprend un jugement de sécurité, une description de l’image, un score de risque, le thème, la classification du contenu, les catégories sensibles et le degré de gravité.
• L’audit des images consomme 3 tokens par image, ce qui est plus coûteux que l’audit du texte qui ne consomme que 1 token par fois.

File d’audit

• La file d’attente manuelle permet aux auditeurs d’accepter ou de rejeter le contenu un par un, et autorise l’IA à générer d’abord un rapport pour faciliter la prise de décision.
• La file d’attente automatique peut, selon la configuration, accepter directement, refuser ou transférer vers une vérification manuelle, ce qui convient aux flux de contenu à haute fréquence mais dont les règles sont relativement stables.
• La file d’attente manuelle est accessible à tous les forfaits et peut être utilisée gratuitement, tandis que la file d’attente entièrement automatisée nécessite un forfait payant.

Traitement asynchrone et webhook

• Les demandes de texte et d’images peuvent être traitées en différé : l’interface renvoie d’abord un numéro de vérification, puis les résultats sont obtenus via une interface de consultation.
• Après la configuration du callback, le service enverra les résultats de l’exécution au système métier, réduisant ainsi les requêtes de polling continues du client.
• Les opérations de validation, de rejet, etc., dans la file d’attente peuvent également déclencher un webhook, ce qui permet de cacher automatiquement le contenu, d’informer les utilisateurs ou de créer des tickets.

Règles personnalisées, glossaire et analyse

• La plateforme prend en charge des paramètres de vérification personnalisables ainsi qu’une liste de mots interdits, permettant d’adapter les mêmes capacités de détection aux différentes communautés ou exigences de classification par âge.
• L’interface d’administration propose un Playground permettant d’observer les résultats de retour à l’aide de contenus d’exemple, avant de déterminer les seuils et la logique de traitement.
• L’analyse des volumes est utilisée pour suivre les appels d’audit et la consommation des projets ; pour plusieurs projets, le calcul est effectué séparément, ce qui facilite le suivi des coûts par client ou par ligne de business.

Robot Discord

• L’administrateur peut ajouter le bot ContentMod à un serveur Discord, puis lier le compte ContentMod à l’aide d’une commande de connexion.
• Les robots sont utilisés pour examiner automatiquement les messages du serveur ; après déconnexion, il est encore nécessaire de les désinstaller ou de les supprimer sur Discord pour mettre complètement fin à l’accès.
• Lors de l’autorisation, il convient de vérifier les permissions serveur demandées par le robot, et de révoquer les permissions ainsi que les clés de projet non plus nécessaires une fois celui-ci désactivé.

Entrée et sortie

Processus d’accès

1. Créer un compte et un projet, obtenir la clé publique et la clé privée dans l’interface backend du projet, et les conserver séparément pour les environnements de développement, de test et de production.
2. Choisissez la REST API ou installez le SDK TypeScript, initialisez le client et assurez-vous que les clés ne soient stockées que du côté serveur.
3. Tout d’abord, utilisez le Playground avec des textes et des images représentatifs pour tester les catégories de risque, le degré de confiance et les actions recommandées.
4. Placer l’appel de vérification dans le processus avant la publication du contenu ou après son téléchargement, et choisir entre un retour synchrone, un traitement différé ou un webhook en fonction du risque métier.
5. Créer des files d’attente de vérification manuelle ou automatique, configurer des règles de rejet, de transfert à une autre vérification, de notification et de recours, afin d’éviter de dépendre uniquement d’un seul score.
6. Surveiller les tokens de surveillance, les faux positifs, les faux négatifs et les retards de traitement, et recalibrer régulièrement les règles à l’aide d’échantillons réels.

API et SDK

Forfait de prix

La facturation s’effectue par projet et est gérée via Stripe ; les différents projets d’un même compte sont facturés séparément. Le prix public est indiqué en dollars américains par mois, tandis que les taxes, la monnaie de facturation selon la région et les méthodes de paiement peuvent varier selon la page de facturation réelle.

Les versions Starter et Pro incluent tous deux la modération des images, une file d’attente de modération, le multilingue et les webhook. Les conditions publiques ne précisent pas les modalités de remboursement, la date d’effet de l’annulation ou ce qu’il advient des tokens non utilisés ; il convient de vérifier ces points sur la page de paiement ou via les canaux d’assistance avant achat.

Support multilingue et des plateformes

• La page du produit indique que la modération de texte couvre plus de 50 langues, mais ne divulgue pas les taux de précision par langue, les différences régionales ni une liste complète des langues.
• La plateforme principale de gestion est l’interface d’administration web, et la capacité de vérification réelle est intégrée aux applications via des API serveur, des SDK, des webhooks et des bots Discord.
• Aucune application native pour iOS, Android ou ordinateur destinée aux consommateurs ordinaires n’a été trouvée.

Open source et utilisation commerciale

La plateforme d’hébergement et le modèle de modération ContentMod ne sont pas considérés comme des produits open source. La métadonnée du paquet npm du SDK officiel TypeScript indique une licence MIT, mais le répertoire de code ne contient pas de fichier de licence distinct ; il convient de vérifier plus en détail le texte de licence applicable lors de la réutilisation du code source du SDK.

Les forfaits payants s’adressent à l’intégration sur des plateformes commerciales, mais les utilisateurs doivent néanmoins s’assurer que le contenu soumis, les règles de modération et la décision finale sont conformes aux lois locales, aux contrats ainsi qu’à leurs propres politiques communautaires. La sortie du modèle ne transfère pas les droits d’auteur sur des contenus tiers, ni ne dispense de la révision manuelle et des procédures de recours.

Confidentialité et sécurité

• La politique de confidentialité précise que des informations relatives au compte, des historiques d’utilisation de l’API et des cookies sont collectés, et qu’ils sont utilisés pour fournir les services, gérer la communication relative aux factures, assurer la sécurité et analyser les performances.
• La plateforme utilise Cloudflare pour ses infrastructures API et ses services de sécurité, le hébergement du front-end est assuré par Vercel, et les paiements sont gérés par Stripe projet par projet.
• Le service indique qu’il ne vendra ni ne louera d’informations personnelles, mais qu’il peut partager les données nécessaires avec les prestataires de services opérationnels ou les organismes chargés de traiter les demandes conformément à la loi.
• La politique autorise les utilisateurs à demander l’accès, la mise à jour ou la suppression des données de leur compte, ainsi qu’à se désinscrire des cookies d’analyse non nécessaires.
• Les documents publics ne précisent pas la durée de conservation spécifique des textes et images soumis à examen, la zone où les données sont stockées, ni s’ils sont utilisés pour l’entraînement de modèles ; il convient de confirmer ces points par contrat avant de traiter des informations personnelles.
• Toute vérification automatique peut commettre des erreurs ou omettre des cas, il convient donc de mettre en place des mécanismes de révision manuelle, de recours, de journalisation et de dégradation en cas de panne pour les scénarios à haut risque.

Questions fréquentes

Quel type de contenu ContentMod peut-il modérer ?

Il traite principalement du texte et des images, en retournant une évaluation de sécurité, un score de risque, des catégories sensibles ainsi que des actions recommandées ; il ne dispose pas pour l’instant de capacités d’analyse audio ou vidéo.

Comment les textes et les images sont-ils convertis en tokens ?

Chaque vérification de texte consomme 1 token, et chaque image vérifiée consomme 3 tokens. Les appels à l’IA dans la file d’attente doivent également être pris en compte dans la planification de la consommation du projet.

Y a-t-il une solution gratuite ?

La file d’audit manuel est disponible gratuitement, mais la page de tarification publique ne liste pas l’ensemble des forfaits API gratuits. Les abonnements Starter et Pro coûtent respectivement 20 dollars et 69 dollars par mois.

Les résultats peuvent-ils être utilisés directement pour la suppression automatique ?

Techniquement, le traitement peut être déclenché via des files d’attente automatiques et des webhooks, mais les comptes importants ou les contenus à haut risque doivent conserver une voie de révision manuelle et de recours.

Des API et des SDK sont-ils fournis ?

La plateforme propose une API REST, des spécifications OpenAPI et un SDK TypeScript, et il est également possible d’accéder à la vérification du serveur via un bot Discord.

Est-ce que ContentMod est un produit open source ?

Les plateformes de gestion et les modèles de vérification ne sont pas considérés comme open source. Le package TypeScript SDK indique MIT, mais le service d’abonnement lui-même n’en devient pas pour autant open source.