Ducky

Qu’est-ce que Ducky ?

Ducky est une infrastructure de recherche entièrement gérée fournie par Lyco.AI, Inc., qui aide les développeurs à créer des index pour les applications RAG et les agents IA, à rechercher des documents et à restituer un contexte utilisable par les modèles. Les équipes n’ont pas besoin de déployer elles-mêmes des bases de données vectorielles, de gérer des pipelines séparés, ni des services de recherche mixte et de réarrangement.

Cet article présente la plateforme de recherche Ducky AI destinée aux développeurs, et non l’agent de service client Duckie, l’outil en ligne de commande du même nom ou d’autres projets de recherche. Ducky offre une console web, des API réseau, ainsi que des SDK en Python et TypeScript.

Aperçu des fonctions principales

Projet, Index et Document

Un Project représente la limite supérieure des ressources et des permissions ; un Project peut contenir plusieurs Index, et les clés API sont également liées au Project. Un Index est un ensemble de documents apparentés, et il est nécessaire de spécifier l’Index cible lors de la recherche.

• Isoler les environnements, les clients ou les applications avec des projets différents.
• Isoler les produits, la documentation, les tickets ou les documents réglementaires à l’aide d’indices différents.
• Chaque Document appartient à un Index et peut disposer d’un numéro de document personnalisé.
• Le texte principal est le contenu principalement recherché, tandis que le titre et l’adresse originale peuvent servir de champs auxiliaires.
• Les métadonnées stockent des attributs structurés tels que la catégorie, la version, les droits d’accès, l’auteur, la note et la date.
• Les clés API ne doivent être accordées qu’aux services qui ont besoin d’accéder au projet correspondant.

La conception d’Index est plus simplifiée que celle des moteurs de recherche traditionnels, ne nécessitant pas aux utilisateurs de définir à l’avance des mappages complexes. Cette configuration simplifiée signifie cependant que l’équipe doit encore concevoir elle-même les limites des données, les champs de droits d’accès, les versions des documents et les stratégies de synchronisation.

Index des textes et des documents

Les développeurs peuvent soumettre directement du texte, ou bien télécharger des fichiers PDF et des fichiers de texte en UTF-8. La documentation du fichier actuel indique que la taille maximale d’un fichier est de 60 MB ; la plateforme extraira ensuite le contenu pour effectuer la segmentation, la vectorisation et l’indexation.

• Le champ de contenu est un élément obligatoire pour l’indexation du texte.
• Le titre, l’adresse originale, l’ID du document source et les métadonnées sont des champs optionnels.
• Les valeurs de métadonnées prennent en charge les types chaîne, nombre et booléen.
• L’indexation en lot permet de soumettre jusqu’à 100 documents à la fois.
• Les méthodes SDK asynchrones conviennent au téléchargement en parallèle, mais il convient néanmoins de contrôler la concurrence côté client.
• Upsert crée ou met à jour du contenu en utilisant le même numéro de document.
• Lors de la suppression du contenu en amont, il convient d’appeler simultanément l’interface de suppression et de vérifier les résultats de l’index.

Avant de télécharger le PDF, il convient de vérifier si la version numérisée contient du texte extractible, et d’inspecter au hasard les tableaux, en-têtes et paragraphes transversaux. Même en cas d’indexation réussie pour des mises en page complexes, des erreurs de séquence ou des blocs dépourvus de contexte peuvent survenir.

Index d’images multimodales

L’indexation multimodale de Ducky permet de combiner des images et du texte pour créer des documents indexables, tout en extrayant automatiquement les informations visuelles. Actuellement, JPEG, PNG, GIF et WebP sont pris en charge ; les images peuvent être soumises via une adresse accessible ou du contenu Base64.

• Idéal pour rechercher des visuels de produits, des graphiques, des captures d’écran, des éléments de design et une base de connaissances textuelles et visuelles.
• Les requêtes en langage naturel peuvent correspondre au contenu visuel d’une image et au texte qui l’accompagne.
• La récupération de l’adresse d’image est actuellement limitée par un délai de 10 secondes.
• L’utilisation de Base64 augmente la taille du corps de la requête et les coûts de transmission.
• Le texte petit, les graphiques complexes et le contenu à faible résolution dans l’image pourraient ne pas être reconnus complètement.
• Avant le téléchargement, il convient de supprimer les informations sensibles inutiles telles que les visages, les pièces d’identité, les clés et les données des clients.

Les documents de chargement des données anciennes indiquent encore que seul le texte est pris en charge, tandis que les documents multimodaux plus récents ainsi que les pages de produits mentionnent explicitement la prise en charge des images. Cela reflète un manque de synchronisation dans la mise à jour des documents ; avant utilisation réelle, il convient de se référer aux spécifications actuelles de l’API et aux fonctionnalités du compte.

Processus de recherche et types de recherches

Ducky divise le document en blocs de contenu plus petits et génère des représentations sémantiques, puis écrit ces blocs ainsi que les métadonnées dans l’Index. Lors des recherches, il est possible d’utiliser des mots-clés, des critères sémantiques ou une combinaison des deux, et un réarrangement peut être effectué en fin de processus.

Le paramètre alpha sert à équilibrer les mots-clés et les signaux sémantiques, tandis que top_k contrôle le nombre de résultats retournés ; la plage autorisée pour ce paramètre dans le document actuel est de 1 à 100. L’équipe doit utiliser un ensemble de problèmes réels pour évaluer le taux de rappel, la précision au sommet, le délai et le coût par requête.

Comment utiliser les résultats de recherche

Retrieve peut retourner en même temps les résultats agrégés par document et des blocs de contenu indépendants, ces résultats comprenant le texte principal, les métadonnées et des scores de pertinence. L’application peut choisir les blocs les plus pertinents pour les intégrer dans les prompts du grand modèle, ou bien afficher le document correspondant à l’utilisateur.

• Les résultats du document facilitent la présentation des enregistrements complets et des documents originaux.
• Les résultats par bloc facilitent le contrôle de la longueur du contexte envoyé au grand modèle.
• Le score de corrélation est adapté au tri et au débogage, et ne doit pas être considéré comme un taux de justesse factuelle.
• Les métadonnées peuvent être utilisées pour continuer à déterminer les droits d’accès, les canaux et les versions.
• Le numéro du document original facilite le retour au système métier pour vérification et mise à jour.
• Lors de la génération de la réponse, il convient de conserver les enregistrements d’audit du document et des blocs utilisés.

Interface Ask

L’interface Ask regroupe la recherche et la réponse dans une seule requête ; une fois que l’utilisateur a soumis sa question, l’agent intelligent intégré peut effectuer des recherches étendues, raisonner à travers plusieurs documents et générer une réponse directe. La réponse comprend un niveau de confiance ainsi que des documents pertinents, ce qui convient pour créer rapidement des points d’accès aux questions-réponses.

Le degré de confiance n’est pas une garantie pour les faits juridiques, médicaux ou commerciaux ; les documents associés peuvent également être obsolètes, contradictoires ou avoir des droits inappropriés. Les applications à haut risque doivent prévoir une vérification du texte original, des seuils, un rejet automatique, une approbation manuelle et des références traçables.

Tutoriel complet d’accès

1. Inscrivez-vous et créez un projet pour définir les limites des environnements de développement, de test et de production.
2. Créez un Index dans le Projet, et planifiez sa nommer en fonction de l’usage des données et des droits d’accès.
3. Créer une clé API dédiée et la stocker dans un système de gestion des clés du côté serveur.
4. Installez le SDK Python ou TypeScript, ou choisissez d’appeler directement l’interface réseau.
5. Préparez une petite quantité de textes représentatifs, de PDF et de métadonnées pour valider d’abord la qualité du extrait et du découpage.
6. Soumettre la tâche d’indexation et enregistrer le numéro de document, vérifier la liste et les résultats de lecture du document unique.
7. Tester les questions des utilisateurs réels en utilisant la recherche par mots-clés, sémantique et mixte.
8. Ajuster alpha, top_k, les conditions de filtrage et la réarrangement, puis créer un ensemble d’évaluation en ligne.
9. Intégrer les résultats de recherche ou les réponses d’Ask dans l’application, tout en assurant la vérification des permissions et des faits.
10. Surveiller les index et les tokens de recherche, les requêtes échouées, les retards, les résultats vides et les frais excessifs.
11. Créer des tâches de synchronisation pour mettre à jour et supprimer, renouveler périodiquement les clés et réexaminer les arrangements de sauvegarde des données.

Python, TypeScript et API directe

La version actuelle du paquet Python est 0.12.0, et la version actuelle du paquet TypeScript est 1.4.1. Les versions continueront de changer ; il convient de verrouiller les dépendances en environnement de production, de consulter le journal des modifications et d’exécuter des tests de régression avant toute mise à niveau.

Sécurité de la clé API

• Ne stockez pas la clé dans l’interface frontale du navigateur, le paquet d’application mobile ou un dépôt public.
• Créez des clés séparément pour chaque projet et environnement, afin d’éviter leur utilisation commune entre clients.
• Ajouter l’authentification, les limites de requête et les journaux d’audit au backend propriétaire.
• Ne pas utiliser directement le nom d’Index fourni par l’utilisateur pour effectuer des requêtes hors limites.
• En cas de fuite de clé, la clé est immédiatement annulée, et les anomalies dans l’index, la recherche et les frais sont vérifiées.
• Masquer les clés, le texte du client et les métadonnées sensibles dans le journal.

Prix et quantité

L’indexation et la recherche utilisent des niveaux de tokens et des prix unitaires différents ; il n’est pas possible d’estimer les coûts en se basant uniquement sur le nombre de documents ou de requêtes. La longueur des documents, le fractionnement, le contexte retourné, le réarrangement et les mises à jour répétées influencent tous la consommation réelle.

La page publique ne précise pas si l’essai est renouvelé mensuellement, si le paiement se fait automatiquement à la mise en service, si les crédits non utilisés sont reportés, ni les frais de taxes, les requêtes échouées, les règles de remboursement et d’annulation. Avant d’effectuer une commande en production, il convient de confirmer ces points sur la page de paiement ou dans un contrat écrit.

Recommandations pour le contrôle des coûts

• D’abord, éliminer les doublons dans le document, nettoyer les en-têtes de modèle et les contenus redondants sans valeur pour la recherche.
• Utilisez le numéro de document upsert pour éviter de traiter chaque petite mise à jour comme un nouveau document.
• Pour les requêtes, fixez un top_k raisonnable ; ne choisissez pas par défaut 100 éléments.
• Activez le réarrangement uniquement lorsque la qualité du tri doit être améliorée.
• Utilisez les métadonnées pour filtrer et réduire la portée de la recherche, ainsi que le contexte non pertinent.
• Le cache permet une réutilisation des résultats de recherche, tout en mettant en place un mécanisme d’expiration pour les mises à jour du contenu.
• Surveillez séparément l’index et les tokens de recherche, et définissez un budget mensuel ainsi que des alertes en cas de dépassement.

GitHub, SDK et statut open source

Le cookbook est public et continue d’être mis à jour ; il peut être utilisé pour apprendre les méthodes de questions-réponses sur les documents juridiques, les recherches dans Slack, etc., mais sans licence, il n’est pas possible d’obtenir par défaut les droits de copie, de modification et de distribution à des fins commerciales. Le fait que le SDK puisse être téléchargé et installé ne signifie pas pour autant que la plateforme ou le paquet soient soumis à une licence ouverte.

Confidentialité, sécurité et conservation des données

La politique de confidentialité traite les noms, adresses e-mail, numéros de téléphone, adresses, adresses IP, navigateurs, appareils, ainsi que des données d’utilisation et de diagnostic, et utilise des cookies, des pixels et des technologies similaires. Les informations personnelles peuvent être utilisées pour gérer un compte, exécuter des contrats, communiquer, analyser, améliorer les services et effectuer du marketing.

• Les informations personnelles peuvent être partagées avec les fournisseurs de services, les parties liées, les partenaires commerciaux et les prestataires de services.
• Les données peuvent être traitées dans le pays où se trouvent l’entreprise et le traitement, et les lois de protection peuvent différer de celles du pays où se trouve l’utilisateur.
• Les données personnelles sont conservées selon les finalités commerciales, pendant la durée nécessaire pour résoudre des litiges et respecter les obligations légales ; il n’existe pas de délai public uniforme.
• L’utilisateur peut mettre à jour certaines informations dans son compte, ainsi que demander l’accès, la correction ou la suppression.
• L’entreprise s’engage à prendre des mesures de protection commercialement raisonnables, mais ne garantit pas une sécurité absolue.
• Ce service n’est pas destiné aux enfants de moins de 13 ans.

Les conditions stipulent que Ducky ne se connecte qu’aux données fournies volontairement par l’utilisateur et prend des mesures raisonnables pour protéger la confidentialité. Aucune information claire n’est actuellement divulguée concernant les lieux de stockage des données, les délais de suppression des index, les stratégies de sauvegarde, le DPA, SOC 2, ISO 27001, les détails de chiffrement, ni l’engagement complet quant à l’utilisation du contenu client pour l’entraînement des modèles.

Recommandations pour les données d’entreprise

• Ne créez pas d’index pour des informations personnelles sensibles ou des secrets clients avant la signature d’un accord de traitement des données.
• Vérifier auprès du prestataire de services le stockage des données, les sous-traitants, les finalités d’entraînement et la preuve de suppression.
• Utiliser des métadonnées pour mettre en œuvre le filtrage des locataires et des permissions, mais imposer à nouveau l’authentification au niveau du backend de l’application.
• Utilisez des données masquées ou synthétiques pour l’environnement de test, sans copier la base de connaissances de production complète.
• Conserver les données brutes en amont ainsi que la liste des index, afin d’éviter de considérer l’index hébergé comme le seul sauvegarde.
• Exporter les mappages nécessaires avant la fin du contrat, et valider les processus de suppression des documents, des blocs et des sauvegardes.

Précision, droits d’auteur et limites commerciales

Ducky est chargé de rechercher et de générer des réponses à partir d’index, mais l’utilisateur doit néanmoins examiner les résultats. Les scores de recherche, le réarrangement des résultats et la confiance d’Ask ne prouvent pas que les réponses sont exactes, complètes ou adaptées aux décisions à haut risque.

• Seul l’équipe d’indexation a le droit de traiter les documents et de les transmettre à des services externes.
• Vérifier les droits contractuels pour le contenu client, les informations du personnel et les bases de données sous licence.
• L’application de recherche doit mettre en œuvre un contrôle d’accès avant et après la recherche.
• Lors de la présentation des réponses aux utilisateurs, afficher l’emplacement du texte original et la date de mise à jour.
• Mettre en place des refus de réponse et une révision manuelle pour les documents en conflit, sans résultat et à faible fiabilité.
• Les conditions ne précisent pas complètement les droits relatifs aux données clients et à la génération de résultats ; l’entreprise doit confirmer cela par écrit.
• La plateforme ne doit pas, sans accord écrit, la copier, la modifier ou la distribuer.

Adapté aux utilisateurs et aux scénarios

• Équipe de développement SaaS : Ajout d’un centre d’aide et d’une recherche intégrée à l’application pour le produit.
• Développeur d’agent : fournit le contexte pertinent pour les appels d’outils et les réponses.
• Équipe e-commerce : Recherche de produits par langage naturel, images et métadonnées.
• Équipe de connaissances de l’entreprise : recherche de manuels, de politiques, de procès-verbaux de réunions et de rapports internes.
• Équipe juridique et de conformité : création d’un prototype de questions-réponses avec vérification du texte original.
• Produit client : Recherche de tickets, de documents produits et de connaissances sur les solutions.
• Équipe des données : Vérification rapide des mots-clés, de la sémantique, ainsi que des stratégies de mélange et de réarrangement.

Avantages et principales limites

Avantages principaux

• Gestion d’index, partitionnement, recherche sémantique et réorganisation, afin de réduire l’infrastructure à mettre en place.
• Il offre en même temps des mots-clés, une recherche sémantique, une recherche mixte et un filtrage de métadonnées avancé.
• Prend en charge le texte, PDF, les fichiers texte et les images multimodales.
• Python, TypeScript et les API directes couvrent les méthodes d’accès courantes.
• L’interface Ask peut renvoyer directement la réponse, le degré de confiance et les documents associés.
• La limite gratuite permet de valider d’abord la qualité à l’aide d’un petit ensemble de données réel.

Principales restrictions

• L’indexation et la recherche utilisent des tokens de facturation différents, et leurs coûts doivent être surveillés séparément.
• Les poids mixtes, le découpage en blocs, les métadonnées et les permissions nécessitent toujours une conception et une évaluation par l’équipe.
• Les réponses générées par Ask peuvent ne pas être exactes et ne remplacent pas le texte original ni une vérification professionnelle.
• La portée de la prise en charge de certains documents anciens et des nouvelles pages multimodales n’est pas synchronisée.
• Les informations publiques concernant le stockage des données, l’authentification, les utilisations d’entraînement et la suppression sont insuffisantes.
• La plateforme est fermée, le cookbook et le SDK publics ne présentent actuellement aucune déclaration de licence.

Résumé

Ducky convient aux équipes de développement qui souhaitent intégrer rapidement des index de documents hébergés, une recherche mixte, un réarrangement et des interfaces de questions-réponses pour leurs produits d’IA, sans vouloir gérer eux-mêmes un cluster de recherche. Avant le déploiement, il est essentiel de vérifier la qualité des données réelles, l’isolation des droits, les coûts liés aux deux types de tokens, les contrats de confidentialité, les processus de suppression et les limites d’utilisation du code d’exemple sans licence.

Questions fréquentes

Quel type d’outil est Ducky ?

Il s’agit d’une infrastructure de recherche RAG entièrement gérée, qui offre l’indexation de documents, la recherche par mots-clés et sémantique, le réarrangement des résultats ainsi qu’une interface de questions-réponses directes, accessible principalement aux applications via des API et des SDK.

Ducky peut-il être utilisé gratuitement ?

Il est possible de faire une version d’essai ; la version d’essai comprend actuellement 100 000 tokens d’indexation et 100 000 tokens de recherche. La page publique ne précise pas si ces quotas sont renouvelés périodiquement.

Combien coûte le pack Launch ?

Le tarif actuel est de 290 dollars par mois, ce qui inclut 3 millions de tokens d’indexation et 3 millions de tokens de recherche par mois, ainsi que du support exclusif via Slack.

Comment est facturé l’excédent d’utilisation ?

La surcharge d’indexation est de 0,014 dollar américain par 1K de tokens, et la surcharge de recherche est de 0,079 dollar américain par 1K de tokens. Il convient de définir des mécanismes de surveillance et des budgets séparés.

Est-ce que cela prend en charge PDF et images ?

Prend en charge les PDF, les fichiers texte et les images multimodales. Les formats d’images incluent JPEG, PNG, GIF et WebP ; les limites concernant les fichiers et les images doivent être vérifiées selon l’interface actuelle.

Quelles méthodes de recherche sont prises en charge ?

Prend en charge la recherche par mots-clés, sémantique et mixte, permet d’ajuster les poids avec alpha, ainsi que le filtrage des métadonnées et un réarrangement optionnel.

Quelle est la différence entre l’interface Ask et une recherche ordinaire ?

La recherche ordinaire renvoie des documents et des blocs ; Ask continue de synthétiser les réponses en indiquant le degré de confiance et les documents associés. Dans les deux cas, il est nécessaire d’appliquer sa propre vérification des droits d’accès et des faits.

Y a-t-il des SDK pour Python et TypeScript ?

Oui, pour Python, le package s’appelle duckyai, et pour TypeScript, il s’appelle duckyai-ts. Il est également possible d’appeler l’API directement à l’aide de requêtes réseau standard.

Est-ce que ducky-cookbook est open source ?

Le dépôt est accessible au public, mais aucun fichier de licence ni étiquette SPDX n’a été détecté pour le moment. L’accès public ne signifie pas que l’autorisation de modification, d’utilisation commerciale et de redistribution est accordée.

La plateforme Ducky est-elle open source ?

Comme le code n’est pas open source, les conditions stipulent que la plateforme, les algorithmes et les technologies associées relèvent du droit de propriété intellectuelle de l’entreprise. Le fait que les SDK et les dépôts d’exemples soient rendus publics ne change pas le caractère fermé de la plateforme.