Convai

Was ist Convai?

Convai ist eine Echtzeit-AI-Charakterplattform, die von Convai Technologies Inc. entwickelt wurde. Sie dient hauptsächlich dazu, in Spielen, im XR-Bereich, in virtuellen Welten sowie bei Schulungsprogrammen NPCs oder virtuelle Personen zu erstellen, die in der Lage sind, zu kommunizieren, ihre Umgebung wahrzunehmen und Aktionen auszuführen.

Es vereint Charaktereigenschaften, Wissen, Sprachmodelle, Sprache, visuelle Elemente, Animationen sowie Schnittstellen zur Laufzeit – Entwickler können damit ohne Code Tools erstellen und diese Charaktere in Unity, Unreal Engine oder Webanwendungen einbinden.

Hauptfunktionen

Rollendenken und Wissensdatenbank

• Der Charakterersteller ermöglicht es, Namen, Hintergrundgeschichten, Ziele, Persönlichkeitsmerkmale, Sprachstil sowie Verhaltensgrenzen festzulegen, um die Identität des Charakters und seine Antwortmuster zu begrenzen.
• Die Wissensdatenbank ermöglicht das Hochladen von Projektunterlagen, sodass die KI auf der Grundlage einer bestimmten Weltanschauung, eines Produkts, eines Kurses oder einer Aufgabe antworten kann – anstatt sich nur auf allgemeines Modellwissen zu stützen.
• Die Erzählstruktur und die Aktionseinstellungen können Ereignisse, Ziele sowie ausführbare Handlungen definieren, sodass der Dialog dazu beitragen kann, Aufgaben oder den Spielverlauf voranzutreiben.

Echtzeit-Sprach- und Mehrsprachig-Dialoge

• Während des Betriebs nimmt es die sprachlichen oder textbasierten Eingaben der Spieler entgegen und gibt Text, synthetisierte Sprache sowie mit den Antworten verbundene Charakteraktionen zurück.
• Die Plattform bietet mehr als 60 Sprachen sowie über 500 verschiedene Stimmenoptionen. Welche Sprachen, Stimmen und Drittanbieterstimmen verfügbar sind, hängt vom aktuellen Plan ab.
• Die Echtzeit-Erfahrung wird durch das Netzwerk, die Spracherkennung, die Reaktionszeit der Modelle sowie die Render-Verarbeitung beeinflusst. Vor der Veröffentlichung sollten Verzögerungen in den Zielregionen und auf den jeweiligen Geräten getestet werden.

Visuelle Wahrnehmung und Umweltwahrnehmung

• Die Sehfähigkeit kann Bilder von der Kamera, Informationen aus der ersten Person oder Szenendaten des Spiels empfangen, um es dem Charakter zu ermöglichen, Objekte zu beschreiben und entsprechend auf die Umgebung zu reagieren.
• Entwickler können dem Charakter Szenenmetadaten, Objekte und Zustände übermitteln, damit die Antworten mit der aktuellen Position, sichtbaren Objekten oder Ereignissen in Verbindung stehen.
• Die visuelle Erkennung kann Objekte übersehen oder Situationen falsch einordnen; bei Aspekten wie Sicherheit, Bewertung von Lernergebnissen und der Anwendung in der realen Welt darf man sich nicht ausschließlich auf automatische Ergebnisse verlassen.

Bewegungen, Animationen und Lippenbewegungen sind synchronisiert.

• Charaktere können aufgrund von Dialogen Gesten, Gesichtsausdrücke, Lippenbewegungen sowie Animationen auf der Serverseite auslösen; außerdem können sie komplexe Ablauffolgen ausführen, die vom Entwickler konfiguriert wurden.
• Action-Interfaces eignen sich für Aufgaben wie das Öffnen von Türen, das Aufnehmen von Gegenständen, das Bewegen, die Orientierung oder das Abspielen von Animationen, müssen jedoch durch den Projektcode sicher dafür sorgen, dass die verfügbaren Aktionen den Charakteren zur Verfügung gestellt werden.
• Mit Avatar Studio können im Web das Erscheinungsbild, die Kleidung, die Szenen, die Beleuchtung, die Kameras sowie die Animationen konfiguriert werden, wodurch die künstlerische Gestaltung und die Arbeit am Drehbuch in der Prototypenphase reduziert werden.

Erinnerung, Bewertung und Rollenversionen

• Das Pay-Plan bietet Funktionen für Langzeitspeicherung und Rollenversionen, die es den Rollen ermöglichen, Informationen über mehrere Sitzungen hinweg beizubehalten und verschiedene Versionen nach Änderungen zu verwalten.
• Die Professional- und höheren Pakete bieten eine Sitzungsbewertungsfunktion, die geeignet ist, um die Qualität der Interaktion, die Konstanz der Rollen sowie die Erfüllung der Aufgaben zu überprüfen.
• Das Erinnern erhöht das Risiko, dass persönliche Informationen sowie fehlerhafte Daten langfristig gespeichert bleiben. Die Anwendung sollte daher die zu speichernden Inhalte begrenzen und Mechanismen zum Löschen, Korrigieren und Neustarten vorsehen.

Codefreies Erlebnis und Bewegungserfassung

• Playground dient zum Erstellen, Anpassen und Testen von Charakteren und eignet sich dazu, vor dem Schreiben des Codes die Persönlichkeiten, das Wissen sowie die Dialoge zu überprüfen.
• Convai Sim eignet sich für Simulationen in größerem Maßstab und ermöglicht es den Charakteren, sich in der Szene zu bewegen und mit Objekten zu interagieren.
• XR Animation Capture ermöglicht es, menschliche Bewegungen mit Geräten der Meta Quest-Serie aufzunehmen und diese Animationen anschließend für Charaktere in Unity zu verwenden.

Eingabe und Ausgabe

Verwendungsprozess

1. Registrieren Sie ein Konto und erstellen Sie eine Figur, indem Sie deren Hintergrundgeschichte, Persönlichkeit, Ziele, Sprache und Sprechstil angeben.
2. Laden Sie lizenzierter Wissensmaterialien hoch, legen Sie Themen fest, zu denen die Rollen antworten dürfen, sowie verbotene Inhalte und Erzählregeln.
3. Testen Sie die Charaktere im Playground in mehreren Runden mit Text- und Spracheingaben, um Fakten, Tonfall, Verzögerungen und abweichende Eingaben zu überprüfen.
4. Wählen Sie das Unity SDK, einen Unreal Engine-Plugin, ein Web-Plugin oder eine API aus, erstellen Sie einen Projekt-Schlüssel und verbinden Sie sich gemäß der Dokumentation.
5. Übertragen Sie Szenenobjekte, Aktionen, Animationen und visuelle Informationen auf die Charaktere und begrenzen Sie die ausführbaren Aktionen sowie deren Berechtigungen.
6. Veröffentlichen Sie erst nach Durchführung von Tests zu Konkurrenzfähigkeit, Kapazitäten, Privatsphäre, Inhaltssicherheit und Fehlerrückfallmechanismen im Zielgerät sowie im Netzwerkumfeld.

Plattformen und Integration

Preispakete

Eine Interaktion wird als eine Eingabe des Benutzers und eine Reaktion der Rolle gezählt; dies gilt sowohl für Sprache als auch für Text. Nicht genutzte monatliche Interaktionen werden nicht übertragen, und die Obergrenze für parallele Aktionen wird aus der Summe aller Rollen und Benutzer unter derselben API-Schlüssel berechnet.

Der jährliche Preis für Business ist derzeit als „Begrenzte Zeit Angebot“ ausgewiesen; der Preis beinhaltet keine möglichen Steuern und Gebühren. Region, Konto, Aktionen sowie Zahlungszyklen können den Endbetrag beeinflussen; es gelten die Angaben auf der tatsächlichen Zahlelseite oder im Verkaufsvertrag.

Wichtige Unterschiede im Plan

API, SDK und Open-Source-Status

• Die Plattform bietet API-Dokumentation, ein Unity SDK, Plugins für Unreal Engine, Web-Plugins, ein Modulframework sowie Beispielprojekte, die zur Anpassung der Laufzeitintegration verwendet werden können.
• Der aktuelle Unreal Engine SDK sowie die Repositorys mit älteren Plugins sind unter der Apache 2.0-Lizenz lizenziert, während einige Unity WebGL-, Web SDK- und Beispiel-Repositorys keine Lizenz angben.
• Dass ein Code-Repository öffentlich zugänglich ist, bedeutet nicht, dass eine beliebige Vervielfältigung oder kommerzielle Nutzung gestattet ist; Repositorien ohne Lizenz sollten standardmäßig durch Urheberrechtsschutz geschützt werden.
• Convais Plattform für Hosted-Rollen, Modelle, Konten und Cloud-Dienste ist kein vollständig open-source-Produkt. Die Open-Source-Verfügbarkeit von SDKs oder Plugins bedeutet nicht automatisch, dass auch die Plattform selbst open source ist.

Inhaltsrechte, Privatsphäre und Sicherheit

• Die Bestimmungen ordnen Rollenbeschreibungen, Wissen, Szenarien, Sprachdaten, Texte sowie visuelle Informationen den Kundeninhalten zu und legen fest, dass der Kunde weiterhin die Kontrolle über seine Kundeninhalte sowie über von KI erzeugte Inhalte behält.
• Das Creator-Paket gewährt Convai eine weltweite, lizenzfreie Genehmigung, Kundeninhalte sowie von KI erzeugten Inhalt zu speichern und zu nutzen, um Dienste zu entwickeln und zu verbessern, sofern nicht ausdrücklich etwas anderes schriftlich vereinbart wurde.
• Das Enterprise-Paket sammelt, speichert oder verwendet keine von Benutzern erstellten Daten ohne ausdrückliche Zustimmung; die genaue Handhabung wird durch die Unternehmensvereinbarungen und Einstellungen festgelegt.
• Laut der Datenschutzerklärung werden Informationen zu Kommunikationen im Zusammenhang mit dem Konto, Geräten, IP-Adressen, Nutzungsmustern, Standortschätzungen sowie Interaktionen mit anderen Benutzern gesammelt. Diese Daten können möglicherweise mit Dienstleistern für Cloud-, Hosting- oder Analyseleistungen geteilt werden.
• Nach Schließung des Kontos werden die Kontodaten laut Richtlinien innerhalb von 30 Tagen gelöscht; wenn das Konto weiterhin inaktiv bleibt, werden die Kontodaten nach zwei Jahren gelöscht, wobei andere Daten zu Geschäfts- und Compliance-Zwecken weiterhin aufbewahrt werden können.
• Die Daten können in die Vereinigten Staaten übertragen werden. Wenn Benutzer Rollen für Endnutzer einrichten, müssen sie selbst Benachrichtigungen senden, die notwendigen Zustimmungen einholen und die Rechte der Endnutzer berücksichtigen.
• Die Plattform bietet Sicherheitsmechanismen für die Inhalte und bietet Unternehmen Optionen für sichere, konforme sowie lokal installierbare Lösungen. Dennoch können Netzwerkübertragungen sowie generative Modelle keine Fehlerfreiheit oder absolute Sicherheit garantieren.

Zahlungen, Rückerstattungen und Nutzungseinschränkungen

• Ein kostenpflichtiges Abonnement wird nach dem jeweiligen Abrechnungszeitraum berechnet. Die Zahlungen sind in der Regel nicht rückerstattbar, es sei denn, es wurde etwas anderes vereinbart. Steuern müssen separat entrichtet werden.
• Die Preiserhöhung tritt in der Regel ab dem nächsten Abrechnungszyklus in Kraft. Die Stornierungsfristen, die Herabstufung sowie die verbleibenden Kontingente sollten auf der Kontoauszugsseite bestätigt werden.
• Es ist verboten, mehrere Konten zu erstellen, um wiederholt die kostenlosen Leistungen in Anspruch zu nehmen. Eine missbräuchliche Nutzung kann dazu führen, dass Gebühren nach den üblichen Tarifen erhoben werden oder der Service eingestellt wird.
• Antworten der Charaktere, visuelle Erkennung sowie Entscheidungen bezüglich der Handlungen können ungenau sein. In Bereichen wie Medizin, Recht, Finanzen, Sicherheitstraining oder bei der Steuerung echter Geräte ist eine zusätzliche menschliche Überwachung sowie die Anwendung klarer Regeln erforderlich.
• Die Parallelverarbeitung wird über API-Schlüssel aggregiert; mehrere Rollen oder zahlreiche Endbenutzer teilen sich die Obergrenze; vor dem Go-Live sollten Kapazitätsprüfungen unter Berücksichtigung des Spitzenverkehrs durchgeführt werden.
• Dritte Stimmen, Modelle, Avatare, Engines und Cloud-Rendering können weitere Gebühren, Lizenzen sowie Bedingungen zur Datenverarbeitung haben.

Häufige Fragen

Wofür wird Convai hauptsächlich verwendet?

Es wird verwendet, um KI-NPCs und virtuelle Personen zu erstellen, die in der Lage sind, mithilfe von Sprache oder Text zu kommunizieren, Umgebungen wahrzunehmen, Aktionen auszuführen und Animationen darzustellen – und eignet sich somit für Spiele, XR, Schulungen sowie virtuelle Welten.

Wie viel Datenvolumen ist im kostenlosen Plan enthalten?

Der Free-Plan beinhaltet monatlich 100 Interaktionen, 60 Minuten Cloud-Rendering sowie die Möglichkeit, eine Rolle gleichzeitig zu nutzen. Nicht genutzte Interaktionen werden nicht übertragen.

Unterstützt Convai Unity und Unreal Engine?

Unterstützung. Entwickler können das Unity SDK, Unreal Engine-Plugins sowie Web-Plugins und APIs nutzen, um Charaktere in verschiedene Laufumgebungen zu integrieren.

Ist Convai ein Open-Source-Produkt?

Es handelt sich nicht um ein vollständig open-source-Produkt. Einige Unreal-Plugins nutzen die Apache 2.0-Lizenz, doch die Hostplattformen sowie die Repositorys ohne Lizenz können deshalb nicht als open source angesehen werden.

Kann die erstellte Inhalte für kommerzielle Zwecke genutzt werden?

Laut den Bedingungen besitzt der Kunde die Rechte an seinem eigenen Inhalt sowie an dem von KI erzeugten Inhalt. Dennoch muss der Nutzer sicherstellen, dass die eingegebenen Daten, Stimmen Dritter, Avatare, Animationen sowie die endgültige Ausgabe keine Rechte Dritter verletzen und dass die jeweiligen Paketbedingungen sowie Genehmigungen Dritter eingehalten werden.

Wird Convai die Dienste mit Rollendaten verbessern?

Die Bedingungen des Creator-Pakets erlauben es, Kundeninhalte sowie von KI erzeugten Inhalt zu speichern und zu nutzen, um Dienste zu entwickeln und zu verbessern – sofern nicht ausdrücklich etwas anderes schriftlich vereinbart wurde. Die Verarbeitung der Daten im Enterprise-Paket wird durch ausdrückliche Zustimmung, Einstellungen sowie Unternehmensvereinbarungen bestimmt.