DataNormalizer

Was ist DataNormalizer?

DataNormalizer ist ein auf der Webseite verfügbares AI-Tool zur Datenreinigung, das dazu dient, Werte in Tabellen, die dieselbe Bedeutung haben, aber unterschiedlich geschrieben sind, in eine einheitlichere Form zu bringen.

Es befasst sich hauptsächlich mit Schreibfehlern, Abkürzungen, Groß- und Kleinschreibung sowie Unterschieden in Synonymen und Zahleneingaben, die durch manuelle Eingabe entstehen. Es handelt sich dabei nicht um ein Modellierungstool zur Erstellung von Datenbanken nach der ersten, zweiten oder dritten Normalform.

Hauptfunktionen

• Rechtschreibkorrektur: Erkennen von häufigen Rechtschreibfehlern in Wörtern und Versuch, die falsche Schreibweise in die Standardrechtschreibung zu korrigieren.
• Einheitliche Abkürzungen: Formulierungen wie Limited und Ltd. werden in eine einheitliche Form gebracht, um eine bessere Gruppierung, Entdoppelung und Statistik zu ermöglichen.
• Groß-/Kleinschreibungsvorschriften: Behandlung von Werten wie Apple und APPLE, die sich nur in der Groß- und Kleinschreibung unterscheiden, um wiederholte Kategorien zu vermeiden.
• Synonymnormalisierung: Identifizieren von Ausdrücken mit ähnlicher Bedeutung wie Attorney und Lawyer und liefern einen einheitlichen Namen.
• Formatanpassung: Behandlung von Unterschieden in Satzzeichen oder Schreibweisen wie Coop und Co-op.
• Einheitliche digitale Darstellung: Unterschiedliche Schreibweisen wie 1.000, 1000 und 1k werden erkannt, wodurch Probleme bei der Typisierung und Gruppierung während der Analyse vermieden werden.
• CSV und Excel: Die kostenlose Version listet CSV-Dateien auf, während die kostenpflichtigen Pakete sowohl CSV- als auch Excel-Dateien unterstützen.
• Kostenlose Neuvorlage bei Fehlern: Zu den Vorteilen der bezahlten Punkte gehört die Möglichkeit, bei Fehlern kostenlos neu zu starten. Allerdings sind die Kriterien für die Erkennung von Fehlern sowie die Regeln bezüglich der Anzahl der Anfragen noch nicht offengelegt.

Eingaben und Ergebnisse, die verarbeitet werden können

Die von KI gewählten „Standardwerte“ entsprechen nicht unbedingt dem internen Wörterbuch des Unternehmens. Nach der Verarbeitung sollte das ursprüngliche Dokument beibehalten werden, wobei insbesondere Markennamen, Fachbegriffe, Nummern sowie mehrsprachiger Inhalt überprüft werden sollten.

Verwendungsprozess

1. Erstellen Sie eine Kopie der ursprünglichen Daten als Backup und löschen Sie die persönlichen Informationen, Schlüssel sowie regulierten Felder, die nicht hochgeladen werden müssen.
2. Speichern Sie die zu ordnenden Daten als CSV; falls das Excel-Format gewünscht ist, muss sichergestellt werden, dass ein Paket mit entsprechender Unterstützung für dieses Format gekauft wurde.
3. Erstellen Sie ein Konto und gehen Sie zum Processor. Folgen Sie den Anweisungen auf der Seite, um die zu bearbeitenden Dateien hochzuladen.
4. Führen Sie die Standardisierungsaufgabe aus und warten Sie, bis das System Rechtschreibung, Abkürzungen, Groß- und Kleinschreibung, Synonyme sowie die Zahleneingabe verarbeitet hat.
5. Nach Erhalt der Verarbeitungsergebnisse werden diese Spalte für Spalte mit den ursprünglichen Dateien verglichen, um zu überprüfen, ob unterschiedliche Entitäten fälschlicherweise zusammengeführt wurden.
6. Nach erfolgreicher Überprüfung werden CRM-, Analysewerkzeuge oder Produktionsdatenbanken eingeführt; bei Bedarf wird unter Verwendung des Rechts auf erneute Ausführung aufgrund von Fehlern erneut verarbeitet.

Preise und Punkte

DataNormalizer berechnet die Gebühren für die Verarbeitung in Form von Punkten pro Zeile. Auf der offiziellen Website werden weder die Gültigkeitsdauer der Punkte noch ob eine automatische Verlängerung erfolgt oder welche Steuern anfallen, angegeben. Bei der Kaufentscheidung sollte man sich daher an den Angaben zum Konto orientieren.

Hinweise zu Punkten und Rückerstattungen

• Jede Zeile verbraucht einen Punkt, daher bestimmt die Anzahl der Spalten in der Datei nicht direkt die Anzahl der Punkte – vielmehr ist die Anzahl der Zeilen die entscheidende Größe für die Abrechnung.
• Der Zahlungsplan besagt, dass es keine Beschränkung bezüglich der Anzahl der Zeilen gibt. In Kombination mit der Regel, dass pro Zeile ein Punkt vergeben wird, bedeutet das, dass die Anzahl der Zeilen in einer einzelnen Datei nicht begrenzt ist – es handelt sich also nicht um eine unbegrenzte, kostenlose Verarbeitung.
• Die offizielle Website gibt keine Informationen darüber preis, ob die Punkte ablaufen, ob sie auf andere Konten übertragen werden können, wie bei fehlgeschlagenen Aufgaben Abzüge vorgenommen werden und welche Regeln für die Rückerstattung nicht genutzter Punkte gelten.
• Eine kostenlose Wiederholung aufgrund eines Fehlers kann nicht mit einer Rückerstattungsversprechen gleichgesetzt werden; bei größeren Kaufbeträgen sollten zunächst die schriftlichen Regeln einsehen werden.

Geeignet für Nutzer und typische Szenarien

• Vertriebs- und Operationsteam: Einheitliche Schreibweise von Firmennamen, Positionen, Branchen und Regionen im CRM.
• E-Commerce- und Beschaffungsteam: Organisation der Produktkategorien, Lieferantennamen sowie manuell eingegebener Spezifikationsfelder.
• Marktforscher: Vereinigen Sie synonyme Antworten in den Fragebögen oder Listen, um wiederholte Kategorien in den Diagrammen zu reduzieren.
• Datenanalyst: Reinigung von Textfeldern vor Analyse, Gruppierung, Doppelungsbeseitigung und Import in die Datenbank.
• Studenten und kleine Teams: Testen Sie zunächst mit dem kostenlosen Limit von 25 Zeilen, ob Ihre Sprache und Ihr Feld kompatibel sind.

Vorteile und Grenzen der Fähigkeiten

• Der Vorteil ist, dass ohne das Schreiben von Reinigungs-Skripten mit verschiedenen gängigen Wertunterschieden umgegangen werden kann, die Kapazität Zeile für Zeile erworben werden kann und die Kosten leicht geschätzt werden können.
• Es eignet sich besser für die Vereinheitlichung von Text- und Zahlenwerten auf der Ebene der Werte und sollte nicht die Strukturplanung von Datenbanken, das Management von Hauptdaten oder ein vollständiges ETL-System ersetzen.
• Synonyme können nicht immer sicher zusammengeführt werden; beispielsweise können Markennamen, Rechtssubjekte, medizinische Begriffe und Produktmodelle, die nur geringfügig voneinander abweichen, unterschiedliche Objekte darstellen.
• Die kostenlose Version verarbeitet pro Datei nur 25 Zeilen und eignet sich für Tests statt für vollständige Produktionsdaten.
• Auf der öffentlichen Seite werden keine Angaben zu den unterstützten Sprachen, der maximalen Dateigröße, der Anzahl der Spalten, den parallelen Aufgaben, der Genauigkeit oder dem Servicelevel gemacht.

Plattformen, APIs und Open-Source-Status

Privatsphäre, Sicherheit und Geschäftsbedingungen

• Bei dieser Prüfung konnten weder eine überprüfbare Datenschutzrichtlinie, noch Allgemeine Geschäftsbedingungen, noch Sicherheitsanleitungen, noch Angaben zur Aufbewahrungsfrist der Daten oder zum Löschverfahren gefunden werden.
• Die Behörden haben nicht mitgeteilt, ob die hochgeladenen Dateien zur Modelltrainierung verwendet werden, ob sie mit AI-Anbietern geteilt werden, in welchem Gebiet sie verarbeitet werden, welche Verschlüsselungsmethoden angewandt werden oder zu welchem Zeitpunkt die Dateien nach Abschluss der Aufgabe gelöscht werden.
• Rückerstattungen, Gültigkeitsdauer der Punkte, Bedingungen für eine erneute Ausführung bei Fehlern, Rechte an den Ergebnissen sowie Genehmigungen für kommerzielle Nutzung werden ebenfalls nicht vollständig offengelegt.
• Der Name des Betreibungsunternehmens sowie die eingetragene Rechtspersönlichkeit sind derzeit noch nicht öffentlich bekannt. Vor dem Abschluss eines Vertrags sollte das Unternehmen Vertragsbedingungen, Vereinbarungen zur Datenverarbeitung, eine Liste der Unterauftragnehmer sowie Zusicherungen bezüglich der Unterstützung einfordern.
• Solange die oben genannten Punkte nicht bestätigt sind, sollte man keine Ausweisdokumente, Krankenakten, finanzielle Daten, Kundengeheimnisse oder andere sensible Informationen hochladen.

Häufige Fragen

Kann DataNormalizer kostenlos verwendet werden?

Es ist eine kostenlose Testmöglichkeit vorhanden; jede Datei darf maximal 25 Zeilen enthalten. Die Verarbeitung erfolgt in geringerer Priorität und es werden nur Dateien im CSV-Format angezeigt.

Wie viele Daten können mit einem Integral verarbeitet werden?

Die offizielle Website berechnet die Punkte pro Zeile. Die Anzahl der Spalten in der Datei wird nicht als Berechnungseinheit für die Punkte herangezogen.

Unterstützt DataNormalizer Excel?

Unterstützt, aber Excel ist im kostenpflichtigen Punktepaket enthalten; die kostenlose Version listet nur CSV auf.

Kann es eine normierte Datenbankstruktur erstellen?

Es kann nicht wie eine bereits bestätigte Funktion verstanden werden. Es dient dazu, die Werte in den Tabellenfeldern zu vereinheitlichen, und ist nicht für die Gestaltung der Struktur von Relationstabellen verantwortlich.

Wird eine API oder offener Quellcode bereitgestellt?

Es wurden keine offiziellen APIs, SDKs, GitHub-Profile oder Open-Source-Lizenzbedingungen bestätigt, weshalb nicht davon ausgegangen werden kann, dass eine programmierte Anbindung oder die Offenlegung des Produkts möglich ist.

Ist das Hochladen sensibler Daten sicher?

Die Behörden haben derzeit keine ausreichenden Angaben zu Datenschutz, Sicherheit und Datenaufbewahrung bereitgestellt. Sensible oder regulierte Daten sollten erst nach Abschluss eines schriftlichen Vertrags sowie der Festlegung der Verarbeitungsregeln hochgeladen werden.