Browse AI

Was ist Browse AI?

Browse AI ist eine plattformunabhängige Lösung zur Datenerfassung von Webseiten sowie zur Überwachung von Webseiten. Nach der Installation des Browser-Recorders können die Benutzer auf der Zielwebseite Klicks, Eingaben, Seitenumblättern und Feldauswahlen durchführen. Die Plattform lernt diese Aktionen und wandelt sie in wiederholbar ausführbare Roboter um, wobei strukturierte Tabellen oder Screenshote in der Cloud erzeugt werden.

Es eignet sich dazu, Webseiten ohne öffentliche API in kontinuierlich aktualisierte Datensätze umzuwandeln – beispielsweise Produktpreise, Lagerbestände, Immobilienlisten, Stellenangebote, Firmenverzeichnisse, Suchergebnisse sowie Seiten von Wettbewerbern. Neben einer einmaligen Datenerfassung kann man auch regelmäßig Änderungen in den Daten überwachen, mehrere Roboter zur tiefgehenden Datenerfassung einsetzen sowie über API, Webhook und Tabellen in Geschäftsprozesse integrieren.

Roboter-Recording und codefreie Extraktion

Robot ist die Automatisierungs-Einheit von Browse AI. Bei der Aufnahme öffnet der Benutzer zunächst die Zielseite und wählt anschließend den Text, die Links, Bilder, Listen oder Screenshot aus, die er erfassen möchte. Ebenso kann er Vorgänge wie Anmelden, Suchen, Filtern, Klicken auf „Nächste Seite“ sowie das Scrollen zum Laden der Inhalte darstellen.

Nach Abschluss der Schulung erzeugt jeder Ausführung des Roboters eine Aufgabe.

Derselbe Robot kann verschiedene Startseiten, Schlüsselwörter oder andere Eingabeparameter erhalten, weshalb es nicht notwendig ist, für jede Website neu aufzunehmen. Die Anzahl der Roboter ist in allen aktuellen Lösungen unbegrenzt, während die Anzahl der verfügbaren Webdomains durch das Paket begrenzt ist.

Tiefe Extraktion von Listen und Detailseiten

Der List-Robot kann zunächst mehrere Einträge sowie deren Detail-Links extrahieren und diese anschließend über den Workflow an den Detail-Robot weiterleiten, damit dieser die Felder Seite für Seite ergänzt. Diese Art des Deep Scraping eignet sich dazu, von den Katalogseiten Produktnamen und -Links abzurufen und anschließend auf jeder Detailseite Beschreibungen, Spezifikationen, Kontaktdaten oder Lagerbestände zu erhalten.

Die Kosten für eine tiefgehende Extraktion können nicht allein anhand der Anzahl der Zeilen in der endgültigen Tabelle geschätzt werden. Sowohl die Extraktion auf der Übersichtsseite als auch die Verarbeitung jeder Detailseite verbrauchen jeweils Credits.

Die Abrufung von 50 Listen und anschließend von 50 Detailseiten führt in der Regel zu Kosten für die Liste „Credits“ sowie mindestens 50 weitere Aufträge zur Anzeige der Details.

Überwachung von Website-Änderungen

Monitor ermöglicht es dem Roboter, in stündlichen, täglichen, wöchentlichen Intervallen oder nach einer individuell festgelegten Frequenz wiederholt zu arbeiten und die neuen mit den alten Ergebnissen zu vergleichen. Das System kann den Benutzer benachrichtigen, wenn sich Preise, Bestände, Texte, Listenaufzeichnungen oder Screenshot-Anzeigen ändern, und kann außerdem nur dann einen Webhook oder eine nachgelagerte Automatisierung auslösen, wenn tatsächlich eine Änderung festgestellt wird.

Eignet sich für Preisüberwachung, Konkurrenzseiten, Richtlinienmitteilungen, Stellenausschreibungen und Inhaltsaktualisierungen. Je häufiger die Überwachung erfolgt und je mehr Seiten es gibt, desto schneller werden Task und Credits verbraucht.

Für die Standard-Selbstbedienungspakete kann eine Mindestdauer von 5 Minuten eingestellt werden, während für das Free-Paket eine Mindestdauer von einer Stunde pro Überwachungsschleife gilt.

Batchausführung

Bulk Run ermöglicht es, viele Eingabeparameter für denselben Roboter hochzuladen und mehrere Webseiten oder Suchkriterien auf einmal auszuführen. Über die Konsole können Batch-Aufträge per CSV gestartet werden, während die API-Dokumentation große Mengen an Aufgaben unterstützt. Laut den offiziellen Anleitungen können maximal 500.000 Aufgaben pro Befehl erstellt werden.

Die Plattform selbst legt kein festes tägliches Limit in Abhängigkeit von der Anzahl der Aufgaben fest, doch die Ziel-Website kann Geschwindigkeitsbeschränkungen einrichten oder Roboterabwehrmaßnahmen aktivieren. Großangelegte Aufgaben sollten in Chargen ausgeführt werden, die Konkurrenz von Aufgaben unter Kontrolle gehalten werden, Webhooks zur Erhaltung von Abschlussmeldungen verwendet werden, und es sollten Regeln für Wiederholungsversuche sowie zur Beseitigung doppelter oder fehlender Ergebnisse festgelegt werden.

Wie werden die Credits berechnet?

Eine Aufgabe bedeutet, dass der Roboter eine Website besucht und dort eine Extraktion, Überwachung oder Aufnahme von Screenshots durchführt. Für jede Aufgabe auf einer normalen Website werden mindestens 1 Credit verbraucht.

Jeder Credit ermöglicht es, maximal 10 Datensätze abzurufen oder ein Screenshot zu erstellen.

Das Extrahieren einer Liste mit 50 Zeilen kostet in der Regel 5 Credits.

Einige Websites erfordern einen Wohnsitzagenten, die Verarbeitung von Authentifizierungscode oder das Laden großer Mengen an Dateien; sie werden als Premium-Sites gekennzeichnet. Die Mindestkosten für eine einzelne Aufgabe liegen bei 2 bis 10 Credits. Der tatsächliche Verbrauch hängt von der Anzahl der zu extrahierenden Zeilen, der Anzahl der Screenshots, dem Typ der Seite sowie davon ab, ob es sich um eine Premium-Site handelt.

Am Ende eines monatlichen oder jährlichen Zahlungszyklus werden die nicht genutzten Credits zurückgesetzt und in der Regel nicht übertragen. Wenn vor Ablauf des Zyklus auf ein neues Paket upgegradet wird, werden die verbleibenden Credits des alten Pakets zum neuen Paket hinzugefügt und im neuen Zyklus verwendet.

Extra-Credits und Domainnamen können im Paket erworben werden.

Kostenloses Angebot

Free ist ein dauerhaft kostenloses Angebot, das keine Kreditkarte erfordert. Es umfasst 50 Credits pro Monat, 2 Domainnamen, 3 Benutzer, unbegrenzte Roboter sowie Funktionen wie Scraping, Überwachung, Workflow-Management und Integration. Mit den 50 Credits lassen sich im Rahmen der Standardliste maximal etwa 500 Zeilen extrahieren; Seiten mit detaillierten Informationen, Screenshots sowie Premium-Sites erhöhen jedoch die tatsächlichen Kosten.

Free eignet sich zum Lernen mit Aufnahmegeräten und zum Testen kleiner Datensätze, ist aber nicht geeignet für eine häufige Überwachung oder viele detaillierte Seiten. Die kostenlose Nutzung wird monatlich erneuert, und der ungenutzte Restbetrag wird nicht übertragen.

Preis- und Versionsvergleich

Personalpreise

Die monatliche Gebühr für Personal beträgt 48 US-Dollar pro Monat, was 2.000 Credits pro Monat entspricht. Bei Zahlung im Jahr beträgt die Gebühr 19 US-Dollar pro Monat, wobei einmalig 12.000 Credits ausgezahlt werden.

Das Paket umfasst 5 Webseiten-Domains, 3 Benutzer, unbegrenzte Roboter, alle Plattformfunktionen sowie grundlegende E-Mail-Unterstützung.

Für zusätzliche Websites wird jährlich 4 US-Dollar pro Monat berechnet, wobei die Zahlung jährlich erfolgt. Für monatliche Abonnements beträgt der Preis 5 US-Dollar pro Monat. Derzeit kosten zusätzliche Credits 0,024 US-Dollar pro Stück im Jahresabonnement und 0,030 US-Dollar pro Stück im Monatsabonnement. Mindestens 1.000 Credits müssen aufgeladen werden.

Obwohl der Jahrespreis monatlich dargestellt wird, muss die Gesamtkosten für das ganze Jahr auf einmal gezahlt werden.

Professioneller Preis

Die professionelle Monatsgebühr beträgt 87 US-Dollar pro Monat und umfasst 5.000 Credits pro Monat; bei jährlicher Zahlung entspricht das 69 US-Dollar pro Monat, wobei einmalig 60.000 Credits ausgezahlt werden.

Enthält 10 Website-Domains, 10 Benutzer, unbegrenzte Roboter, alle Funktionen sowie Prioritäts-E-Mail-Unterstützung.

Der Preis für zusätzliche Websites im Jahresabonnement beträgt 2,4 US-Dollar pro Monat, wobei die Zahlung jährlich erfolgt. Für ein Monatsabonnement liegen die Kosten bei 3 US-Dollar pro Monat. Der Preis für zusätzliche Credits variiert je nach Menge – in der Übersicht auf der offiziellen Website liegen die Preise im Jahresabonnement bei etwa 0,017 bis 0,013 US-Dollar pro Stück. Für ein Monatsabonnement beginnen die Preise in der Regel bei 0,030 US-Dollar pro Stück.

Premium-Hosting-Lösung

Premium ist ein jährlich zu bezahlendes Abo zum Preis von 500 US-Dollar pro Monat. Die Website, die Benutzer sowie die Credits können nach Bedarf angepasst werden. Zudem werden Experten für die Einrichtung, eine kontinuierliche Datenverwaltung, Datenkonvertierung, Skalierungsrabatte, maßgeschneiderte Konfigurationen sowie ein persönlicher Kundenservice bereitgestellt.

Es eignet sich für Unternehmen, deren Zielwebseiten eine starke Anti-Automatisierungs-Schutzfunktion haben, bei denen große Datenmengen vorliegen, hohe Anforderungen an die Qualität der Felder bestehen oder deren Team keine eigene Wartung der Roboter durchführen möchte. Vor der Kostenschätzung sollten Frequenz der Lieferungen, Erfolgsrate, Datendateiformat, Zeitrahmen für Reparaturen, Kosten für Premium-Proxy-Server sowie die Aufbewahrungsfrist der historischen Daten klar definiert werden.

Wie wird die Anzahl der Webseiten berechnet?

Unter „Website“ im Paket ist die Anzahl der Domainnamen zu verstehen, die vom Roboten derzeit zur Ausbildung verwendet werden – und nicht die Anzahl der Roboter oder Seiten. Unter derselben Domain können unendlich viele Roboter erstellt werden.

Verschiedene Unterseiten gelten in der Regel weiterhin als derselbe Webseiten-Host, doch ein Wechsel zu einer anderen Domain beansprucht einen neuen Platz.

Bei einer Downgrade muss, falls die Anzahl der aktiven Domainnamen die Grenzen des neuen Pakets überschreitet, entweder ein überflüssiger Robot entfernt oder eine freie Stelle auf der Website geschaffen werden, bevor die Downgrade durchgeführt werden kann. Bei der Planung sollte man sich an der tatsächlichen Anzahl der Domainnamen orientieren und nicht nur an der Anzahl der Roboter.

API und Webhook

Die AI REST API ist für alle Pakete verfügbar und erfordert keine zusätzlichen Gebühren für den Zugriff. Mit ihr können Aufgaben erstellt und ausgeführt werden, Roboter verwaltet werden, strukturierte Ergebnisse abgerufen werden, Monitore konfiguriert werden, Massenaufrufe gestartet werden sowie Webhooks verwaltet werden. Die Kosten für die Datenerfassung durch die Aufrufe werden weiterhin nach den üblichen Credits berechnet.

Webhooks können Ereignisse aussenden, wenn eine Aufgabe erfolgreich abgeschlossen ist, sich Daten geändert haben, ein Überwachungsvorgang erfolgreich war oder die Exportierung einer Tabelle abgeschlossen ist. Dies eignet sich besser für Produktionsumgebungen als kontinuierliches Abfragen. Entwickler sollten die Ereignisse überprüfen, doppelte Benachrichtigungen verarbeiten und sicherstellen, dass der Secret API Key nicht in der Frontend-Struktur oder in öffentlichen Repositorien gespeichert wird.

Webseite in API umwandeln

Nach der Ausbildung und Freigabe des Roboters können Seiten, die ursprünglich keine API hatten, in stabile Aufrufpunkte umgewandelt werden. Die Anwendung übermittelt eine URL oder Schlüsselwörter, Browse AI führt den Roboter in der Cloud aus und gibt anschließend über die API die Ergebnisse zurück oder wartet auf einen Webhook-Rückruf.

„Webseite in API umwandeln“ hängt weiterhin von der Struktur der Zielseite ab und ist nicht gleichbedeutend mit der offiziellen API der Website. Seite-Updates, abgelaufene Anmeldungen, Verifizierungscodes sowie regionale Unterschiede können Felder verändern oder dazu führen, dass Roboter versagen. In Produktivsystemen sind Feldüberprüfungen, Caching sowie Ersatzdatenquellen erforderlich.

Integration und Datenexport

Die Plattform kann die Ergebnisse mit Google Sheets, Airtable und Amazon S3 synchronisieren und über Zapier, Make, Pabbly Connect mit mehr als 7.000 Anwendungen verbinden. Es ist auch möglich, CSV-Dateien zu exportieren oder über Webhooks Datenbanken, BI-Systeme, CRM-Tools sowie interne Systeme anzuschließen.

Vor der automatischen Synchronisierung müssen Schlüsselwerte sowie Strategien zur Aktualisierung festgelegt werden, um zwischen neu hinzugefügten, geänderten und gelöschten Datensätzen zu unterscheiden. Ohne Regeln zur Entduplizierung und Überwrite-Vermeidung kann eine regelmäßige Überwachung dazu führen, dass dieselben Daten immer wieder hinzugefügt werden oder manuelle Änderungen überschrieben werden.

Wohnungsvermittler und Verifizierungscode

Browse AI verwendet je nach Situation der Website Geolokalisierungs-Proxy-Server sowie automatische Verifizierungsmechanismen, um die Erfolgsrate der Cloud-Aufgaben zu erhöhen. Websites, die eine aufwändigere Infrastruktur benötigen, werden in die Premium-Kategorie eingestuft, wodurch die Mindestanzahl an Credits erhöht wird.

Diese Fähigkeiten garantieren nicht, dass alle Websites stets stabil zugänglich sind, und sie bedeuten auch nicht, dass die Benutzer das Recht haben, die Nutzungsbedingungen der Websites oder die Zugangsbeschränkungen zu umgehen. Insbesondere Konten, Abonnementsinhalte, persönliche Daten sowie urheberrechtlich geschützte Informationen erfordern eine rechtmäßige Begründung.

Datenhaltung und Sicherheit

Die derzeitige Datenhaltungsfrist für Free, Personal und Professional beträgt 90 Tage; bei Premium ist sie anpassbar. Auf der offiziellen Website werden SOC 2 Type II, GDPR und CCPA aufgeführt, und im Trust Center werden Sicherheitsinformationen bereitgestellt.

Das bei der Aufnahme eingegebene Passwort wird mit AES-256 verschlüsselt; erst beim Ausführen der Aufgabe wird es auf der Serverseite entschlüsselt. Teammitglieder sowie normale Support-Mitarbeiter können den entschlüsselten Wert in der Konsole nicht sehen.

Der Service wird in den AWS-Datenzentren in den USA betrieben und verwendet so weit wie möglich TLS 1.2.

Dennoch sollten Unternehmen spezielle Konten mit eingeschränkten Rechten verwenden und das Hauptpasswort des Administrators nicht aufzeichnen.

GitHub und der Open-Source-Zustand

Die offizielle GitHub-Organisation von Browse AI heißt BrowseAI-Official. Dort werden einige Tool-Bibliotheken sowie Branches von Quellprojekten bereitgestellt, wie zum Beispiel xpath-to-css, formulajs sowie Repositorien zur Projektbereitstellung. Dazu gehören nicht der Robot-Recorder, ein Cloud-Browser, Überwachungssysteme oder die vollständigen Quellcodes der Plattform.

Daher ist das Kernprodukt von Browse AI weder ein Open-Source-Webcrawler noch unterstützt es eine vollständige Selbstverwaltung auf Basis öffentlicher Repositorien. Bei Bedarf an einem privaten Netzwerk, dedizierten Proxys oder einer angepassten Datentrennung sollte man sich an den Premium-Service wenden.

Überprüfen Sie die Anleitung für AI.

Eine grundlegende Aufgabe erledigen

1. Klare Definition der in Browse AI zu erledigenden Codeaufgaben, des Repository-Bereichs und der Akzeptanzkriterien;
2. Verbinden oder importieren Sie das Testprojekt und erstellen Sie zunächst eine Sicherungskopie der aktuellen Branch.
3. Zuerst wird mit Robot ein Plan für die Aufnahme und das codefreie Scraping erstellt, anschließend werden die geänderten Dateien überprüft;
4. Verwenden Sie Listen und Detailseiten für tiefgehende Extraktionen, um kleinere Änderungen durchzuführen;
5. Ausführen von Tests, statischen Überprüfungen und der Kompilierung – unüberprüfter Code wird nicht direkt akzeptiert;
6. Manuelle Überprüfung von Berechtigungen, Schlüsseln, Abhängigkeiten und Fehlerbehandlung vor der Kombination;

Erstellung wiederverwendbarer professioneller Workflows

1. Wählen Sie ein real existierendes Projekt mit niedrigem Risiko als Vorlage aus;
2. Bestimmen der Reihenfolge der Verwendung von festgelegten Robot-Recording-Funktionen sowie codefreier Scraping-Methoden, tiefgehendem Scraping von Listen und Detailseiten sowie der Überwachung von Änderungen auf Webseiten;
3. Erfassen von Umgebung, Modellen, Hinweisen und Fehlbedingungen;
4. Manuelle Freigabe für Schreib-, Bereitstellungs- und Löschvorgänge einrichten;
5. Vergleichen Sie Geschwindigkeit, Kosten, Testbestehensrate und Anzahl der Nacharbeiten;
6. Erst nach Überprüfung der Stabilität auf Team- oder Produktionsumgebung ausweiten;

Für welche Nutzer geeignet?

• E-Commerce- und Marktteams, die die Preise der Produkte, die Bestände sowie die Seiten der Wettbewerber überwachen;
• Forscher, die öffentliche Daten aus Katalogen, Karten, Immobilienangeboten, Stellenausschreibungen und Suchseiten sammeln;
• Für Betreiber, die ohne Code Datenflüsse für Webseiten erstellen möchten;
• Entwickler, die Webdaten in Tabellen, CRM-Systeme, BI-Tools oder Datenbanken integrieren müssen;
• Unternehmen, die eine kontinuierliche Wartung großer Scraping-Aufgaben durch Experten benötigen.

Vorteile des Produkts

• Der Roboter wird durch das Anzeigen von Klicks und dem Auswählen von Feldern trainiert – es ist kein Code zum Schreiben von Selektoren notwendig.
• Erfasst, überwacht, tiefgreifend erfasst und in Batches ausgeführt – alles abgedeckt.
• Alle Lösungen können über REST API und Webhook genutzt werden;
• Es ist möglich, über Google Sheets, Airtable und Automatisierungsplattformen mit zahlreichen Anwendungen zu verbinden;
• Angebote für Immobilienagenturen, Verarbeitung von Authentifizierungscode sowie Hosting-Dienste für Daten;
• Es gibt keine Begrenzung bezüglich der Anzahl der Roboter. Die Pakete werden hauptsächlich nach Domainnamen und Credits unterschieden.

Einschränkungen und Hinweise

• Jede Detailseite ist in der Regel eine eigenständige Aufgabe, wodurch die für tiefgehende Auswertungen und häufige Überwachung benötigten Ressourcen deutlich höher sein können als die Anzahl der Einträge in der Liste.
• PremiumSite hat einen höheren Mindestpreis, ungenutzte Credits verfallen nicht, beim Jahresabo wird der monatliche Durchschnitt angegeben, doch man muss das ganze Jahr im Voraus bezahlen;
• Roboter sind von der Struktur der Webseiten abhängig, nach einer Überarbeitung müssen sie neu trainiert oder angepasst werden.
• Das Erfassen sichert nicht automatisch das Recht auf die Nutzung der Daten;
• Es müssen die Bedingungen der Website, die Regeln für Roboter, Urheberrechte sowie Anforderungen bezüglich Privatsphäre und Zugriffshäufigkeit eingehalten werden. Zudem müssen Vorsorgepläne für das Sperrung von Konten, Änderungen in den Feldern sowie das Ablaufdatum der historischen Daten erstellt werden.

Häufige Fragen

Ist Browse AI kostenlos?

Es gibt einen dauerhaft kostenlosen Plan mit 50 Credits pro Monat, der die Unterstützung von 2 Webseiten, 3 Benutzern sowie unbegrenzter Anzahl an Robotern ermöglicht. Nach den Standardvorgaben lässt sich mit einem Credit maximal 10 Zeilen abrufen.

Wie viel kostet Browse AI?

Personal: 48 US-Dollar pro Monat, was im Jahr 19 US-Dollar pro Monat entspricht; Professional: 87 US-Dollar pro Monat, was im Jahr 69 US-Dollar pro Monat entspricht.

Premium wird jährlich zu 500 US-Dollar pro Monat bezahlt.

Unterstützt Browse AI APIs?

Unterstützung vorhanden, und die REST-API steht für alle Ansätze zur Verfügung. Es ist möglich, Roboter zu steuern, Daten abzurufen, die Überwachung einzustellen, Batch-Aufgaben durchzuführen sowie Webhooks zu nutzen. Die tatsächliche Datenerfassung verbraucht jedoch weiterhin Credits.

Kann Browse AI jede Website abrufen?

Die meisten öffentlichen Webseiten können trainiert werden, doch die Erfolgsrate hängt von Anmeldungen, Verifizierungscode, Anti-Automatisierungsmaßnahmen, Region, dynamischer Ladung sowie Seitenanpassungen ab. Einige Websites verlangen eine Gebühr im Premium-Modell.

Ist AI Open Source?

Das Kernprodukt ist nicht open source. Auf GitHub gibt es nur einige Toolbibliotheken und Branches – diese reichen nicht aus, um eine vollständig selbst gehostete Browse AI-Plattform zu erstellen.