AI Crawler

Mit dieser App richten Sie Crawl-Jobs für Websites ein und behalten Ergebnisse, Verlauf und Export an einem Ort. Sie unterstützt Sie dabei, Seiten strukturiert zu erfassen und definierte Informationen nachvollziehbar zusammenzustellen.
Was kann die App?
Die App hilft Ihnen, einen Crawl mit Start-URL, Umfang und Extraktionszielen zu konfigurieren und die Resultate danach zu prüfen. Sie ist nützlich, wenn Sie Seitenstrukturen, Inhalte, Links oder Bilder gesammelt auswerten möchten.
Wichtige Funktionen
- Start-URL und Job-Namen für einen Crawl festlegen.
- Tiefe, Seitenlimit und Abruftempo konfigurieren.
- Optional Links, Bilder und robots.txt-Regeln berücksichtigen.
- Ein Extraktionsschema für gewünschte Felder definieren.
- Ergebnisse mit Seiten, Warnungen und Zusammenfassung anzeigen.
- Historie speichern und Resultate exportieren.
So starten Sie
- Öffnen Sie die Konfiguration und tragen Sie eine gültige Start-URL ein.
- Legen Sie Umfang und Regeln für den Crawl fest.
- Beschreiben Sie im Extraktionsschema, welche Informationen Sie erfassen möchten.
- Starten Sie den Job. Die App sendet den Auftrag an den Crawler-Dienst und zeigt ausschließlich die dort tatsächlich abgerufenen Seiten an.
- Ist der Dienst nicht erreichbar oder schlägt der Abruf fehl, zeigt die App einen Fehler. Es werden dann keine Ersatzdaten erzeugt oder exportiert.
FAQ
Kann ich mehrere Crawl-Jobs verwalten? Ja. Die App speichert eine Historie Ihrer Jobs.
Sehe ich während des Ablaufs Fortschritt? Ja. Die App zeigt Status, Fortschritt und aktuelle URL an.
Kann ich Ergebnisse weitergeben? Ja. Resultate lassen sich exportieren.
Sind Beispielwerte aus der Jobdefinition echte Crawl-Ergebnisse? Nein. Beispielwerte helfen nur beim Beschreiben des Schemas. Fehlt ein Feld in der Backend-Antwort, bleibt es im Ergebnis leer und wird nicht mit einem Beispielwert aufgefüllt.