Der SANDOBA//CRAWLER ist eine als Service bereitgestellte Software ("Software as a Service" [SaaS]), die automatisiert Links auf Webseiten unserer Kunden folgt, um fortwährend sicherzustellen, dass diese Links weiterhin funktionsfähig sind und auf die gewünschten Inhalte zeigen. Dafür prüft der SANDOBA//CRAWLER u.a. ob die URL des Links ohne Weiterleitung und performant erreichbar ist, analysiert den Inhalt der Hauptseite der Domain bzw. einer spezifischen Unterseite um z.B. das Thema zu klassifizieren und ermittelt die URLs von relevanten Unterseiten wie Impressum / Über Uns, um einen Übergang der verlinkten Webseite zu einem anderen Betreiber zu erkennen.
Im Unterschied zu den Robots von Suchmaschinenanbietern oder spezieller Tools zur Wettbewerberanalyse/Suchmaschinenoptimierung (SEO) ruft der SANDOBA//CRAWLER nur wenige Seiten einer Webseite ab. In der Regel werden lediglich URLs für die Hauptseite (https://www.example.com/), robots.txt, XML-Sitemaps oder einzelne dort verlinkte Seiten abgerufen, die den Betreiber der Webseite identifizieren (sofern vorhanden). Es wird ausschließlich die komprimierte HTML-Ausgabe der URLs abgerufen, die Belastung für die Webseite ist somit minimal und geringer als bei einem einzelnen normalen Besucher. Der Crawler hat wie jeder Besucher dabei nur Zugriff auf die öffentlich sichtbaren Informationen der Webseite.
Das Ergebnis der Überprüfung wird für einige Zeit zwischengespeichert (um weitere Abfragen in diesem Zeitraum zu verhindern) und ermittelte Fehler/Probleme werden unseren Kunden für die nachfolgende Korrektur von Verlinkungen etc. in verschiedenen Formaten bereitgestellt.
Es gibt keinen festen Zeitplan wann, ob oder wie häufig ein Abruf einer bestimmten Webseite stattfindet. Dies ist abhängig von spezifischen Crawling-Aufträgen unserer Kunden, die über Art, Umfang und Häufigkeit der Abfragen im Rahmen unseres SaaS-Angebotes frei entscheiden können. Durch Zwischenspeicherung der Ergebnisse der Abfrage einer Webseite wird jedoch sichergestellt, dass in aller Regel maximal 1 Durchlauf pro Tag stattfindet.
Der SANDOBA//CRAWLER identifiziert sich beim Abruf der URLs dabei mit den folgenden User-Agents:
mozilla/5.0 (compatible; SandobaCrawler/1.0; +https://www.sandoba.com/en/crawler/)
mozilla/5.0 (compatible; SandobaCrawler/1.0; +https://www.sandoba.com/de/crawler/)
Wenn Sie keine weitere Abfragen von Unterseiten Ihrer Webseite durch den SANDOBA//CRAWLER wünschen, dann gibt es die Möglichkeit die robots.txt Ihrer Webseite um folgenden Hinweis zu ergänzen:
User-agent: SandobaCrawler
Disallow: /
Beim nächsten Abruf der Webseite inkl. der robots.txt wird dieser Hinweis dann erkannt und die Webseite wird in einer Sperrliste hinterlegt. In längeren Abständen prüfen wir jedoch u.U., ob die robots.txt auch weiterhin diesen Hinweis enthält, um Webseiten bei Bedarf wieder abfragen zu können, wenn dies gewünscht sein sollte.
Der SANDOBA//CRAWLER ist erst seit 2022 aktiv und entwickelt sich ständig weiter. Dies umfasst den Funktionsumfang der Analysen, Geschwindigkeit/Häufigkeit der Abfragen wie auch die Funktionen des dazugehörigen SaaS-Angebotes. Wenn Sie mehr erfahren möchten, behalten Sie bitte diese Seite im Blick oder senden Sie direkt eine Email an crawler@sandoba.com.