Was ist ein Webcrawler?

Ein sogenannter Webcrawler (auch Crawler, Bot, Spider oder Searchbot) ist ein Softwareprogramm, dass Inhalte im Internet durchsucht, analysiert und anschließend indexiert. Die Inhalte stammen dabei von Websites und können beispielsweise Bilder, Texte oder Videos sein.

Ein Webcrawler durchsucht bestimmte URLs und folgt dabei jedem Link, der sich auf Websites befindet. Dabei werden sowohl Hyperlinks als auch HTML Codes überprüft – außer das Linkattribut rel=“nofollow“ wird verwendet. Zudem haben Administratoren von Websites die Möglichkeit per robots.txt Besuche von Crawlern auszuschließen, falls dies nicht gewünscht ist.

Innerhalb der Suchmaschinenoptimierung (SEO) sollte darauf geachtet werden, dass Crawler Websites optimal durchsuchen können, sodass alle Inhalte in den Index der Suchmaschinen aufgenommen werden. Hierfür sind leistungsfähige robots.txt Dateien ebenso notwendig wie der Ausschluss sensibler Bereiche durch die Meta Angabe „noindex“.

Um die Häufigkeit eines Besuches durch Crawler zu erhöhen sind eine hohe Anzahl an Backlinks wie auch eine übersichtliche interne Verlinkung notwendig. Umso übersichtlicher und besser strukturiert Websites aufgebaut sind, umso leichter können diese gecrawlt werden, sodass ein besseres Ranking in den SERPs erfolgt.