Crawler

Hinter dem Begriff Crawler versteckt sich ein Computerprogramm, welches darauf ausgerichtet ist, das Internet zu durchforsten und Websites zu analysieren. Synonym für Crawler werden auch die Begriffe Webcrawler, Spider oder Searchbot verwendet. In Bezug auf Google nennt sich der Crawler Googlebot.

Vergleichbar mit Websurfern bewegen sich Crawler durch das Internet, indem sie durch Hyperlinks von einer Website zur nächsten gelangen. Besonders Suchmaschinen machen sich die Funktion von Crawlern zu eigen, um den Index zu pflegen und somit Websites nach bestimmten Kriterien für bestimmte Suchbegriffe zu sortieren. Links, die mit dem Attribut NoFollow gekennzeichnet sind, ignoriert der Googlebot.

Neben dieser Funktion können Crawler jedoch auch für weitere Bereiche eingesetzt werden: So können mit diesen RSS-Newsfeeds, E-Mail-Adressen wie auch illegale Nutzerdaten ermittelt werden.

Beendet der Crawler seine Aufgabe, dann fängt er direkt wieder von vorne an, um Aktualisierungen der Websites wie neue Meta-Tags, Websites oder Vergleichbares zu aktualisieren.