Crawler

Hinter dem Begriff Crawler versteckt sich ein Computerprogramm, welches darauf ausgerichtet ist, das Internet zu durchforsten und Websites zu analysieren. Synonym für Crawler werden auch die begriffe Webcrawler, Spider oder Searchbot verwendet. In Bezug auf Google nennt der Crawler sich Google Bot.

Vergleichbar mit Websurfern bewegen sich Crawler durch das Internet, indem sie durch Hyperlinks von einer Website zur nächsten gelangen. Besonders Suchmaschinen machen sich die Funktion von Crawlern zu eigen, um den Index zu pflegen und somit Websites nach bestimmten Kriterien für bestimmte Suchbegriffe zu sortieren. Links, die mit dem Attribut NoFollow gekennzeichnet sind, ignoriert der Google Bot.

Neben dieser Funktion können Crawler jedoch auch für weitere Bereiche eingesetzt werden: So können mit diesen RSS-Newsfeeds, E-Mail-Adressen wie auch illegal Nutzerdaten ermitteln.

Beendet der Crawler seine Aufgabe, dann fängt er direkt wieder von vorne an, um Aktualisierungen der Websites wie neue Meta-Tags, Websites oder Vergleichbares zu aktualisieren.