Googlebot kann nicht auf CSS und JS Dateien zugreifen

Haben Sie in den vergangenen Tagen auch die Meldung von Google über die Search Console (ehem. Google Webmaster Tools) erhalten, dass nicht auf CSS- und JavaScript-Dateien zugegriffen werden kann? Diese Warnung wurde an viele Webmaster verschickt. Zugleich wurde gewarnt, dass ein Blockieren dieser Dateien mitunter zu einem schlechteren Ranking führen kann. Google rät dazu, die robots.txt Einstellungen zu überprüfen und dem Crawler den Zugriff auf diese Dateien zu erlauben.

Schon 2014 hat Google nach einer Aktualisierung der Webmasterichtlinien gewarnt, dass CSS- und JavaScript Dateien nicht für Suchmaschinen-Crawler geblockt werden sollten, um Rankingverluste zu vermeiden. Doch nun macht Google ernst und warnt die Webmaster direkt in der Search Console. Damit will der Suchmaschinenbetreiber sicherstellen, dass Webmaster den technischen Settings ihrer Webseite die notwendige Aufmerksamkeit widmen sollen.

Was ist die Robots.txt und wie können Sie dort die Einstellungen ändern

Die robots.txt Datei ist eine einfache Textdatei (.txt), in der festgelegt werden kann, welche Bereiche einer Domain vom Crawler der Suchmaschine gecrawlt werden dürfen und welche blockiert werden.
Bei der Fehlersuche helfen Ihnen die folgenden Anhaltspunkte weiter:

1. Rufen Sie Robots.txt Ihrer Seite auf
2. Werden hier wichtige Seitenbereiche ausgeschlossen?
3. Prüfen Sie vor allem die disallow Anweisungen in der robots.txt

Um sicher zu stellen, dass keine CSS- und JavaScript-Dateien geblockt werden, können Sie folgende Anweisungen in die robots.txt Datei schreiben:

User-Agent: Googlebot
Allow: .js
Allow: .css

Somit stellen Sie sicher, dass der Googlebot alle Dateien mit der Endung .js und .css crawlt. JavaScript oder CSS-Dateien werden nicht in den Suchergebnissen aufgelistet, deshalb ist es völlig unbedenklich diese Anweisungen zu hinterlegen.
Diese Änderungen werden zwar nicht von allen Webmastern als zwingend notwendig angesehen, ich wollte Ihnen den Sachverhalt der Meldung trotzdem kurz erläutern.