Webserver und Suchmaschinen - Teil I

Auch der Server und seine Konfiguration haben einen großen Einfluss auf das Ranking einer Domain. Hier kann eine falsche Handhabung massive Indexierungsprobleme nach sich ziehen.

Serverkonfiguration

Ein häufig übersehenes Problem ist die falsche Reaktion des Servers auf nicht vorhandene Adressen beziehungsweise Webseiten. Für gewöhnlich sollte der Statuscode 200 nur für existierende Seiten zurückgeliefert werden. Einige Server geben aber auch bei ungültigen Adressen den Statuscode 200 zurück, obwohl hier eine 404-Meldung zu erwarten wäre. Das kann zu folgenden Problemen bei der Indexierung führen:

Wenn Sie bei einem derart konfigurierten Server einen Linkcheck vornehmen, können Sie nicht erfahren, ob es defekte Links gibt.
Auch der Suchmaschinenroboter wäre nicht in der Lage zu erkennen, dass bestimmte Adressen nicht existieren und würde versuchen, eine mögliche Fehlerseite eventuell mehrfach zu indexieren.
Zu gravierenden Problemen kann es kommen, wenn bei einer nicht existierenden Adresse die Startseite ausgeliefert und diese als wichtigstes Dokument der Domain mehrmals indexiert wird.
Kritisch kann dieses Serververhalten auch beim Fehlen einer robots.txt-Datei werden: Existiert diese Datei nicht, wird bei dem Versuch, diese Datei aufzurufen, fälschlicherweise ein Fehlerdokument, die Startseite oder etwas anderes als robots.txt erkannt. Wie bereits beschrieben, kann eine nicht valide robots.txt ebenfalls zu Indexierungsproblemen führen.

Prüfen Sie also in jedem Fall die Serverantwort bei nicht existierenden Adressen. Egal, welche HTML-Datei zurückgeliefert wird: Der Statuscode darf hier ausschließlich 404 lauten. Eine entsprechende Prüfung lässt sich mit der Suchmaschinenbrille vornehmen.

Auch eine Weiterleitung ist in einem solchen Fall nicht zu empfehlen. Im folgenden Beispiel wird beim Aufruf einer fehlerhaften Adresse eine serverseitige Weiterleitung auf die Startseite durchgeführt.

Weiterleitungen

Die Verwendung von clientseitigen Weiterleitungen ist alles andere als empfehlenswert - waren sie schließlich in der Vergangenheit im großen Stil für manipulative Zwecke im Einsatz. Trotzdem muss natürlich irgendeine Möglichkeit zur Verfügung stehen, suchmaschinenverträgliche Umleitungen einrichten zu können. Und genau diese steht mit den serverseitigen Weiterleitungen zur Verfügung.

Bei der serverseitigen Weiterleitung werden beim Aufruf einer Adresse vom Server ein 3xx-Statuscode und eine neue Adresse zurückgeliefert. Diese Adresse wird vom Browser in der Regel automatisch aufgerufen, sodass auch dieser Vorgang für den Besucher kaum bewusst zu verfolgen ist.

Für die Suchmaschinen sind serverseitige Weiterleitungen ein wesentlich geringeres Problem als die clientseitigen, da hier sichergestellt werden kann, dass Robot und Website-Besucher (normalerweise) die gleichen Inhalte zu sehen bekommen.

Achten Sie bei der Einrichtung einer serverseitigen Weiterleitung darauf, den Statuscode 301 zurückzugeben. Mit diesem wird die Umleitung als permanente Zieladresse markiert. Vermeiden Sie eine 302-Meldung. Diese verweist auf den temporären Charakter der Umleitung und kann bei der Indexierung zu Problemen führen, wenn das Weiterleitungsziel auf einer anderen Hauptdomain liegt.

Sie sollten ebenfalls darauf achten, Weiterleitungen nur dann zu setzen, wenn es unbedingt erforderlich ist. Setzen Sie diese sparsam ein und vermeiden Sie ein mehrfaches Hintereinanderschalten. Im folgenden Beispiel können Sie sehen, das beim Aufruf der Adresse microsoft.de über insgesamt drei Weiterleitungen bis zur eigentlichen Zielseite geführt wird.