| Weitere Artikel aus dem Webentwickler Blog |
| Teilen |
Robots oder Crawler sind An- und Abfrageprogramme, die ständig Webseiten aufsuchen und prüfen, ob sich der Inhalt und die URL der bekannten Seiten noch an ihrem ursprünglichen Ort befinden. Das bedeutet, dass auch frisch angemeldete neue Webseiten zumindest über die direkte Eingabe der URL in der Suchmaschine als Treffer angezeigt werden. Hier liegt auch ein Problem verborgen. Was nützt es, wenn die eigene Seite (zum Beispiel www.dagobert.de) mit Hilfe der URL im Suchen-Fenster gefunden wird? Wenig, denn wer die URL der Seite bereits kennt, wird nicht extra danach suchen.
Was passiert bei der Suchmaschinen-Anmeldung?Die meisten potenziellen Benutzer – davon ist auszugehen – kennen die URL nicht. Die Suche mit Hilfe von Schlüsselworten führt daher in diesem Fall zu einer anderen Seite.
Warum aber wird in manchen Fällen die eigene Seite gelistet, obwohl sie nicht manuell angemeldet wurde?
Suchmaschinen–Spider grasen die Server in bestimmten Abständen ab. Das erste, was gelesen werden kann, ist die URL der Webseite. Die Spider erkennen die Links und Verweise, die von einer URL zu anderen URL zeigen. Das bedeutet, dass auch Webseiten, die auf die eigene Webseite zeigen, gelistet werden.
Für die optimale Optimierung der Webseite sind viele Dinge zu beachten. Gerade deswegen gelingt es einigen SEO–Firmen, SEO–Tools und Webmastern, Webseiten erfolgreich auf einen Platz in den Top-Ten zu befördern. Das ist möglich, wenn Know-how und How-to eine Schnittstelle bilden, aber alleine ist das kaum zu schaffen.
Robots.txtIn einer Datei die diesen Namen (robots.txt) tragen muss, können Betreiber von Webseiten angeben, welche Dateien und Verzeichnisse ein Suchmaschinen-Spider auslesen darf und welche nicht. Die Datei enthält Anweisungen (Allow / Disallow) für Robots von Suchmaschinen.
Die überwiegende Mehrheit der Robots moderner Suchmaschinen berücksichtigt das Vorhandensein einer robots.txt, liest diese aus und befolgt die Anweisungen innerhalb der Textdatei.
Die hier aufgeführten Seiten sind tabu für den Suchmaschinen-Spider.
User-Agent: Disallow: /admin/ Disallow: /download/ Disallow: /includes/ Disallow: /pub/ Disallow: /media/ ...Backlinks/Hyperlinks
Backlink (Rückverweis) nennt man einen Link, der von anderen Webseiten auf eine bestimmte Webseite führt. Ideal wäre es natürlich, wenn dies beim eigenen Internetauftritt der Fall ist. Suchmaschinen indizieren Webseiten, bei denen dies der Falls ist, besonders hoch. Einige Werbeagenturen verwenden dieses Prinzip, um die Webseiten ihrer Kunden gut zu platzieren. Das ist mit Hilfe von Webverzeichnissen möglich. Um das Ranking der Seite messen zu können, werden die Referrer analysiert.
Es ist wichtig, dass eine Website keine fehlerhaften Links enthält. Fehlerhafte Links sehen unprofessionell aus und können von Suchmaschinen -Spidern als ungültig indiziert werden. Das gilt auch für CSS (Cascading Stylesheets).
Ganzen Artikel lesen...




































