Fast jede Suchmaschine indiziert die Seiten mit Hilfe von Robotern also kleinen Programmen, die Webseiten über die Hypertext-Links durchforsten. Die Lösung bietet die weltbeste Suchmaschine Google mit ihrem eigenen Roboter (oder Spider, Crawler, Agent), der einen eigenen Namen trägt: Der Googlebot.
Wenn eine Website oder besser die Website-Adresse (URL) vorgelegt wird, kommt diese in einer Art Warteschlange und wartet darauf von den Robotern besucht und aufgenommen zu werden. Wenn die Seite nicht auf die traditionelle Art über die Add Url- Seite nicht angemeldet wurde, wird sie trotzdem im Laufe der Zeit von den Robotern gefunden. Dafür reichen die Links von anderen Websites zu dieser Website aus. Diese Art ist der häufigste Weg, um effizient und effektiv als herkömmliche Add Url-Methode Ihre Homepage auf natürliche Weise zu indizieren.
Wenn also der Googlebot Ihrer Zielseite erreicht, so überprüft er ob die Datei robots.txt auf Ihrem Server vorhanden ist. Diese Datei wird verwendet, um den Betrieb von Robotern auf der Website zu beschränken und diese ansteuern zu können.
Die Datei robots.txt sollte im Root-Verzeichnis des Servers liegen. Die Datei robots.txt ist eine reine Textdatei, ohne HTML-Tags. Robots.txt verwendet ein spezielles Protokoll – Robots Exclusion Protocol, mit dessen Hilfe der Administrator festlegen kann, welche Ordner / Dateien auf dem Server nicht von der Google-Roboter und anderem Robotern besucht werden können/ dürfen. Wir können auf diese Art und Weise den Zugang zu bestimmten Homepage-Bereichen wie z.B. CGI-Verzeichnis, privat oder temporäres Verzeichnis sperren (disallow).
Der Aufbau einer Robots.txt Datei
User-agent: *
Disallow:
User-agent: *
Disallow: /cgi-bin/
Disallow: /privat/
Disallow: /kein-zugang/
User-agent: CosBot
Disallow: /
User-agent: CosBot
Disallow: /privat/
Disallow: /kein-zugang/
Disallow: /bilder/album.html
User-agent: *
Disallow: /privat/
Disallow: /kein-zugang/
Hallo liebe Besucher und alle SEO-Freaks! Willkommen auf meiner SEO-Seite.
Wer schreibt hier? Ich bin leidenschaftlicher SEO, & ITler. Ich bin sei 2008 selbständiger SEO-Profi. Habe bereits mehrere Projekte betreut und erfolgreich begleitet – Referenzen. Ich freue mich, euch bei allen SEO-Fragen helfen zu können. Warte auf eure Kommentare!
Wenn Sie SEO-Beratung benötigen, bin ich gerne für Sie da. Schreiben Sie mir gerne dazu eine Mail: Zum kontaktformular
