Tag archives for robots.txt

Juli 11, 2014

Geburtstag von robots.txt

image-887
Geburtstag von robots.txt. Schon seit 20 Jahren hält die Datei einige Roboter von der Seite fern. Am 30.Juni 2014 feiert die robots.txt sein Geburtstag.   Geschichte von robots.txt   Die robots.txt wurde von Martijn Koster im Jahr 1994 entwickelt, während er an  Nexor gearbeitet hatte. Alle großen Suchmaschinen damals, einschließlich WebCrawler, Lycos und AltaVista, griffen schnell zu robots.txt und so ist es bis jetzt ...
Juli 10, 2014

Google Spaß: robots.txt mal anders

image-873
Google Spaß: robots.txt mal anders: Suchroboter Terminator Aufgabe: soll die beiden Google Erfinder  Brin & Page nicht töten. Google neue robots.txt: Spaß Bildquelle: searchengineland.com Wie wollten Sie unaufhaltsame Killer Terminatoren aufhalten, wenn Sie nicht Sarah Connor sind? Google tut es mit einer einfachen Textdatei. Der alten robots.txt Diese 'robots.txt' kann als Spaß angewendet werden, die Terminatoren zu stoppen. Die robots.txt Dateien steuern tatsächlich die Suchroboter ...
Oktober 17, 2011

PageRank Vererbung trotz einer robots.txt

Die gesetzten Links auf die Hauptseite oder auf eine Unterseite vererben den Pagerank, selbst dann wenn sie duch robots.txt blockiert wurden. Warum und wie das geht verrät uns natürlich Matt Cutts.