Da Microsoft sich - wen wunderts - auch im Web nicht an geltende und gängige Standards halten kann, habe ich mal ein wenig böse reagiert.
Der MSNbot, der Suchcrawler der MSN-Suche oder - wie sie jetzt heißt - der LIVE-Suche ignoriert geflissentlich die  robots.txt Datei und hat meine Seite gecrawlt und geindext, obwohl es in meiner robots.txt klar heißt:
User-agent: msnbot
Disallow: /
Außerdem wird meine Seite von MSN auch noch frecherweise gecached - trotzt gegenteiliger Anweisungen in den Meta-Tags.
Aber - dank PHP bekommt MSNbot bzw. jeder, der von *.live.com auf meine Seiten zugreifen möchte, nun ein lapidares HTTP 403 Access Denied zurück.
|
![[]](/image/locked.gif)
ext. Link
wichtig
aktualisiert
