Sonntag, 30. April 2006 - 19:18:39
Obwohl ich weiß, dass „sich“ coole URIs nicht ändern, habe ich vor langer Zeit eine einzelne Seite von meiner Webseite entfernt, die komischerweise von einigen Suchmaschinen-Bots (auch Spider genannt) immer noch angefragt wird. Mit einem HTTP 404 sollte die Sache erledigt sein, nur gibt es Bots, die auch wirklich sichergehen wollen, dass die Seite nicht mehr vorhanden ist:
msnbot hat am Donnerstag gleich vier mal diese Seite angefordert und anscheinend erst beim vierten Mal dazugelernt.