scoutjet.com muß draussen bleiben.
Ich hab echt nix dagegen, wenn Suchmaschinen ihre crawler schicken, sonst würde man ja nicht gefunden. Ich hab auch nix dagegen, wenn der eine oder andere crawler 100x am Tag kommt. Aber ca 150x in knapp 2Stunden?!?! Nöö, laß´ mal, scoutjet.com.
Sie behaupten ja, sich an die robots.txt zu halten, mal schauen. Ansonsten heißt es dann: schönen Gruß von meiner htaccess… :p
