User-agent: * Disallow: / Allow: /home/ Allow: /nachrichten/ Allow: /landleute/ Allow: /kultur/ Allow: /ratgeber/ Allow: /fernsehen/ Allow: /sr1/ Allow: /sr2/ Allow: /sr3/ Allow: /dersr/ Allow: /rso/ # Google abbremsen mit non-standards # http://www.google.com/webmasters/3.html#B3 User-agent: Googlebot Disallow: /*.zip$ Disallow: /*.gif$ Disallow: /*.jpg$ Disallow: / Allow: /home/ Allow: /nachrichten/ Allow: /landleute/ Allow: /kultur/ Allow: /ratgeber/ Allow: /fernsehen/ Allow: /sr1/ Allow: /sr2/ Allow: /sr3/ Allow: /dersr/ Allow: /rso/ # Bilder klauen ist nicht die feine Art User-Agent: Googlebot-Image Disallow: / # AltaVista's Photo Finder User-Agent: vscooter Disallow: / # Related Links? Wozu denn das? # Alexa User-Agent: ia_archiver Disallow: / # Auch Sauger wollen wir sperren User-agent: Teleport* Disallow: / User-agent: Webwhacker* Disallow: / User-agent: Webzip* Disallow: / User-agent: Net Attache* Disallow: / User-agent: SiteSnagger* Disallow: / User-agent: HTTrack* Disallow: / Allow: /sr2/2352/ Allow: /sr2/2273/ User-agent: WebCapture* Disallow: / User-agent: WebSauger* Disallow: /