# robots.txt fuer http://www.kunst-galerie-divalore.de/ # Anleitungen und Regeln finden Sie am Ende des Dokuments User-agent: * Disallow: /*?XTC* Disallow: /*coID=7* Disallow: /*account.* Disallow: /*coID=7* Disallow: /*shop_content.* Disallow: /*redirect=* Disallow: /*create_account* Disallow: /*pid* Disallow: /admin Sitemap: http://www.kunst-galerie-divalore.de/sitemap.xml Sitemap: http://www.kunst-galerie-divalore.de/rss-newsfeed.php # DIE REGELN by http://www.kohlfuerst.at/ # Disallow:/ # Gesamte Präsenz soll nicht gecrawlt werden # Disallow: /*? # Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden # Disallow: /verzeichnis/ # Allow: /verzeichnis/datei.htm # Crawle verzeichnis nicht ausser datei.htm # Disallow: /*.doc$ # Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden # Disallow: /*? # Allow: /*?$ # Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. # Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden # Disallow: /nein*/ # Alle verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen