Im Prinzip sowas, wenn alle unerlaubten unterseiten sich in einem Verzeichnis befinden....
User-agent: * Allow: /sitemap.asp Disallow: /Unterseiten/ Ansonsten kannst Du es viel genauer mit meta-tags pro seite festlegen: --------------> Ausschnitt aus selfhtml8 Mit <meta name="robots" content="noindex"> verbieten Sie einem Suchprogramm, Inhalte aus der HTML-Datei an seine Suchdatenbank zu �bermitteln (robots = Suchprogramme, content = Inhalt, noindex = keine Indizierung). Anstelle von noindex k�nnen Sie auch none notieren (none = keine). Daneben sind folgende weitere Angaben m�glich: <meta name="robots" content="index">. Damit erlauben Sie einem Suchprogramm ausdr�cklich, Inhalte aus der aktuellen HTML-Datei an seine Suchdatenbank zu �bermitteln (index = Indizierung). <meta name="robots" content="nofollow">. Damit erlauben Sie einem Suchprogramm, Inhalte aus der aktuellen HTML-Datei an seine Suchdatenbank zu �bermitteln (nofollow = nicht folgen). Sie verbieten dem Suchprogramm jedoch, untergeordnete Dateien Ihres Projekts, zu denen Verweise f�hren, zu besuchen. <meta name="robots" content="follow">. Damit erlauben Sie einem Suchprogramm ausdr�cklich, Inhalte aus der aktuellen HTML-Datei und aus untergeordneten Dateien Ihres Projekts, zu denen Verweise f�hren, zu besuchen und an seine Suchdatenbank zu �bermitteln (follow = folgen). <----------------- Claudius > -----Original Message----- > From: Mayer, Stefan [mailto:[EMAIL PROTECTED]] > Sent: Dienstag, 27. November 2001 15:49 > To: AspGerman Kaffeehaus > Subject: [aspdecoffeehouse] Frage zu robots.txt > > > Frage: Wie mu� eine Robots.txt aussehen, da� die > Suchmaschinen sich nur > /sitemap.asp ansehen und die darin enthaltenen Seiten, jedoch keine > weiteren "Unterseiten" - und keine sonstigen Seiten wie > default.asp oder > index.htm? > > Stefan. > > | [aspdecoffeehouse] als [EMAIL PROTECTED] subscribed > | http://www.aspgerman.com/archiv/aspdecoffeehouse/ = Listenarchiv > | Sie k�nnen sich unter folgender URL an- und abmelden: > | > http://www.aspgerman.com/aspgerman/listen/anmelden/aspdecoffee house.asp | [aspdecoffeehouse] als [email protected] subscribed | http://www.aspgerman.com/archiv/aspdecoffeehouse/ = Listenarchiv | Sie k�nnen sich unter folgender URL an- und abmelden: | http://www.aspgerman.com/aspgerman/listen/anmelden/aspdecoffeehouse.asp
