# robots.txt fuer http://www.mfc-ingolstadt.de.de/
# dient dazu Flile not found Error #404 zu vermeiden
# infos bei www.bjoernsworld.de/suchmaschinen/robots-txt.html

# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy

Disallow: /_private/
Disallow: /_vti_cnf/
Disallow: /_vti_pvt/       
Disallow: /logs/       # logfiles von 1&1 ändern sich jeden Tag
Disallow: /data/       # Bilder und daten nicht downloaden
Disallow: /news.html   # Die news.html ändert sich häufig