# robots.txt mit Anweisungen fuer Web-Crawler User-agent: * # Anweisung gilt fuer alle Crawler Disallow: # Die ganze Homepage darf durch den Crawler indiziert werden # Die Logfiles im Verzeichnis /logs/ muessen nicht geschuetzt # werden, da sie im Passwortgeschuetzten Bereich liegen