User-agent: BeispielRobot
Disallow: /log/        # Logging-Ordner
Disallow: /logs/       # Logging-Ordner
Disallow: /css/        # Statistik-Ordner
Disallow: /icon/       # Statistik-Ordner
Disallow: /js/         # Statistik-Ordner
Disallow: /stats/      # Statistik-Ordner
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /admin/      # Forum admin-Ordner
Disallow: /includes/   # Forum includes-Ordner