# robots.txt
# Zugriff auf alle Dateien erlauben
User-agent: *
Disallow: 404.html
Disallow: /spider-trap/
Disallow: /links/

User-agent: psbot
Disallow: /