# robots.txt
# gitesud.com
# http://www.gitesud.com/
# Author: ROUX
# Last Updated: 09/06/03 2:03:43
# Aucun robot ne doit indexer le répertoire cgi-bin, ni le répertoire tmp
User-agent: *
Disallow: /stats/
Disallow: /pdf/

# Lycos ne doit pas indexer le répertoire test
User-agent: Lycos/x.x
Disallow: /autre/

# Big Brother ne doit pas indexer le fichier test.htm du répertoire test
User-agent: Big Brother
Disallow: /test/test.htm

# Fin du fichier robots.txt

#l'étoile n'est pas valable dans les noms de robots ("web*" n'est pas valable), 
#ni dans les noms de fichier ("/test.*" et "/*" ne sont pas valables non plus).
#Un fichier type pourrait donc être construit ainsi: