J'ai mis un fichier robots qui contient les repertoire et fichier a exclure pourtant google continue a referencer ces pages et repertoire.  
 
Pourtant j'ai bien transferer le fichier en ascii  
Faut il lui laisser l'extension txt ?  
 
Cela fait un mois que j'ai ces opérations, donc ce n'est pas une question de temps.

Oui donc c'est bien comme ca que j'ai fait

et dedans j'ai mis :
 
User-agent:*
Disallowdossier1/
Disallowdossier2/
 
...

et dedans j'ai mis :
 
User-agent:*
Disallow:/dossier1/
Disallow:/dossier2/
 
...

il me semble que Google ne tient pas compte de ce fichier

En tout cas pas sur mon site
Dans mes logs aucun des GET de /robots.txt n'est fait par Google (et pourtant Google y passe très souvent, vu qu'il fait des GET sur les pages du site)

Vous etes sur qu'il faille faire pour les repertoires :
 
Disallowrep/
 
regardez : http://www.allhtml.com/methodologie/methodologie96.php