voila ou trouve une bonne doc en francais sur ce sujet : http://www.abondance.com/docs/robots.html
ok merci