Voici les données du problèmes :
-je veux mettre un fichier robots.txt pour éviter que certaines parties de mon site se retrouve en libre accés dans google ou autre.
 
-seulement il sera assez facile à quelqu'un d'avoir accés à ce fichier, et donc de connaitre l'adresse des parties  que je tiens à protéger.
 
Dons ma question est simple : faut il que je crypte le robots.txt (si c'est possible) et que cela reste utilisable par les robots. Si oui, avec quels utilitaires ?
 
Merci d'avance  

Je suis pas sûr que google respecte les robots.txt

S'il était possible de chiffrer un robots.txt de façon qu'il reste tout de même lisible pour tous les robots, alors je ne voit pas vraiment ce qui pourrait empêcher un utilisateur lambda de le lire également...

Ben je ne sais pas ! On peut bien crypter du html et que ça reste interprétable pour les browsers ..

Ah bon ? Tu peux crypter du HTML ???  
 
Sinon pour ton robot.txt, un simple CHMOD devrait suffire non ? je sais pas comment sont traitées les requètes des robots...

Les droits unix n'ont rien à voir là dedans : le robots.txt est récupéré via le serveur http, comme n'importe quelle page. Les droits unix s'appliquent au serveur web, point.

Indy -->http://www.protecthtml.com/
 
'mais ce n'est pas le seul ...

et du côté du .htaccess ?  
tu peux empecher l'affichage de certains fichiers / répertoires...
 
un CHMOD permet aussi de nécessiter une autorisation pour afficher le fichier (autorisations groupe et user...)

 
Je me disais, c trop beau Ca s'appuie sur du JavaScript si j'ai bien compris...   Pas top comme solution.

et comme tous les autres, c'est de la connerie et ça ne dissuadera que le gars qui n'y connait rien.
 
google utilise bien robots.txt : http://www.google.com/webmasters/faq.html et ça donne du coup des possibilités de visiter les parties privées : http://www.theregister.co.uk/conte [...] 11174.html
 
précision, google et les autres moteurs n'indexent que les pages qu'ils trouvent en suivant tous les liens sur les pages qu'il visitent. donc si tu veux protéger un site privé, il suffit de ne jamais mettre de lien vers sur le net (et donc pas non plus dans robots.txt), et personne n'y aura jamais accès.
 
quant à crypter robots.txt, c'est impossible, ce serait également décryptable et donc accessible.

http://www.pikas.net/robots.txt <--- tu peux pas l'afficher... par contre je doute aussi que Google parvienne à l'utiliser    
 
Bête, méchant et inutile...
 
par ailleurs je vois pas trop l'utilité d'empecher de visualiser les chemins qui figurent dans le robots.txt, sachant qu'on y aura accès depuis tout moteur de recherche... quant aux chemins interdits, il suffit de spécifier des "noindex,nofollow" dans les pages, je pense que ça suffit ?

* les chemins interdits il suffit de ne PAS METTRE DE LIEN VERS, BORDEL ! ou au moins de mettre un html par défaut dans le répertoire, puis utiliser un login / pass pour les fichiers ! ça ne sert à rien de spécifier noindex car un gars qui veut cracker la page testera sûrement avec un script la présence de robots.txt.
 
* robots.txt sert à empêcher d'indexer des trucs, ie sur le site de kde il y a tout l'arbre des sources. si tous les moteurs de recherche indexaient toutes les sources, ça boufferait un MAX de bande passante (x moteurs * y indexations par mois * z fichiers = beaucoup trop).

en somme, si tu veux protéger, il faut qu'il n'y ai qu'une page à protéger, sinon dès que tu calles un hypertexte dans une zone à défendre , c'est la mer.. pas vivable comme solution ..