3072 connectés

FORUM HardWare.fr

Programmation

Configuration du robots.txt

Recherche :

Dernière réponse
Sujet : Configuration du robots.txt
B-52	Merci infiniment :jap:

Votre réponse

Nom d'utilisateur

Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !

Le ton de votre message

Votre réponse

Smilies

Liste des smilies perso
Wiki smilies
Chercher un smiley

Options

Activer votre signature
Désactiver les smilies
Activer la notification par email du sujet

Aperçu

Vous avez perdu votre mot de passe ?

Vue Rapide de la discussion

B-52	Merci infiniment :jap:

La syntaxe correcte définit des "règles d'autorisation" pour chaque "robot".

Ainsi, par exemple, ton fichier robots.txt aura :

User-agent : * <----- interdire à TOUS les robots
Disallow: /tmp/ <---- répertoire/fichiers interdits
Disallow: /tmp/docs/
Disallow: /secret.html

User-agent : googlebot
Disallow : /hidden/

User-agent : cybermapper
Disallow : /doc.htm

Attention, on ne peut pas utiliser de wildcards genre *.htm ou ?truc?.htm? dans la liste des interdits.

[jfdsdjhfuetppo]--Message édité par Indiana Jones--[/jfdsdjhfuetppo]

B-52

:bounce:

B-52

Voilà le contenu de mon fichier actuel:
"User-agent: ia_archiver
Disallow: /"

Je voudrai interdire à TOUS les robots, d'aller matter le répertoire XYZ, comment dois je configurer mon robots.txt ?

"User-agent: ia_archiver
Disallow: /
User-agent: *
Disallow: /XYZ/"
??

[jfdsdjhfuetppo]--Message édité par B-52--[/jfdsdjhfuetppo]