Bonjour à tous!
Ca fait un certain temps que je me pose cette question. J'ai constaté plusieurs choses concernant le comportement des robots des moteurs de recherche sur un site dynamique, mais j'ai rien pu confirmer, alors je compte un peu sur vous et sur votre expérience pour m'aider!
 
Premièrement, il semble que les robots ne tiennent pas en compte les variables dans un url. Par exemple, index.php et index.php?p=contact sera considéré comme une seule page, et seul index.php sera référencé. Par conséquent il serait déconseillé de baser son site sur une seule page gérant des includes et la connexion à MySQL par exemple.
 
Deuxièmement, est-ce que si une page utilise un include pour son contenu, sera-t-il référencé? Personnellement j'ai l'impression que non, mais ça me semble très bizzare.
Mais il est possible que, par exemple, l'include est pris en compte que si il est indépendant de toute variable.
 
Et troisièmement, est-ce que les requêtes SQL sont prises en compte?
J'ai observé des phénomènes bizzares: parfois, on tombe sur des mots contenus dans un post d'un forum (bien que le lien référencé soit viewpost.php dans le cas de phpBB, ce qui nous aide pas beaucoup vu qu'il nous ammènera pas au post recherché). Cela impliquerait que les robots effectuent des requêtes SQL sans tenir compte des variables (car d'après ma première question, ils n'en tiennent pas compte)... Mais alors comment peuvent-ils tomber sur un post précis? Effectuent-ils des requêtes au hasard?
 
 
Bon j'ai pas vraiment réussi à être très clair mais j'espère que vous avez un peu cerné les questions que je me pose.
Pour terminer, d'après les trois points ci-dessus, l'idéal serait-il de construire son site comme ça:
 
Une page pour chaque page (cela n'empêche pas vraiment une gestion dynamique... il suffit de créer une page générique avec un script), qui ressemble à ceci:
 

 
Et la page haut.php
 

 
Avec cette technique il n'y a plus de variables dans l'url, et chaque page a sa propre page. Chaque page a ses propres mots clés, sa propre description, et son propre contenu. Les includes ne dépendent pas de variables. Le seul problème qu'il peut y avoir c'est à propos de SQL... est-ce que les robots en dépendent ou non.
 
Qu'en pensez-vous? Avez-vous plus d'informations?

Sinon tu peux continuer a developper ton site a partir d'un seul fichier qui se charge de lancer les modules en fonction des parametres passes, mais tu utilise mod_rewrite.
 
C'est un module d'apache qui te permet d'appliquer des regles de reecriture des tes url.
En gros tu peux avoir une url du style :
www.site.com/forum+viewtopic+5325+highlight+mamam
quand tu tape cette url, mod_rewrite va la reecrire en interne en une url qui existe du genre :
www.site.com/index.php?module=foru [...] ight=mamam
Bien sur tout ceci ce passe en interne.
Cette methode a l'avantage de bien fonctionner avec les moteurs ainsi qu'avec les utilisateurs . Il est plus facile de memoriser des url du premier type.
 
Bon ceci ne repond pas vraiment a ta question de savoir comment les moteurs references les sites dynamiques, mais te donne une solution sans devoir reecrire ton site.
Malheuresement je n'ai pas de liens generaux pour cette methode. Mais j'ai des liens qui concernent cette methode et un CMS (www.postnuke.com). Si tu veux je peux te les donner, cela ne doit pas etre tres dificile de l'apliquer a ton site.

je ne sais pas pour les autres moteurs, mais en tout cas google référence bien les pages du style index.php?categorie=truc&page=bidule etc, mais ce que j'ai remarqué avec mon site c'est qu'il semblait ne référencer que 2 variables maximum
 
par exemple il ne référencera pas une page du style index.php?categorie=truc&section=bidule&page=chouette car il y a 3 variables (categorie, section, page)

il prendra des pages avec plusieurs variables si le site à un page Rank elevé (6 et +)  
 
sinon le rewrinting est une bonne solution dont voici un bon tuto : http://developpeur.journaldunet.co [...] ing2.shtml
 
et pour finir voila un bon site pour mieux comprendre les moteurs de recherches et Google en particulier http://www.webrankinfo.com/

Si vous utilisez mod_rewrite, faites attention, certains moteurs ne gerent pas biens les repertoires virtuels ...
Donc une url du style : http://www.monsite.com/forum/1/3123/msg/56
risque de poser problemes si la partie "forum/1/3123/msg/56" sont des rep virtuels utilises par mod_rewrite.
Les moteurs n'aiment pas trop