Bonjour,
 
 
est-il possible de créer un sitemap pour un site de vente en ligne, qui contient enormement de pages ?
merci pour vos réponses.

oup

non c'est interdit par la convention de glasgow de 1988.

que d'humour....
 

avec l'outil de google j'arrive a creer un fichier avec les répertoires et non les urls, mon site est enPHP.  
 
Connaissez vous un programme sous linux qui permet de parcourir toutes les urls du sites ( des centaines de miliers de pages ...), Merci.

tu as essayé avec ça : http://www.makeasitemap.com/ ?

la reponse d anapajari n etait pas vraiment une blague hein
tes articles n ont rien a faire dans la sitemap...

merci stitch+.
 
c'est a dire mIRROR, mes articles n'ont rien a faire dans la sitemap, j'ai pas compris pourquoi?

rien  
j ai pas calculé que tu parlais plutot du genre de sitemaps qu  on crée pour l indexation

ok,
 
vous pensez que les gros sites comme cdiscount amazon..etc utilisent un sitemap pour google?

en fait je me demande si  c'est pas trop long de crawler des tres grand site, et si ca a un reel interet

putain je vais me prendre des coups de pelle a clous mais en faisant des recherches pour repondre a ta question j ai decouvert que sitemap etait un nouveau protocole
depuis fin 2006
http://www.sitemaps.org/
 
pour moi le sitemap c etait resté la bete page "plan du site"
une page recommandée par tous les sites d accessibilité pour faciliter la navigation
et donc a ce niveau le detail des articles n a rien a y faire
 
sinon pour repondre a tes questions c est evidemment utile de le faire
et pour la longueur j en sais trop rien ... mais les crawlers s y mettent a plusieurs sur les gros sites

Hello
j'ai pas sous la main mais j'ai déja eu a faire ça..
Pour des sites de pas trop grande envergure, j'ai un script php... (il segfault sur des sites trop grand, quel que soit les params dans le php.ini).
J'ai fini par le refaire en python, mais j'ai du merder sur mon algo, car même si ca marche, ca consomme grave en ram
Je mettrai le code dès que possible
 
PS : le code à venir est crade, c'est mon premier test Python...

au pire je te donnnerai un coup de main