Reprise du message précédent :
 
Même moi ?

 

 
quelle culture

ben un fan de dawa quand meme

 
 
J'arrive un peu après la bataille, hein, mais sache que si tu as besoin d'un peu de correction, je suis là
 

han y'a drummer

REPONDEZ 0 LA QUESTION§§§

stoi le culturé !

Wééééééééééééééé

Vous connaissez le vrai nom de Michel Berger?
 
 

 
 
Et celui de France Gall ?
 

pas touche à  

Vos gueules

je viens de recevoir un mail d'un webmaster qui dit que mon spider ralentit les accés à son site

url ?

elle est hardcodée dans le spider et je m'en rappelle plus
en gros, c'est un site de roms Amiga inédites, crées par des fans depuis des années, et placées en freeware. y'en a plus de 5000, mais on ne peut les télécharger qu'une par une, et avec un temps d'attente entre chaque.
du coup, je me suis codé un spider qui balaye chaque page du site à la recherche des liens vers les roms, et qui ensuite me télécharge les roms et attend le temps nécessaire pour repartir. le problème est que comme ce temps n'est jamais le même, je charge la page à intervalle réguliers pour récupérer le temps à attendre, que je passe ensuite en paramètre au spider. et c'est ce qui fait ralentir le site : 5 threads dans une poolqueue

Fils du célèbre professeur Hamburger, lequel n'a jamais pardonné à son fils de s'être lancé dans une carrière artistique
 
Rassure-moi, tu le savais? Tu t'emmerdes à ce point-là?

HAHAHA§§§§ I RULE DA WORLD§§§§§§
 

non, je cherchais les paroles d'un truc de France Gall et chuis tombé là dessus
 
 
omfg, chrisbk sort de ce corps

mais j'ai rien fait moi

bon allez, faisons un peu le malin:
 
np: David Shea + DJ Grazhoppa - Down River, Up Stream !
 

bon je lui dit quoi au webmaster ? qu'il aille se faire voir en lui disant qu'il a qu'à permettre le téléchargement par lots ?

raconte lui l'histoire avec ta copine, il prendra pitié et te foutra la paix

que tu es désolé de niquer sa BP parce que tu es un gros crevard ?

non, tu codes pour pas qu'il voit d'ou ca vient (ou tu codes mieux)

ben en fait, il a du me chopper sur un truc con : je lui avais envoyé un mail pour lui demander s'il n'y avait pas moyen de télécharger les fichiers en bloc plutot que de faire le pied de grue devant le PC, il m'a répondu que le seul moyen d'y arriver était de faire un spider, je l'ai pris au mot
je suppose qu'il a comparé l'adresse IP de mon mail et l'IP du spider (le poste depuis lequel le spider est lancé a une IP fixe)

He m'sieur l'bijoutier, tu m'donnes le colier en diamant là?
Ha ben non mon p'tit, pour ça, faut l'payer ou l'voler
Ok

n'importe quoi
je vole rien du tout, mon spider ne fait rien de plus que ce que je ferais si j'étais devant le PC hein

Il le fait plus vite que toi ?

ben oui mais bon
y'a aucune loi qui interdit de balayer un site avec un spider après tout ! sinon, on peut aussi enguirlander ceux qui se servent d'aspirateurs de sites par exemple ! ça bouffe encore plus de bande passante que ma malheureuse poolqueue de 5 threads

Si le webmaster veut pas qu'on pompe toute sa BP c'est qu'il a ses raisons.
C'est pas très sympa.

+1

c'est pas un malheureux test toutes les 10 secondes qui va pomper sa BP hein, faut pas exagérer non plus
mais bon, je vais tout faire en monothread et puis basta.. après tout, le but n'est pas de lui pomper sa BP, mais de télécharger sans faire le pied de grue devant le PC

c'est quoi l'intérêt du mutithread ? t'es à une 1/2 secondes prêt ?

ben non, mon but était tout simplement que ça prenne le moins de temps possible justement pour ne pas lui bouffer sa BP

enfin bon, je vais monothreader pour lui faire plaisir, mais j'aimerais bien savoir quand même comment un malheureux GET toutes les 10 secondes sur un site parvient à faire ralentir ledit site

euh .... t'as une drôle de façon de voir les choses ...
un bot web multithreadé, c'est quand même bien bourrin ! alors 5 threads juste pour faire du téléchargement unitaire ... ca me surprend pas que ce soit mal vu par le webmaster ...

5 threads pour faire une touche toutes les 10 secondes