Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
1387 connectés 

 
 


 Mot :   Pseudo :  
 
 Page :   1  2  3  4  5  6  7
Page Suivante
Page Précédente
Bas de page 
Auteur Sujet :

Les bots : programmation, pièges, principes, etc....

n°392762
benou
Posté le 13-05-2003 à 23:39:36  profilanswer
 

Reprise du message précédent :
je viens de tester : le coup du -1 c'était le seul bug. :/
 
le prochain split est pour moi !  :sol:


---------------
ma vie, mon oeuvre - HomePlayer
mood
Publicité
Posté le 13-05-2003 à 23:39:36  profilanswer
 

n°392780
verdoux
And I'm still waiting
Posté le 13-05-2003 à 23:49:32  profilanswer
 

J'utilise assez souvent python pour faire des scripts qui récupèrent des infos sur différents sites et faire des synthèses.
Ca me semble être un langage assez adapté pour ça (librairie http basique, expressions régulières)

n°392791
benou
Posté le 13-05-2003 à 23:54:24  profilanswer
 

j'avais pas encore montré mon code pour l'http :
 

Code :
  1. public InputStream httpGet(String page) throws IOException {
  2.  Socket socket;
  3.  if (useProxy) {
  4.   socket = new Socket(proxyIP, proxyPort);
  5.  } else {
  6.   socket = new Socket(server, port);
  7.  }
  8.  PrintWriter out = new PrintWriter(socket.getOutputStream());
  9.  if (useProxy) {
  10.   out.print("GET http://" + server + ((port == 80) ? "" : (":" + port)) + page + " HTTP/1.0\r\n" );
  11.  } else {
  12.   out.print("GET " + page + " HTTP/1.0\r\n" );
  13.  }
  15.  out.print("Accept: */*\r\n" );
  16.  out.print("Accept-Language: fr\r\n" );
  17.  out.print("Pragma: no-cache\r\n" );
  18.  out.print("User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; KITV4.7 Wanadoo)\r\n" );
  19.  out.print(
  20.   "Cookie: sign=1; user="
  21.    + URLEncoder.encode(pseudo)
  22.    + "; passs="
  23.    + URLEncoder.encode(encodedPassword)
  24.    + "; data="
  25.    + URLEncoder.encode(pseudo)
  26.    + "; daterangemem=2; datemem=21; resSearchmem=100; titremem=0\r\n" );
  27.  out.print("Host: " + server + "\r\n" );
  28.  out.print("\r\n" );
  29.  out.flush();
  31.  return socket.getInputStream();
  32. }
  34. public InputStream httpPost(String page, String body/*, String referer*/) throws IOException {
  35.  Socket socket;
  36.  if (useProxy) {
  37.   socket = new Socket(proxyIP, proxyPort);
  38.  } else {
  39.   socket = new Socket(server, port);
  40.  }
  41.  PrintWriter out = new PrintWriter(socket.getOutputStream());
  42.  if (useProxy) {
  43.   out.print("POST http://" + server + ((port == 80) ? "" : (":" + port)) + page + " HTTP/1.0\r\n" );
  44.  } else {
  45.   out.print("POST " + page + " HTTP/1.0\r\n" );
  46.  }
  48.  out.print("Accept: */*\r\n" );
  49.  //out.print("Referer: " + referer + "\r\n" );
  50.  out.print("Accept-Language: fr\r\n" );
  51.  out.print("Content-Type: application/x-www-form-urlencoded\r\n" );
  52.  out.print("Pragma: no-cache\r\n" );
  53.  out.print("User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; KITV4.7 Wanadoo)\r\n" );
  54.  out.print(
  55.   "Cookie: sign=1; user="
  56.    + URLEncoder.encode(pseudo)
  57.    + "; passs="
  58.    + URLEncoder.encode(encodedPassword)
  59.    + "; data="
  60.    + URLEncoder.encode(pseudo)
  61.    + "; daterangemem=2; datemem=21; resSearchmem=100; titremem=0\r\n" );
  62.  out.print("Host: " + server + "\r\n" );
  63.  out.print("Content-Length: " + body.length() + "\r\n" );
  64.  out.print("\r\n" );
  65.  out.print(body);
  66.  out.flush();
  67.  return socket.getInputStream();
  68. }


---------------
ma vie, mon oeuvre - HomePlayer
n°392800
verdoux
And I'm still waiting
Posté le 13-05-2003 à 23:59:34  profilanswer
 

Ouais, 2 lignes en python :D


Message édité par verdoux le 13-05-2003 à 23:59:45
n°392803
lorill
Posté le 14-05-2003 à 00:02:26  profilanswer
 

verdoux a écrit :

Ouais, 2 lignes en python :D


cf mon premier message dans le topic  [:sinclaire]

n°392805
benou
Posté le 14-05-2003 à 00:07:37  profilanswer
 

verdoux a écrit :

Ouais, 2 lignes en python :D


1 ligne en Java :  

Code :
  1. new URL(tonUrl).openStream()


mais dès que tu veux ajouter un des tas de headers ou que tu veux gérer des proxies, je préfère le faire à la main : t'es pas emmerdé avec toutes les méthodes que t'appelles sans savoir quelles incidences elles ont derrières


---------------
ma vie, mon oeuvre - HomePlayer
n°392807
benou
Posté le 14-05-2003 à 00:09:17  profilanswer
 

autre avantage : le forum est incapable de différencier ma requête de la requête d'IE : c'est la même au byte près !


---------------
ma vie, mon oeuvre - HomePlayer
n°392903
Vic le vik​ing
Posté le 14-05-2003 à 09:01:43  profilanswer
 

bonjour :)
 
je suis ce topic avec interet, meme si ce qui m'interesse est uniquement le coté multithread du bot. on est en train d'apprendre les threads en cours, et j'ai du mal.
 
une question pour kadreg : j'ai vu sur ton interface graphique que tu avais 5 threads, et tu as posté une capture ou un thread récupère le n° du post et les 4 autres dorment.
 
comment ça se fait que tu n'ais qu'un thread qui travaille ? je mexplique : je suppose que tu as créé tes 5 threads et que tu les as lancé en meme temps. donc normalement, les 5 devraient chercher le n° du post ensemble, la tu n'en as qu'un qui le récupere et les autres sont en pause. as tu lancé tes threads de façon décalée ? j'avoue que je comprends pas comment tu as fait la :(


---------------
Bougredane et bougre d'andouille ne font qu'un !
n°392904
benou
Posté le 14-05-2003 à 09:03:33  profilanswer
 

je me souviens plus du screen dont tu parles, mais à mon avis, ses threads sont lancés au fur et à mesure qu'on se rapproche du split ...


---------------
ma vie, mon oeuvre - HomePlayer
n°392908
Vic le vik​ing
Posté le 14-05-2003 à 09:06:00  profilanswer
 

benou: je parle de la capture d'écran qu'il a posté sur la page 1 de ce topic :)


---------------
Bougredane et bougre d'andouille ne font qu'un !
mood
Publicité
Posté le 14-05-2003 à 09:06:00  profilanswer
 

n°392914
Vic le vik​ing
Posté le 14-05-2003 à 09:10:12  profilanswer
 

et puis je pense pas qu'il les lance au fur et a mesure, puisque sur la capture on voit qu'ils sont en pause pendant 20 s. donc ils sont déja lancés ;)


---------------
Bougredane et bougre d'andouille ne font qu'un !
n°392920
chrisbk
-
Posté le 14-05-2003 à 09:12:18  profilanswer
 

ben c koi le pb ? c pe des threads qui utilisent une fonction differente, des threads qui utilisent la meme fonction mais ont ete synchronisees/endormis au mutex, enfin chaipas, y'a ouinte mille possibilites

n°392936
Vic le vik​ing
Posté le 14-05-2003 à 09:25:47  profilanswer
 

chrisbk: oui, je suppose que kadreg a fait un truc sur ses threads, mais justement je voudrais bien savoir ce qu'il a fait, car je suis totalement novice en programmation multithread :)


---------------
Bougredane et bougre d'andouille ne font qu'un !
n°392966
bobuse
Posté le 14-05-2003 à 09:49:29  profilanswer
 

Harkonnen a écrit :

moi personnellement, mais c'est un choix, je préfère le saisir à la main. y'aura toujours des petits malins pour créer un topic pour planter mon bot si j'automatise trop ;)


 
oui mais (et je me repete) si tu specifies une premiere fois le bon topic, apres, tu retrouve celui d'apres en tuilisant le lien "partie suivante" ;)
 
Sinon, moi je pense que je vais laisser tomber le coup du split, et plutot reflechir a une GUI pour consulter/poster et surveiller des topics ...


---------------
get amaroK plugin
n°392980
lorill
Posté le 14-05-2003 à 10:04:05  profilanswer
 

bobuse a écrit :


Sinon, moi je pense que je vais laisser tomber le coup du split, et plutot reflechir a une GUI pour consulter/poster et surveiller des topics ...


pour la consultation, tu peux utiliser la version "xml" du forum :
http://forum.hardware.fr/forum2xml.php3 (memes parametres)

n°392988
kadreg
profil: Utilisateur
Posté le 14-05-2003 à 10:12:09  profilanswer
 

ALors,
 
mes threads sont lancés dès le départ et sont toujours tous actif. Mais comme la durée de récupération de page est jamais la même, ils ont de toutes façon tendance à se désynchroniser après quelques récupérations.  
 
Le but est que si un get prend énormément de temps lors d'un refresh (voir se bloque), un autre thread peut lui passer devant.


---------------
brisez les rêves des gens, il en restera toujours quelque chose...  -- laissez moi troller sur discu !
n°392993
polo021
Posté le 14-05-2003 à 10:16:33  profilanswer
 

et il y a un probleme si ils sont desynchronises?

n°392999
bobuse
Posté le 14-05-2003 à 10:18:32  profilanswer
 

lorill a écrit :


pour la consultation, tu peux utiliser la version "xml" du forum :
http://forum.hardware.fr/forum2xml.php3 (memes parametres)

Citation :

Warning: mysql_fetch_row(): supplied argument is not a valid MySQL result resource in /tmp/sqlforum/forum2xml.php3 on line 176
 
 
 
Requète invalide !


 
EDIT : remarque, faut ptet fournir des arguments
[:neowen]


Message édité par bobuse le 14-05-2003 à 10:19:45

---------------
get amaroK plugin
n°393000
kadreg
profil: Utilisateur
Posté le 14-05-2003 à 10:18:51  profilanswer
 

polo021 a écrit :

et il y a un probleme si ils sont desynchronises?


 
Non, justement, ça réparti mieux les moments des requetes sur le forum.


---------------
brisez les rêves des gens, il en restera toujours quelque chose...  -- laissez moi troller sur discu !
n°393013
lorill
Posté le 14-05-2003 à 10:27:13  profilanswer
 

bobuse a écrit :


EDIT : remarque, faut ptet fournir des arguments


ptet que ca marche plus non plus [:dawa]
 
stait une ptite bidouille made in joce, donc bon  [:sinclaire]

n°393032
Vic le vik​ing
Posté le 14-05-2003 à 10:37:42  profilanswer
 

kadreg: merci :jap: :jap:


---------------
Bougredane et bougre d'andouille ne font qu'un !
n°393106
benou
Posté le 14-05-2003 à 11:09:12  profilanswer
 

bobuse a écrit :


Sinon, moi je pense que je vais laisser tomber le coup du split, et plutot reflechir a une GUI pour consulter/poster et surveiller des topics ...


Ca ca peut être fait assez facilement maintenant que le forum est en XHTML : un petit coup de Xpath et tu récupères tout ce que tu veux super facilement !

n°393128
kadreg
profil: Utilisateur
Posté le 14-05-2003 à 11:18:09  profilanswer
 

benou a écrit :


Ca ca peut être fait assez facilement maintenant que le forum est en XHTML : un petit coup de Xpath et tu récupères tout ce que tu veux super facilement !


 
C'est vrai ça, j'y pense jamais [:meganne]


---------------
brisez les rêves des gens, il en restera toujours quelque chose...  -- laissez moi troller sur discu !
n°393157
bobuse
Posté le 14-05-2003 à 11:27:32  profilanswer
 

benou a écrit :


Ca ca peut être fait assez facilement maintenant que le forum est en XHTML : un petit coup de Xpath et tu récupères tout ce que tu veux super facilement !


 
Xpath ? connais pas. je regarderai a l'occasion, là, faut que je bosse un peu kan meme :D


---------------
get amaroK plugin
n°393160
benou
Posté le 14-05-2003 à 11:29:35  profilanswer
 

bobuse a écrit :


Xpath ? connais pas. je regarderai a l'occasion, là, faut que je bosse un peu kan meme :D


ca permet de naviguer (ou plutot sélectionner des noeuds) dans un document XML très facilement.

n°393988
benou
Posté le 14-05-2003 à 17:11:48  profilanswer
 

bon, on instaure la règle qu'un bot n'a pas le droit de poster plus d'un message d'affilé ?
 
j'ai l'imperssion que le coup du triple postage à partir de 997 n'a pas plus à tout le monde :/

n°393995
kadreg
profil: Utilisateur
Posté le 14-05-2003 à 17:13:33  profilanswer
 

benou a écrit :

bon, on instaure la règle qu'un bot n'a pas le droit de poster plus d'un message d'affilé ?


 
Oui. En revanche, on poste quand on veut si on veux jouer avec l'anticipation :o


---------------
brisez les rêves des gens, il en restera toujours quelque chose...  -- laissez moi troller sur discu !
n°393999
benou
Posté le 14-05-2003 à 17:16:57  profilanswer
 

kadreg a écrit :


Oui. En revanche, on poste quand on veut si on veux jouer avec l'anticipation :o


ca me va.
 
Ok pour tout le monde ?

n°394378
kadreg
profil: Utilisateur
Posté le 14-05-2003 à 22:17:27  profilanswer
 

[:youpi], je crois que j'ai trouvé mon bug (variable allouée sur la pile, et mise dans la queue de message  pour être traitée plus ttard comme paramètre. Ca marche tant que qu'un autre thread a pas l'intension d'écrire au même  endroit :o)
 
PS: [:nraynaud]


Message édité par kadreg le 14-05-2003 à 22:21:45

---------------
brisez les rêves des gens, il en restera toujours quelque chose...  -- laissez moi troller sur discu !
n°394389
kadreg
profil: Utilisateur
Posté le 14-05-2003 à 22:24:16  profilanswer
 

Bon, passage du bestiaux sous valgrind


---------------
brisez les rêves des gens, il en restera toujours quelque chose...  -- laissez moi troller sur discu !
n°394407
Harkonnen
Modérateur
Un modo pour les bannir tous
Posté le 14-05-2003 à 22:39:14  profilanswer
 

benou a écrit :


ca me va.
 
Ok pour tout le monde ?

OK, ça roule !


---------------
J'ai un string dans l'array (Paris Hilton)
n°394514
Harkonnen
Modérateur
Un modo pour les bannir tous
Posté le 14-05-2003 à 23:42:19  profilanswer
 

L'interface actuelle de mon bot :)
 
 http://harko.free.fr/images/bot2.PNG


---------------
J'ai un string dans l'array (Paris Hilton)
n°394537
THE REAL S​MILEY
The Real Résistance!
Posté le 15-05-2003 à 00:21:05  profilanswer
 

[:cupra] Bon, j'ai déjà pas mal roulé ma bosse sur le multiThreading et les Sockets en Java et je crois que je vais me lancer dans l'aventure :D

n°395800
bobuse
Posté le 15-05-2003 à 18:33:02  profilanswer
 

De la detection du nombre de posts d'un topic ...
 
apparemment, certains en aurait deja parlé sur blabla  :o , mais bon, j'y etait pas :(
 
Ma methode :
Je suppose que je connais deja le numero et l'intitule du topic.
Je cherche donc la ligne (dans la liste des topics) qui contient le numero et ensuite l'intitulé. Pour la suite, je me demande comment faire ... compter le nombre de span :-/ ?


---------------
get amaroK plugin
n°395806
benou
Posté le 15-05-2003 à 18:37:02  profilanswer
 

moi je compte le nombre de colones ...


---------------
ma vie, mon oeuvre - HomePlayer
n°395815
drasche
Posté le 15-05-2003 à 18:52:24  profilanswer
 

Harkonnen a écrit :

L'interface actuelle de mon bot :)
 
 http://harko.free.fr/images/bot2.PNG  


ya un bug dans ton interface, ça devrait pas être botalooze le titre de la fenêtre? [:ddr555]

n°395820
benou
Posté le 15-05-2003 à 18:54:48  profilanswer
 

moi je suis en train de chercher pkoi mon bot a mit 5 secondes à poster son message au dernier split  [:benou]


---------------
ma vie, mon oeuvre - HomePlayer
n°395822
kadreg
profil: Utilisateur
Posté le 15-05-2003 à 18:57:30  profilanswer
 

Moi, il faudrait que je fasse poster mon bot même si il rate le split, histoire que mes flood sur le serveur n'haboutiissent pas sur rien (:spamafote)


---------------
brisez les rêves des gens, il en restera toujours quelque chose...  -- laissez moi troller sur discu !
n°396091
UTF-8
Posté le 15-05-2003 à 22:24:52  profilanswer
 

harkoBot > taiste
 
N° du post : NaN

n°396093
walli
Posté le 15-05-2003 à 22:25:32  profilanswer
 

UTF-8 a écrit :

harkoBot > taiste
 
N° du post : NaN


 
Effectivement, pas très au point tout ça [:meganne]


---------------
NP :
n°396094
kadreg
profil: Utilisateur
Posté le 15-05-2003 à 22:25:56  profilanswer
 

AAARRRGGHGHHHHHHH
 
Je lockais pas lorsque j'accédait à l'IHM [:toad666]


---------------
brisez les rêves des gens, il en restera toujours quelque chose...  -- laissez moi troller sur discu !
mood
Publicité
Posté le   profilanswer
 

 Page :   1  2  3  4  5  6  7
Page Suivante
Page Précédente
Haut de page 

Aller à :
Ajouter une réponse
 

Sujets relatifs
[ Cherche langage de programmation ] + question PHP --> EXE ?programmation debutant
programmation Pocket PC en C++[projet] Quel langage de programmation utiliser ? (active directory...
Programmation d'un événementProgrammation openGL
programmation HPVEE ...Programmation ASM sur Windows ?
[O Caml] Programmation d'un interpréteur - pb de syntaxeProgrammation GTK Linux , problème de #include
Plus de sujets relatifs à : Les bots : programmation, pièges, principes, etc....

Forum MesDiscussions.Net, Version 2010.2
(c) 2000-2011 Doctissimo
Page générée en 0.100 secondes

Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR