Perl

[perl] récupéré le code source de plusieurs pages

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : [perl] récupéré le code source de plusieurs pages

K0rN111

bonjour.
je me lance dans le perl depuis quelque jour en lisant des ebook sur des sites internet.
et voici mon tout premier projet dont je bloque un peu.
(c'est de récupéré les page d'un site web (la source) toutes les information qui se trouve entre la balise <pre> </pre> sa fonctionne bien mais je n'arive pas a se qu'il m'afiche sa a toute les page du site cad de la page /proxy/index.php a /proxy/proxy-20.htm.
voila mon code (la il afiche la source de l'index entre la balise <pre> </pre> mais aps des autre page je ne sait pas comment faire j'ai esailler avec uen boucle for mais je n'y suis aps ariver)

#!usr/bin/perl -w
use IO::Socket;
$url = "www.samair.ru";
$socket = IO::Socket::INET->new( Proto => "tcp",
PeerAddr => "$url",
PeerPort => "80" );
print $socket "GET /proxy/index.php HTTP/1.1\nHost: $url:80\nConnection: Close\n\n";
while (my $ligne = <$socket> ){
if ($ligne =~ /(\d+).(\d+).(\d+).(\d+)\S+)/gi) {
print ("ip: $1.$2.$3.$4 port: $5\n" );
}
else {
}
}

aidez moi svp, merci d'avance.

Message édité par K0rN111 le 13-08-2005 à 19:16:41

Publicité

pospos

il faut que tu ferme et réouvre ton socket (connection close)

pourkoi n'utilise tu pas simplement LWP::simple?

Code :

use LWP::Simple;
for (@urls) {
my $source = get($_);
# regexp et autres traitement sur $source...
}

K0rN111

parce que je n'arive pas a se qu'il utilise ma regex avec lwp::simple regex + la boucle :pt1cable:

#!usr/bin/perl -w
use LWP::Simple;
$source = get("http://www.samair.ru/proxy/" );
print "$source\n"

pospos

tu veux recuperer koi exactement?

K0rN111

j'aimerai récupéré tout les proxy ainsi que leur port présent entre la balisse <pre> </pre> (quand tu regard la source de la page) mais pas uniquement dans la page numéro 1 (proxy-0.1.htm) mais dans toute les page cad de la page proxy-01.htm a proxy-20.htm

merci.

pospos

tiens, un exemple qui met les ips dans un tableau pour les pages de proxy-01 (index) à proxy-20 :

Code :

use strict;
use warnings;
use LWP::Simple;
my @ip_list;
my @url_list = map {"http://www.samair.ru/proxy/$_"} ('index.htm', map{sprintf('proxy-%02d.htm', $_)} (2..20));
for my $url (@url_list) {
print "$url\n";
push @ip_list, get($url) =~ /((?:\d{1,3}\.){3}\d{1,3})/g;
}
print join("\n", @ip_list);

pospos

ha merde il manquait les ports!

Code :

use strict;
use warnings;
use LWP::Simple;
my @ip_list;
my @url_list = map {"http://www.samair.ru/proxy/$_"} ('index.htm', map{sprintf('proxy-%02d.htm', $_)} (2..20));
for my $url (@url_list) {
print "$url\n";
push @ip_list, get($url) =~ /((?:\d{1,3}\.){3}\d{1,3}(?::\d+)?)/g;
}
print join("\n", @ip_list);

K0rN111

merci énormément
maitenant que je viend e tester je vai essailler de comprendre ton code sinon sa servirai a rien :jap:
merci encore si j'ai encore d'autre question je les posterai ici.

edit: esque tu pourait me comenter ceci stp :

Code :

push @ip_list, get($url) =~ /((?:\d{1,3}\.){3}\d{1,3})/g;

Message édité par K0rN111 le 13-08-2005 à 23:31:43

pospos

c'est equivalent à ca:

Code :

my $source = get($url);
my @ip_list_page = $source =~ /((?:\d{1,3}\.){3}\d{1,3})/g;
push @ip_list, @ip_list_page;

et maintenant pour expliquer ca:
quand tu execute la regexp en contexte de liste (c'est à dire en l'assignant à une liste ou à un push), elle te retourne tous les bloques capturés (entre parenthese, si il n'y a pas un "?:" en debut de bloque).
le modifier 'g' (en fin de regexp) permet de capturer toutes les expression qui match, pas seulement la premiere, et donc de retourner une liste (cette list contient en fait $1, $2, etc...)

Message édité par pospos le 13-08-2005 à 23:37:03

K0rN111

bonjour. voila mon programme est terminer.
il y a juste que pour pinger les proxy sa prend du temps quand meme.

Code :

#!usr/bin/perl -w
use strict;
use warnings;
use Net::Ping;
use Time::HiRes;
use LWP::Simple;
print "\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n";
print "# Proxy Pinger v.3 by K0rN111 #\n";
print "~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n\n";
print "#Recherche des proxy : \n";
print " ___________________ \n\n";
sleep (2);
my @ip_list;
my @url_list = map {"http://www.samair.ru/proxy/$_"} ('index.htm', map{sprintf('proxy-%02d.htm', $_)} (2..20));
my $nb = 1;
my (%hpms,@read,@foo,$p,$line,$lin,$host,$rtt,$ip,$serv,$ms,$port);
for my $url (@url_list) {
print "$url\n";
push @ip_list, get($url) =~ /((?:\d{1,3}\.){3}\d{1,3}(?::\d+)?)/g;
}
print " \n\n";
print "#Proxy a pinger : \n";
print " ______________ \n\n";
sleep (4);
print join("\n", @ip_list);
print " \n\n";
print "#Execution des requetes ping\n";
print "____________________________\n\n";
print "Ceci peut prendre plusieurs minutes\n\n";
sleep 3;
$p = Net::Ping->new("syn" );
$p->{port_num} = getservbyname("http", "tcp" );
$p->hires();
foreach $line (@ip_list)
{
sleep 1;
if ($line =~ /(\S+):(\S+)/)
{
$host = $1;
$port = $2;
print "~~~~~ Ping n°$nb ~~~~~~\n";
$p->ping($host);
while (($host,$rtt,$ip) = $p->ack)
{
$ms = $rtt * 1000;
$ms = int($ms);
print " [+] Done\n";
$hpms{"$host:$port"} = $ms;
}
$nb++;
}
}
@foo = sort {$hpms{$a}<=>$hpms{$b}} keys %hpms;
print " \n\n";
print "Enregistrement des proxy dans resultat_proxy.txt\n";
print "________________________________________________\n\n";
sleep (3);
print "Enregistrement réussi\n";
open FILE2,">>resultat_proxy.txt";
foreach $lin (@foo)
{
print FILE2 "$lin ~~~~~~~~~~> $hpms{$lin}\r\n";
}
close(FILE2);

ps: il y a encore pas mal de chose a ajouter et a amélioré mais je les meterai dans uen prochaine version

Publicité

pospos

pourkoi tu met des sleep (??! bizare comme phrase!) ?

pour tes ping, il doit y avoir moyen d'en faire plusieurs en //.
Il me semble que le sujet avait deja été abordé ici il y a kk temps.
Deja tu peu le faire avec POE:
http://search.cpan.org/~rcaputo/PO [...] 04/Ping.pm

mais bon POE n'est pas tres facile d'acces...

sinon tu peux te debrouiller en forkant (si t'es sous linux), mais faudra pouvoir recuperer le resultat apres...
le module Async pourrait t'etre utile (il est un peu buggué mais pour ce que tu veux ca devrait aller) :
http://search.cpan.org/~mjd/Async-0.10/Async.pm

en gros tu te fais une dizaine d'objet Async et tu leur balance les Net::Ping, et ensuite tu regarde qui a fini => si tu a un resultat tu rebalance un autre async à la place (pour maintenir le pool) et ainsi de suite. Il y a meme un timeout il me semble sur ce module.

Et puis finalement en fait c'est pas vraiment le ping qui t'interesse: tu t'en fout qu'ils repondent à l'ICMP. Ce que tu veux en fait c'est savoir si tu va pouvoir te connecter en HTTP.
Dans ce cas tu peux remplacer tes ping par des ouvertures de connexion TCP et voila!
la c'est plus simple: tu utilise directement le module Socket (pas IO::Socket) et tu le met en mode nonbloquant (il y a des modules pour faire ca, mais sinon c'est assez simple de toutes facon) juste apres sa creation. Ensuite tu tente la connexion (non bloquante) et tu fais pareil pour une dizaine d'autre adresse la aussi. Ensuite tu utilise IO::Select pour voir quels socket sont connecté (writable)

K0rN111

d'accord merci et les sleep ses comme les wait ses pour qu'il attente un peu lol sa sert a rien mais comme sa on a le temps de lire les print "..."
et j'utilise les ping pour en faite tester si les proxy sont dead ou aps et aussi pour voir le temps de réponse (ms) .
merci beaucoup en tout cas

pospos

avec des connexions tcp tu aura aussi le temps de réponse, et ca sera bcp plus fiable: ce que tu veux c'est savoir si tu va pouvoir te connecter en HTTP ou pas, et en combien de temps.

un proxy peu tres bien repondre à un ping (tres vite) alors qu'il va refuser des connexions HTTP (ou etre tres lent) si il est chargé. A l'inverse, il peu refuser les ping et accepter des connexions HTTP.

pospos

t'es sous windows ou linux?

K0rN111

la windows j'ai acheter un nouveau pc il y a pas longtemps et je n'ai aps encore installer linux.
donc windows

pospos

tiens cadeau (en ce moment je me fait chier, mais j'ai plein de travaux à faire chez moi, donc je prefere glander devant mon PC plutot que d'empiller des carreaux de platre...)

Code :

use strict;
use warnings;
use LWP::Simple;
use POSIX qw(fcntl_h);
use Errno qw(EWOULDBLOCK EADDRNOTAVAIL EINPROGRESS EADDRINUSE);
use IO::Select;
use Socket;
use Time::HiRes "time";
$|=1;
use constant TIMEOUT => 5;
use constant PARALLEL_CON => 50; # pas plus de 60 sous windows (voir moins, suivant que d'autres fichiers ou sockets sont déjà ouverts dans le process)
my %hpms;
my %sock2ip;
my @ip_list;
my @url_list = map {"http://www.samair.ru/proxy/$_"} ('index.htm', map{sprintf('proxy-%02d.htm', $_)} (2..20));
print STDERR "\nGET\n";
for my $url (@url_list) {
print STDERR "get $url\n";
push @ip_list, get($url) =~ /((?:\d{1,3}\.){3}\d{1,3}(?::\d+)?)/g;
}
print STDERR "\nCHECK\n";
check(TIMEOUT, @ip_list);
print STDERR "\nRESULT\n";
for my $ip (sort _sort_sub @ip_list) {
printf "%-21s - %-s\n", $ip, $hpms{$ip};
}
sub _sort_sub {
my ($_a) = $hpms{$a} =~ /^(\d+)/;
my ($_b) = $hpms{$b} =~ /^(\d+)/;
(($_a||1_000_000_000) <=> ($_b||1_000_000_000))
||
($a cmp $b)
}
sub check {
my $timeout = shift || 0;
my @ip_list = @_;
while (@ip_list) {
my @current_ip_list;
if (@ip_list > PARALLEL_CON) {
@current_ip_list = splice(@ip_list, 0, PARALLEL_CON);
} else {
@current_ip_list = @ip_list;
@ip_list = ();
}
print STDERR "check ", scalar(@current_ip_list), " adresses IP (", scalar(@ip_list), " restantes)\n";
my @handles_to_check;
for my $ip (@current_ip_list) {
my ($host, $port) = $ip =~ /^([^:]+)(?::(\d+))?$/;
socket(my $sock, PF_INET, SOCK_STREAM, getprotobyname('tcp')) || die $!;
$sock2ip{$sock} = $ip;
if ($^O eq 'MSWin32') {
if (fileno($sock) > 63) {
die "fd trop grand pour select(2) sous windows => utiliser moins de connexions paralleles";
}
}
nonblock($sock);
my $adr = sockaddr_in($port, inet_aton($host)) || die;
unless (connect($sock, $adr)) {
if ($! and ($! != EINPROGRESS) and ($! != EWOULDBLOCK)) {
$hpms{$ip} = "failed";
printf STDERR "%-21s failed\n", $ip;
next;
}
}
$hpms{$ip} = time;
push @handles_to_check, $sock;
}
return unless @handles_to_check;
my $sel = IO::Select->new(@handles_to_check);
my $time_start = time;
while (time-$time_start < $timeout) {
for my $sock ($sel->can_write($timeout - (time-$time_start) )) {
my $ip = $sock2ip{$sock};
$hpms{$ip} = int(1000 * (time - $hpms{$ip})) . "ms";
printf STDERR "%-21s $hpms{$ip}\n", $ip;
$sel->remove($sock);
delete($sock2ip{$sock});
close($sock);
return unless $sel->handles;
}
}
# ceux qui restent sont en timeout
for my $sock ($sel->handles) {
my $ip = $sock2ip{$sock};
$hpms{$ip} = "timeout";
printf STDERR "%-21s timeout\n", $ip;
$sel->remove($sock);
delete($sock2ip{$sock});
close($sock);
}
}
}
sub nonblock {
my $sock = shift;
if ($^O eq 'MSWin32') {
my $set_it = "1";
ioctl( $sock, 0x80000000 | (4 << 16) | (ord('f') << 8) | 126, $set_it) || return 0;
} else {
fcntl($sock, F_SETFL, fcntl($sock, F_GETFL, 0) | O_NONBLOCK) || return 0;
}
1
}

FORUM HardWare.fr

Programmation

Perl

[perl] récupéré le code source de plusieurs pages

Sujets relatifs
commande sur plusieurs lignes pour question de lisibilité	Visionner des pages php en local + base de donnée en local.
QDLC : Comptez vos lignes de code	Afficher contenu des pages internet explorer vbs
Comment dupliquer un code ?	[Perl] Récupérer le chemin de fichier
code VB	Un script pour modifier des pages
[Dreamweaver] Formater le code ?	Plusieurs instances de debug sous IIS
Plus de sujets relatifs à : [perl] récupéré le code source de plusieurs pages

Page générée en 0.076 secondes