C++

récuperer infos d'une page web (parsing)

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : récuperer infos d'une page web (parsing)

iceteapeche

www.iceteapeche.com

Salut tous,

je cherche a créer un petit programme qui pourrait automatiquement me parser une page html pour récuperer des infos et remplir une base mysql.
Il faudrait que je charge tout le texte d'une page web (distante) dans une variable ; apres le parsing est facile.

Quel type de variable dois je utiliser? Comment acceder a la page web et stocker ensuite le code source dans cette variable?

Je travaille en c++ sur vc2005

Merci de votre aide

Publicité

IrmatDen

Salut,

libcurl devrait pouvoir t'aider? Je ne connais pas de lib qui soit C++ et uniquement orienté http/réseau par contre, mais ça peut valoir le coup de fouiller.

MainMa

S'il faut juste lire un fichier distant via HTTP avec un programme Win32, alors vous pouvez vous inspirer du code suivant (si vous utilisez C++/CLI, alors je crois que la solution peut être beaucoup plus simple avec les fonctions de .NET Framework) :

Code :

#pragma comment(lib, "wininet.lib" )
#include <winsock.h>
#include <wininet.h>
#include <stdio.h>
char *buffer;
int GetHTTPFile(char cFileName[128], int iMaxFileSize)
{
HINTERNET hSession, hFile;
hSession = InternetOpen("WEB_GetFiles",
INTERNET_OPEN_TYPE_DIRECT,
NULL,
NULL,
NULL);
if (!hSession)
{
return -1;
}
hFile = InternetOpenUrl(hSession,
cFileName,
NULL,
0,
INTERNET_FLAG_DONT_CACHE,
NULL);
DWORD dwBytesToRead;
DWORD dwBytesRead;
buffer = (char*)malloc(iMaxFileSize);
dwBytesToRead = iMaxFileSize;
if (!InternetReadFile(hFile,
&buffer,
dwBytesToRead,
&dwBytesRead))
{
return -1;
}
buffer[dwBytesRead] = 0;
InternetCloseHandle(hSession);
return 0;
}

Pour rendre tout ça compatible Unicode, il suffit de changer quelques lignes.

iceteapeche

www.iceteapeche.com

c'est exactement ce que je cherchais, merci de vos réponses. Je teste tout cela tout de suite

SkippyleGrandGourou

Pour info, sous linux :

Code :

lynx -dump http://ma.page.web | awk 'ce que je cherche {print "ce que je veux"}' > resultat

Message édité par SkippyleGrandGourou le 05-09-2007 à 11:55:09

netcorsair

Bonjour, quelqu'un pourrait m'expliquer ce code SVP ?
personellement je cherche a récupérer le code source de plusieurs pages html faites pareil pour les traiter et en copier a chaque fois le meme type d'information (un nom et un lien sur une photo en fait) dans un fichier texte
une piste pour moi ? sachant que je suis novice en C
merci

netcorsair

je crois avoir trouvé une piste, reste a comprendre comment ca marche justement
http://www.commentcamarche.net/faq [...] b-distante

MainMa

Et bien, la fonction GetHTTPFile() récupére le contenu d'une page specifique dans une chaine de caractères buffer.
Pour extraire les informations à partir de plusieurs pages, tu peux je pense faire appel à GetHTTPFile() plusieurs fois de suite, en variant l'URL passé en paramètres. Par contre, l'appel suivant va effacer le contenu de buffer, donc il faut extraire les informations necessaires juste après chaque appel.

Après, coté extraction des infos à partir de la chaine de caractères, à toi de voir comment faire selon tes besoins.

netcorsair

yep j'vais tester ca merci beaucoup, au besoin je reviens t'facon

netcorsair

alors voila, j'ai testé quand meme avec ce que j'avais trouvé (lien dans message précédent)

Code :

#include <curl/curl.h>
#include <iostream>
#include <stdlib.h>
#include <string>
using namespace std;
void istr(int i, char* in_pszbuffer)
{
// permet de copier un int dans la chaîne buffer
sprintf(in_pszbuffer, "%d", i);
}
int main()
{
char* urlarp;
char* urlsave;
char* buf;
int i;
for(i=1;i<=2179;i++)
{
istr(i,buf);
urlarp=strcat("http://lien.php?var=",buf);
CURL *session = curl_easy_init();
curl_easy_setopt(session, CURLOPT_URL, urlarp);
urlsave=strcat(strcat("./save/user_",buf),".txt" );
FILE * fp = fopen(urlsave, "w" );
curl_easy_setopt(session, CURLOPT_WRITEDATA, fp);
curl_easy_setopt(session, CURLOPT_WRITEFUNCTION, fwrite);
curl_easy_perform(session);
fclose(fp);
curl_easy_cleanup(session);
}
system("PAUSE" );
return 0;
}

ca compile sous devcpp mais ca m'affiche a l'execution un message d'erreur "la memoire ne peut pas etre "written" " saurais-tu d'ou ca vient ?

Publicité

MainMa

Pour quelle ligne s'affiche l'erreur ? Ca peut éviter d'avoir à étudier tout le code entier...

MainMa

En tout cas, déjà, lorsque je vois :

Code :

char* urlarp;
urlarp=strcat(........

:non: ...

Regarde du coté des tutoriels sur la manipulation des chaines de caractère en C. Car ça ne se fait pas comme avec les variables, donc tu ne peux pas faire juste un char* x = quelque_chose.

netcorsair

e fait j'avais pensé le faire avec des string, mais ca déconne ... j'ai l'impression de mélanger C et C++ dans ce truc et je n'sais pas qui est ou en fait

Message cité 1 fois

MainMa

Quelques pistes : http://www.cplusplus.com/reference [...] trcat.html

MainMa

netcorsair a écrit :

e fait j'avais pensé le faire avec des string, mais ca déconne ... j'ai l'impression de mélanger C et C++ dans ce truc et je n'sais pas qui est ou en fait

Non mais fais le avec char*. Mais ne le fais pas n'importe comment. Tout ce qui concerne les chaines de caractères peut très bien être fait sur des char* dans la mesure où string.h fournit une large gamme de fonctions permettant la manipulation des chaines de caractères. J'ai jamais utilisé les string en C/C++, et jamais j'en ai eu vraiment besoin, donc...

netcorsair

ok ok, donc deja une erreur de plus j'avais mi #include <string> et pas <string.h>
de plus j'ai compri grace a ton lien mon erreur avec les affectation dans des char*
ca donne ca ?

Code :

int main()
{
char* urlarp;
char* urlsave;
char* buf;
int i;
for(i=1;i<=2179;i++)
{
istr(i,buf);
strcpy(urlarp,"http://lien.php?id=" );
strcat(urlarp,buf); // la on a blablabla?id=n° DANS urlarp
CURL *session = curl_easy_init();
curl_easy_setopt(session, CURLOPT_URL, urlarp);
strcpy(urlsave,"./saved/user_" );
strcat(urlsave,buf);
strcat(urlsave,".txt" );
FILE * fp = fopen(urlsave, "w" );
curl_easy_setopt(session, CURLOPT_WRITEDATA, fp);
curl_easy_setopt(session, CURLOPT_WRITEFUNCTION, fwrite);
curl_easy_perform(session);
fclose(fp);
curl_easy_cleanup(session);
}
system("PAUSE" );
return 0;
}

PS: l'erreur est toujours la: ce n'est pas une erreur a la compilation, mais a l'execution: je lance mon truc en mode console, je vois la console apparaitre, tout de suite apres y'a une msgbox avec l'erreur

Message édité par netcorsair le 17-06-2008 à 00:35:01

MainMa

Ah bah j'imagine, oui.

Mais... je demande à nouveau, à quelle ligne c'est, l'erreur ?

netcorsair

j'sais pas, il se compile sans erreurs comme je te dis ...

Message cité 1 fois

MainMa

netcorsair a écrit :

j'sais pas, il se compile sans erreurs comme je te dis ...

:heink: Ben y a pas moyen de faire le débogage ?

Mais sinon ben à voir le début du code, urlarp est utilisé au sein de strcpy, ligne 11, alors qu'il n'a été défini nulle part. Donc un petit urlarp = (char*)malloc(...); sera le bienvenu.

Sinon ben je te conseille d'aller lire quelques tutoriels/manuels du coté de la manipulation des chaines de caractères en C ; car bon, ce n'est pas une très bonne idée de faire quelque chose sans trop savoir ce qu'on fait exactement.

netcorsair

ouai j'pense que c'est ce que je vais faire ... ca s'voit que j'galere lol

netcorsair

et apres debug, aparemment il y a erreur de segmentation ligne 26

Code :

curl_easy_perform(session);

Message édité par netcorsair le 17-06-2008 à 01:01:24

MainMa

Ah bah là, j'peux pas t'aider, vu que je ne connais pas du tout la libcurl. Desolé.

netcorsair

ok, merci de l'aide déja c'est beaucoup j'vais chercher pour libcurl

Publicité

FORUM HardWare.fr

Programmation

C++

récuperer infos d'une page web (parsing)

Sujets relatifs
espace avant pied de page	[ ASP ] Fonction include d'une page HTTP situé sur un autre serveur
Afficher du code en couleur dans une page HTML	afficher un pdf dans une page html/php
Recuperer données d'un fichier html et les stocker dans un .txt	[ASP] Récupérer contenu HTML d'une url
[résolu] Random page promo	[résolu] PHP : lire une page web et séparation paramètres
Infos resources pour débutant en php	blabla@php \| faq et bonnes pratiques page 1
Plus de sujets relatifs à : récuperer infos d'une page web (parsing)

Page générée en 0.095 secondes