Quel langage pour intérroger des pages web?

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : Quel langage pour intérroger des pages web?

the_skwi

Bonjour,

Je suis aujourd'hui à la recherche d'un langage me permettant de tester si une page web répond bien, et dans certains cas regarder sur la page si un champ a une valeur particulière.
Aujourd'hui ces étapes sont réalisées manuellement, ceci prend du temps et n'apporte aucune valeur ajoutée.

Je "maitrise" le VBA, et j'avais précédemment réalisé une fonction permettant d'injecter du contenu sur une page html, en VBA, en analysant l'arborescence de la page.
Cependant, je suis certain qu'il existe des langages plus appropriés pour réaliser ce type de manipulations.

J'avais vu quelques langages utilisant une syntaxe SQL pour interroger les différentes balises avec les noeuds parents et enfants, mais je ne me souviens plus de leurs noms.

Si quelqu'un a un langage à me proposer me permettant de réaliser ceci, je suis preneur! Et si en prime il y a quelques exemples, ça serait merveilleux
(et pour abuser, si possible quelque chose de "léger" niveau installeur, que je puisse limite coder avec notepad++, car les usines genre Eclipse, j'aime pas :3)

Merci.

Message cité 1 fois

Publicité

kao98

...

Selenium est un outil complet qui permet d'automatiser des tests d'IHM (un plugin simple à utiliser pour Firefox existe). C'est très complet.

Casper.js propose une approche différente, programmable à l'aide de JavaScript. Je l'apprécie beaucoup.

---------------
Kao ..98 - Uplay (R6S) : kao98.7.62x39 - Origin (BF4, BF1) : kntkao98

rufo

Pas me confondre avec Lycos!

Tu peux tester les libs PHP du genre Snoopy ou SimpleTest. SimpleTest permet de faire des tests unitaires et d'intégration

http://simpletest.org/fr/start-testing.html

Avec, tu peux manipuler des formulaires web, vérifier la présence d'une chaîne de caractère dans la page, te connecter à une BD (enfin ça, c'est PHP de base)... Moi, je m'en suis servi pour faire du développement piloté par les tests (test driven).

---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta

philippe06

the_skwi a écrit :

Bonjour,

Je suis aujourd'hui à la recherche d'un langage me permettant de tester si une page web répond bien,

Une simple librairie http peut faire l'affaire. Ou cURL ou wget (sous linux).

the_skwi a écrit :

et dans certains cas regarder sur la page si un champ a une valeur particulière.

Une librairie type mechanize (http://wwwsearch.sourceforge.net/mechanize/ pour python et perl) ou simpledrom (http://simplehtmldom.sourceforge.net/ pour php) peut venir à bout des cas difficiles.

D'expérience pour faire du monitoring, la simple recherche d'une chaîne de caractère sans parsing html est très souvent suffisant.

the_skwi a écrit :

Aujourd'hui ces étapes sont réalisées manuellement, ceci prend du temps et n'apporte aucune valeur ajoutée.

Je "maitrise" le VBA, et j'avais précédemment réalisé une fonction permettant d'injecter du contenu sur une page html, en VBA, en analysant l'arborescence de la page.
Cependant, je suis certain qu'il existe des langages plus appropriés pour réaliser ce type de manipulations.

J'avais vu quelques langages utilisant une syntaxe SQL pour interroger les différentes balises avec les noeuds parents et enfants, mais je ne me souviens plus de leurs noms.

Si quelqu'un a un langage à me proposer me permettant de réaliser ceci, je suis preneur! Et si en prime il y a quelques exemples, ça serait merveilleux
(et pour abuser, si possible quelque chose de "léger" niveau installeur, que je puisse limite coder avec notepad++, car les usines genre Eclipse, j'aime pas :3)

Merci.

Sur un serveur linux/unix, un script perl ou python lancé en crontab serait à mon sens la meilleure solution.

J'avais aussi réalisé un petit parser en php qui récupérait les images d'un fil hfr y a pas si longtemps et les répertoriait dans une table. J'avais choisi le php car j'avais un hébergeur gratuit qui supportait le php et simpledom nécessitait un simple "include" sans installation particulière.

En gros la "trame" était:

Code :

include ("../lib/simple_html_dom.php" );
foreach($tab_cpt as $cpt) //pour toutes les pages à controler ...
{
echo "$url_de_base$cpt.htm"; //url de la page hfr à parser
$html = file_get_html("$url_de_base$cpt.htm" );
foreach($html->find('table') as $e)
{
$poste=array();
$poste['page']=$cpt;
$poste['url']="";
$poste['posteur']="";
$poste['post']='';
if($e->class=="messagetable" )
{
$part1=$e->find("td" );
foreach ( $part1 as $p)
{
if ($p->class=="messCase1" )
{
$e2=$p->find("b" );
foreach ($e2 as $e3)
{
if ($e3->class=="s2" )
{
$auteur=str_replace("","",$e3->innertext);
$poste['posteur']=$auteur;
}
}
}
else if ($p->class=="messCase2" )
{
//echo "messCase2";
$poste['post']="";
$part2=$p->find("div" );
foreach ( $part2 as $p)
{
if ($p->class=="toolbar" )
{
//echo "on recupere la date du post";
$e2=$p->find("div" );
foreach ($e2 as $e3)
{
if ($e3->class=="left" )
{
$tmp=preg_match_all("/(\d+)-(\d+)-(\d+)[^0123456789]*(\d+):(\d+):(\d+)/",$e3->innertext,$out);
if ($tmp)
{
$date_post=sprintf("%04d-%02d-%02d %02d:%02d:%02d ",$out[3][0],$out[2][0],$out[1][0],$out[4][0],$out[5][0],$out[6][0]);
$poste['date_post']=$date_post;
}
//Post顬e 10-05-2011 ࠱2:52:59
}
}
}
else
{
$content = str_replace($baadchar,$goodchar,strtolower($p));
$poste['post'].=$content;
$images=$p->find("img" );
foreach( $images as $img)
{
$poste['url']=$img->src;
if (strstr($poste['url'],"forum-images.hardware.fr" )===FALSE)
{
$sqltest2="select * from images2 where `url`='".mysql_real_escape_string($poste['url'])."' and `date_post`='".mysql_real_escape_string($poste['date_post'])."'";
$recordstest2=select_records($sqltest2);
if (!$recordstest2)
{
$sqltest="select * from images2 where url='".mysql_real_escape_string($poste['url'])."'";
$recordstest=select_records($sqltest);
$poste['#date_insertion']='now()';
$poste['post']=nettoietag($poste['post']);
if (!$recordstest)
{
$poste['repost']=0;
insert_record("images2",$poste);
}
else
{
$poste['repost']=1;
insert_record("images2",$poste);
}
}
}
}
}
}
if (!isset($poste['repost']))
{
//post sans image
$poste['url']="";
$poste['repost']=2;
$poste['post']=nettoietag($poste['post']);
insert_record("images2",$poste);
}
}
}
echo "<br/><br/>";
}
}
}

Message édité par philippe06 le 07-09-2015 à 13:19:43

---------------
Aimer les femmes intelligentes est un plaisir de pédéraste. (Charles Baudelaire) - Vous vulgarisez :o (Jean-Kevin Dubois)

the_skwi

Merci pour vos réponses. J'ai oublié de préciser que je suis sur un poste Windows.

J'ai regardé côté Selenium en mode plugin firefox, ça semble faire l'affaire mais ça reste "basique". Un peu galère rien que pour vérifier une date. De plus c'est du séquentiel, c'est donc dommage de tester les différents liens les uns à la suite des autres au lieu de tout faire en simultané.

Je reviens sur ma décision de coder avec le bloc note, vu que je ne connais aucune fonction en javaScript ça serait pratique d'avoir un outil permettant de montrer les fonctions possibles :3

rufo

Pas me confondre avec Lycos!

Et SimpleTest, ça te branche pas ?

Message cité 1 fois

the_skwi

rufo a écrit :

Et SimpleTest, ça te branche pas ?

Oui et non
Oui car je préfèrerai développer dans un langage "propre", sur le plugin Selenium le code que j'ai ressemble à une succession de balises HTML, je ne peux pas (ou alors je n'ai pas trouvé comment) faire une belle fonction mais obligé de décomposer chaque étape. Exemple :

Code :

<tr>
<td>clickAndWait</td>
<td>link=Services</td>
<td></td>
</tr>
<tr>
<td>storeEval</td>
<td>tabJours=['Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Venderdi', 'Samedi','Dimanche'];</td>
<td></td>
</tr>
<tr>
<td>storeEval</td>
<td>tabMois=['janvier', 'février', 'mars', 'avril', 'mai', 'juin','juillet','août','septembre','octobre','novembre','décembre'];</td>
<td></td>
</tr>
<tr>
<td>storeEval</td>
<td>d=new Date();d=tabJours[d.getDay()-1]+" "+("0" + d.getDate()).slice(-2)+" "+tabMois[d.getMonth()]+" "+d.getFullYear()</td>
<td>realDate</td>
</tr>
<tr>
<td>verifyText</td>
<td>id=today</td>
<td>${realDate}</td>
</tr>

Et le non car je ne sais absolument pas comment "commencer". De plus je n'utiliserais même pas 1% des capacité de ce langage, c'est globalement pour simuler des clics sur une page et vérifier que la page s'affiche bien.

Si tu as un tuto pour expliquer ce que je dois installer sur mon poste et comment exécuter le shmilblick, je suis preneur! Je pourrai réaliser une solution plus "propre" et ça m'apprendra quelque chose.

rufo

Pas me confondre avec Lycos!

Pour la prise en main rapide de SimpletTest : http://www.simpletest.org/fr/start-testing.html
Je te suggère de regarder l'ex intitulé "Tester une page web" :whistle:

Sinon, vu que tu connais VBA, tu peux regarder l'outil AutoIT

the_skwi

Je préfère apprendre un nouveau langage que de réutiliser du VBA.

Avec Selenium les actions de bases sont réalisées, mais je préfère aller plus loin. SimpleTest semble pas mal pour ça. Vu que je ne connais pas spécialement le PHP, ni les outils pour développer efficacement, si vous en avez je suis preneur.
Pour l'instant je suis un tuto sur un autre site, j'vais avoir besoin de notepad++ pour le code, et WampServer pour tester.

rufo

Pas me confondre avec Lycos!

Notepad++ et Wampserver effectivement.

FORUM HardWare.fr

Programmation

Divers

Quel langage pour intérroger des pages web?

Sujets relatifs
Formulaire de devis en PHP sur plusieurs pages web ?	Probleme exercice de Langage machine
projet Conway's Game of Life en langage C	Programmer un dictionnaire bilingue en langage C
Quel langage choisir ?	[Res]Problème d'encodage sous fvwm des pages de manuels Gnu/Linux.
choisir un langage	Extraction VBA de données depuis pages HTML
[algo] Glissando de lien (num.) de pages	Langage Mobil Portabilité
Plus de sujets relatifs à : Quel langage pour intérroger des pages web?

Page générée en 0.101 secondes