Perl

[Perl] Optimisation code perl CGI - Problème de performance

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : [Perl] Optimisation code perl CGI - Problème de performance

web_olivier

R1 Powaaaaa

Bonjour,

Je vous explique le context.

Je dois requêter une base de données (SQL Server) pour générer un tableau de log.
Lorsque le tableau est "petit", c'est à dire<2000 lignes, mon code fonctionne parfaitement et la page s'affiche rapidement.

Par contre quand le nombre de lignes de ma requête SQL est plus important et bien je tombe en time out et ça ne fonctionne plus.

Voici mon code :

Code :

#!/usr/bin/perl -w
use strict;
use warnings;
use LWP::UserAgent;
use CGI;
use DBI;
my $cgi = new CGI;
my $param = $cgi->param('param');
my $data_source = q/dbi:ODBC:localhost/;
my $user = q/sql_admin/;
my $password = q\password\;
# Connect to the data source and get a handle for that connection.
my $dbh = DBI->connect("dbi:ODBC:Driver={SQL Server};Server=localhost;UID=$user;PWD=$password" ) or die "Can't connect to $data_source: $DBI::errstr";
$dbh->{LongReadLen} = 25000;
# Select to get sessionnumber
my $sql="select stagename, stagetype, result, startdatetime, attributexml from [CMA].[sch_CMA].[CMALog] where sessionnumber='$param'";
my $sth= $dbh->prepare($sql);
$sth->execute();
my @tabs;
while (my @row = $sth->fetchrow_array())
{
push (@tabs,@row)
}
my $nb_var=$sth->rows;
$sth->finish();
$dbh->disconnect;
#Création de la page html
my $browser = create_lwp_browser();
my $page="<html>
<head>
<title>CMA Request</title>
<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8_decode\"/>
<link rel=\"stylesheet\" type=\"text/css\" href=\"css/cma.css\">
</head>
<body>
<h1>CMA Log GENErator</h1>
";
print "\n";
$page=$page."
<a href=\"javascript:history.go(-1)\">Retour</a>
<table>
<br>
<caption>$param<caption>
<br>
<tr><th>stagename</th><th>stagetype</th><th>result</th><th>startdatetime</th><th>Value</th></tr>";
my $direction="IN";
my $data;
for (my $j=0; $j<=$nb_var*5-1; $j=$j+5)
{
if (defined $tabs[$j+4])
{
my @datas=split (/</,$tabs[$j+4]);
foreach $data(@datas)
{
$data=~s/>//g;
if ($data=~m/parameters/|| $data=~m/inputs/ || $data=~m/outputs/)
{
next;
}
if ($data=~m/input/)
{
$direction="IN";
$data=~s/input//g;
}
if ($data=~m/output/)
{
$direction="OUT";
$data=~s/output//g;
}
$data="direction=$direction $data";
$page=$page."<tr><td>$tabs[$j]</td><td></td><td></td><td></td><td>$data</td></tr>";
}
}
else
{
$page=$page."<tr><td>$tabs[$j]</td><td>$tabs[$j+1]</td><td>$tabs[$j+2]</td><td>$tabs[$j+3]</td><td>$tabs[$j+4]</td></tr>";
}
}
$page=$page."
</table>
</body>
</html>";
#Afficher la page html
print $page;
sub create_lwp_browser
{
my $browser = LWP::UserAgent->new;
$browser->env_proxy;
$browser->timeout(30);
$browser->agent('ALoGen.pl/1.0');
return $browser;
}

Avez vous des pistes pour optimiser ce code ?
J'essaie de réduire le nombre d’itérations de ma boucle for mais sans succès

Merci pour votre aide.

:jap:

Publicité

web_olivier

R1 Powaaaaa

:bounce:

dede_sav

Salut,

Outre changé de langage pour un truc plus optimisé. Est-ce que tu as regardé si ta requêtes SQL était assez rapide ? (un index nécessaire ?)
Sinon, tu pourrais faire qu'une seul boucle ligne 26 qui, plutôt que tout mettre dans tabs, créerais l'HTML. Tu allongerais le temps de ta connexion à ta base, mais tu gagnerais en perf (tu enlèves un boucle ...)

Toutefois, ce prendre un timeout, c'est à dire 2min de traitement pour ca me semble assez étrange, meme pour Perl ...

web_olivier

R1 Powaaaaa

Salut,

Merci pour ta réponse.
La requête en elle-même est très rapide.

Comment vois-tu la modif en ligne 26 ?

:jap:

web_olivier

R1 Powaaaaa

:hello:
J'ai supprimé la table @tab et je travaille directement dans @row et donc dans le while de la ligne 26.
J'ai supprime le for, le résultat est le même, sur les résultats<2000 lignes ça fonctionne mais pas pour des résultats plus grands.

dede_sav

C'est quoi un résultat plus grand ?
On est d'accords que ton timeout est de 2min ?

gilou

Modérateur
Modosaurus Rex

Tu pourrais poster le code mis à jour?
Perso j'aurais fait:
push (@tabs,\@row)
afin d'éviter la copie de @row dans table a chaque fois et ne pas avoir une immense table @tabs

Ça plante toujours à la même ligne, si oui tu connais son numéro d'ordre? Tu as essayé avec des tables distinctes, juste pour savoir si a la base le pb n'est pas avec une ligne particulière (au delà de 2000) de la table.

A+,

---------------
There's more than what can be linked! -- Le capitaine qui ne veut pas obéir à la carte finira par obéir aux récifs. -- Il ne faut plus dire Sarkozy, mais Sarkozon -- (╯°□°)╯︵ ┻━┻

web_olivier

R1 Powaaaaa

:hello:

Comme le résultat n'était pas plus satisfaisant j'ai supprimé le code mis à jour, je vais le recréer.
Merci pour le push (@tabs,\@row).

Oui ça plante toujours à la même ligne, qu'entends-tu par tester avec des tables distinctes ?

@dedes_sav, le timeout est bien de 2 minutes et résultat plus grand c'est à dire >2000 lignes.

web_olivier

R1 Powaaaaa

Re,

Voici mon code mis a jour:

Code :

#!/usr/bin/perl -w
use strict;
use warnings;
use LWP::UserAgent;
use CGI;
use DBI;
my $cgi = new CGI;
my $param = $cgi->param('param');
my $data_source = q/dbi:ODBC:localhost/;
my $user = q/sql_admin/;
my $password = q\password\;
my $direction="IN";
my $data;
#Création de la page html
my $browser = create_lwp_browser();
my $page="<html>
<head>
<title>CMA Request</title>
<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8_decode\"/>
<link rel=\"stylesheet\" type=\"text/css\" href=\"css/cma.css\">
</head>
<body>
<h1>CMA Log GENErator</h1>
<a href=\"javascript:history.go(-1)\">Retour</a>
<table class=\"AutomateTable\">
<br>
<caption>$param<caption>
<br>
<tr>
<th>stagename</th><th>stagetype</th><th>result</th><th>startdatetime</th><th>Value</th>
</tr>";
print "\n";
# Connect to the data source and get a handle for that connection.
my $dbh = DBI->connect("dbi:ODBC:Driver={SQL Server};Server=localhost;UID=$user;PWD=$password" ) or die "Can't connect to $data_source: $DBI::errstr";
$dbh->{LongReadLen} = 25000;
# Select to get sessionnumber
my $sql="select stagename, stagetype, result, startdatetime, attributexml from [CMA].[sch_CMA].[CMALog] where sessionnumber='$param'";
my $sth= $dbh->prepare($sql);
$sth->execute();
while (my @row = $sth->fetchrow_array())
{
if (defined $row[4])
{
my @datas=split (/</,$row[4]);
foreach $data(@datas)
{
$data=~s/>//g;
if ($data=~m/parameters/|| $data=~m/inputs/ || $data=~m/outputs/)
{
next;
}
if ($data=~m/input/)
{
$direction="IN";
$data=~s/input//g;
}
if ($data=~m/output/)
{
$direction="OUT";
$data=~s/output//g;
}
$data="direction=$direction $data";
$page=$page."<tr><td>$row[0]</td><td></td><td></td><td></td><td>$data</td></tr>
";
}
}
else
{
$page=$page."<tr><td>$row[0]</td><td>$row[1]</td><td>$row[2]</td><td>$row[3]</td><td>$row[4]</td></tr>
";
}
}
$sth->finish();
$dbh->disconnect;
$page=$page."
</table>
</body>
</html>";
#Afficher la page html
print $page;
sub create_lwp_browser
{
my $browser = LWP::UserAgent->new;
$browser->env_proxy;
$browser->timeout(30);
$browser->agent('ALoGen.pl/1.0');
return $browser;
}

:jap:

Message édité par web_olivier le 11-06-2018 à 15:42:11

gilou

Modérateur
Modosaurus Rex

> Oui ça plante toujours à la même ligne, qu'entends-tu par tester avec des tables distinctes ?

Je ne parlais pas de la ligne de code perl, mais de la ligne de la BDD, au cas ou ce soit les données de la BDD qui fassent échouer la requête.
Tu peux pas mettre un compteur pour voir si c'est la même ligne requêtée de la BDD qui échoue toujours ?
my $cpt = 0;
while (my @row = $sth->fetchrow_array())
{
print ++$cpt; # ou print dans un log au vu de ce que fait print dans ton code

Si le plantage est systématiquement a la même position, soit une donnée de la BDD fait échouer la requête, soit le nb de requêtes a atteint une limite à modifier. Sinon, ça a plus de chances d'être un vrai pb de timeout réseau

A+,

Publicité

web_olivier

R1 Powaaaaa

Merci Gilou,

Voici ce que j'ai fait :

Code :

use strict;
use warnings;
use LWP::UserAgent;
use CGI;
use DBI;
my $cgi = new CGI;
my $param = $cgi->param('param');
my $name = $cgi->param('name');
my $data_source = q/dbi:ODBC:localhost/;
my $user = q/sql_admin/;
my $password = q\password\;
my $direction="IN";
my $data;
#Création de la page html
my $browser = create_lwp_browser();
open (my $fh, '>', "result/$param.html" );
print $fh "<?xml version=\"1.0\" encoding=\"ISO-8859-1\"?>
<!DOCTYPE html PUBLIC \"-//W3C//DTD XHTML 1.0 Strict//EN\"
\"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd\">
<HTML xmlns=\"http://www.w3.org/1999/xhtml\" xml:lang=\"en\" lang=\"en\">
<HEAD>
<TITLE>Complete Session Log for processus $param</TITLE>
<STYLE>
BODY{font-family: helvetica;}
TABLE.AutomateTable {width: 100%;border: 1;empty-cells: show;border-collapse: collapse;font-size: 8pt;}
TD, TH {border: 1px solid #9fa4c1;padding-left: 3px;padding-right: 1px;padding-top: 1px;padding-bottom: 1px;vertical-align: top;}
TH {font-weight: bold; color: white;background-color: #9fa4c1;}
</STYLE>
</HEAD>
<body>
<h1>CMA Log GENErator</h1>
<table class=\"AutomateTable\">
<br>
<caption>$param<caption>
<br>
<tr>
<th>stagename</th><th>result</th><th>startdatetime</th><th>Value</th>
</tr>";
print "\n";
# Connect to the data source and get a handle for that connection.
my $dbh = DBI->connect("dbi:ODBC:Driver={SQL Server};Server=localhost;UID=$user;PWD=$password" ) or die "Can't connect to $data_source: $DBI::errstr";
$dbh->{LongReadLen} = 25000;
# Select to get sessionnumber
my $sql="select stagename, result, startdatetime, attributexml from [CMA].[sch_CMA].[CMALog] where sessionnumber='$param'";
my $sth= $dbh->prepare($sql);
$sth->execute();
while (my @row = $sth->fetchrow_array())
{
if (defined $row[3])
{
my @datas=split (/</,$row[3]);
foreach $data(@datas)
{
$data=~s/>//g;
if ($data=~m/parameters/|| $data=~m/inputs/ || $data=~m/outputs/)
{
next;
}
if ($data=~m/input/)
{
$direction="IN";
$data=~s/input//g;
}
if ($data=~m/output/)
{
$direction="OUT";
$data=~s/output//g;
}
$data="direction=$direction $data";
print $fh "<tr><td>$row[0]</td><td></td><td></td><td>$data</td></tr>
";
}
}
else
{
print $fh "<tr><td>$row[0]</td><td>$row[1]</td><td>$row[2]</td><td>$row[3]</td></tr>
";
}
}
$sth->finish();
$dbh->disconnect;
print $fh "
</table>
</body>
</html>";
close $fh;
#Création de la page html
my $browser = create_lwp_browser();
my $page="<html>
<head>
<title>CMA Request</title>
<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8_decode\"/>
<link rel=\"stylesheet\" type=\"text/css\" href=\"css/cma.css\">
</head>
<body>
<h1>CMA Log GENErator</h1>
<br>
<br>
<a href=\"result/$param.html\" download=\"result/$param.html\">Telecharger le fichier de log pour le process <b>$name</b> (process #$param)</a>
<br><br>
<a href=\"javascript:history.go(-1)\">Retour</a>
</body>
</html>";
print $page;
sub create_lwp_browser
{
my $browser = LWP::UserAgent->new;
$browser->env_proxy;
$browser->timeout(30);
$browser->agent('ALoGen.pl/1.0');
return $browser;
}

J'écris ma page dans un fichier (dans /result/$param.html) ensuite j'affiche une page qui propose un liens vers le fichier généré pour le télécharger.
Résultat, si je génère mon fichier sur une petite log, pas de problème, le fichier est généré et le lien de téléchargement fonctionne très bien.
Si je génère mon fichier sur une grosse log, alors le fichier est bien généré dans /result/$param.html, il est complet, mais ma page avec le lien de téléchargement ne s'affiche jamais et je termine de nouveau en timeout :pt1cable:

Le problème est donc ailleurs ? une idée à la vu du code ?

:jap:

Message édité par web_olivier le 12-06-2018 à 14:08:30

gilou

Modérateur
Modosaurus Rex

Euh, et si tu testes avec une boucle a vide, et aucun autre code parasite, ça plante aussi?
while (my @row = $sth->fetchrow_array()) {}

> Si je génère mon fichier sur une grosse log, alors le fichier est bien généré dans /result/$param.html, il est complet, mais ma page avec le lien de téléchargement ne s'affiche jamais et je termine de nouveau en timeout

Donc en fait le pb n'a rien a voir avec la BDD, c'est ton chargement de la page html générée qui échoue, c'est bien ça?

A+,

Message édité par gilou le 12-06-2018 à 13:44:49

web_olivier

R1 Powaaaaa

Merci Gilou, oui c'est bien ça
Pourtant j'ai d'autre pages sur le même model qui fonctionnent parfaitement, et cette même page fonctionne si le résultat de la requête SQL, donc le fichier généré, n'est pas trop grand !

je vais tester le while à vide.

:jap:

web_olivier

R1 Powaaaaa

Je viens de tester avec la boucle à vide et ça fonctionne dans tous les cas

gilou

Modérateur
Modosaurus Rex

Le problème est donc dans cette partie, et tout à fait en dehors du code DBI :

Code :

#Création de la page html
my $browser = create_lwp_browser();
my $page="<html>
<head>
<title>CMA Request</title>
<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8_decode\"/>
<link rel=\"stylesheet\" type=\"text/css\" href=\"css/cma.css\">
</head>
<body>
<h1>CMA Log GENErator</h1>
<br>
<br>
<a href=\"result/$param.html\" download=\"result/$param.html\">Telecharger le fichier de log pour le process <b>$name</b> (process #$param)</a>
<br><br>
<a href=\"javascript:history.go(-1)\">Retour</a>
</body>
</html>";
print $page;
sub create_lwp_browser
{
my $browser = LWP::UserAgent->new;
$browser->env_proxy;
$browser->timeout(30);
$browser->agent('ALoGen.pl/1.0');
return $browser;
}

Tu as essayé en augmentant le timeout?

A+,

web_olivier

R1 Powaaaaa

:hello:

Oui j'ai augmenté le timeout sans plus de succès.

Je ne pense pas que le problème vienne de la partie que tu cite car elle fonctionne parfaitement quand le résultat de la requête est petit.

J'ai encore modifié le code pour limiter les IO, je mets tout dans une variable et j'écris le fichier d'un coup.

Code :

use strict;
use warnings;
use LWP::UserAgent;
use CGI;
use DBI;
my $cgi = new CGI;
my $param = $cgi->param('param');
my $name = $cgi->param('name');
my $data_source = q/dbi:ODBC:localhost/;
my $user = q/sql_admin/;
my $password = q\password\;
my $direction="IN";
my $data;
my $result="<?xml version=\"1.0\" encoding=\"ISO-8859-1\"?>
<!DOCTYPE html PUBLIC \"-//W3C//DTD XHTML 1.0 Strict//EN\"
\"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd\">
<HTML xmlns=\"http://www.w3.org/1999/xhtml\" xml:lang=\"en\" lang=\"en\">
<HEAD>
<TITLE>Complete Session Log for Dossier - Process - Reporting</TITLE>
<STYLE>
BODY{font-family: helvetica;}
TABLE.AutomateTable {width: 100%;border: 1;empty-cells: show;border-collapse: collapse;font-size: 8pt;}
TD, TH {border: 1px solid #9fa4c1;padding-left: 3px;padding-right: 1px;padding-top: 1px;padding-bottom: 1px;vertical-align: top;}
TH {font-weight: bold; color: white;background-color: #9fa4c1;}
</STYLE>
</HEAD>
<body>
<h1>CMA Log GENErator</h1>
<table class=\"AutomateTable\">
<br>
<caption>$param - $name<caption>
<br>
<tr>
<th>stagename</th><th>result</th><th>startdatetime</th><th>Value</th>
</tr>";
print "\n";
# Connect to the data source and get a handle for that connection.
my $dbh = DBI->connect("dbi:ODBC:Driver={SQL Server};Server=localhost;UID=$user;PWD=$password" ) or die "Can't connect to $data_source: $DBI::errstr";
$dbh->{LongReadLen} = 25000;
# Select to get sessionnumber
my $sql="select stagename, result, startdatetime, attributexml from [CMA].[sch_CMA].[CMALog] where sessionnumber='$param'";
my $sth= $dbh->prepare_cached($sql);
$sth->execute();
my($stagename, $res, $startdatetime, $Value);
$sth->bind_columns(undef, \$stagename, \$res, \$startdatetime, \$Value);
while ($sth->fetch)
{
if (defined $Value)
{
my @datas=split (/</,$Value);
foreach $data(@datas)
{
$data=~s/>//g;
if ($data=~m/parameters/|| $data=~m/inputs/ || $data=~m/outputs/)
{
next;
}
if ($data=~m/input/)
{
$direction="IN";
$data=~s/input//g;
}
if ($data=~m/output/)
{
$direction="OUT";
$data=~s/output//g;
}
$data="direction=$direction $data";
$result=$result."<tr><td>$stagename</td><td></td><td></td><td>$data</td></tr>
";
}
}
else
{
$result=$result."<tr><td>$stagename</td><td>$res</td><td>$startdatetime</td><td>$Value</td></tr>
";
}
}
$result=$result."</table>
</body>
</html>";
$sth->finish();
$dbh->disconnect;
open (my $fh, '>', "result/$param.html" );
print $fh $result;
close $fh;
#Création de la page html
my $browser = create_lwp_browser();
my $page="<html>
<head>
<title>CMA Request</title>
<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8_decode\"/>
<link rel=\"stylesheet\" type=\"text/css\" href=\"css/CMA.css\">
</head>
<body>
<h1>CMA Log GENErator</h1>
<br>
<br>
<a href=\"result/$param.html\" download=\"result/$param.html\">Telecharger le fichier de log pour le process <b>$name</b> (process #$param)</a>
<br><br>
<a href=\"javascript:history.go(-1)\">Retour</a>
</body>
</html>";
print $page;
sub create_lwp_browser
{
my $browser = LWP::UserAgent->new;
$browser->env_proxy;
$browser->timeout(300);
$browser->agent('ALoGen.pl/1.0');
return $browser;
}

Je suis allé plus loin dans mes tests, si je mets en commentaire le else dans le if du while alors ça fonctionne :

Code :

while ($sth->fetch)
{
if (defined $Value)
{
my @datas=split (/</,$Value);
foreach $data(@datas)
{
$data=~s/>//g;
if ($data=~m/parameters/|| $data=~m/inputs/ || $data=~m/outputs/)
{
next;
}
if ($data=~m/input/)
{
$direction="IN";
$data=~s/input//g;
}
if ($data=~m/output/)
{
$direction="OUT";
$data=~s/output//g;
}
$data="direction=$direction $data";
$result=$result."<tr><td>$stagename</td><td></td><td></td><td>$data</td></tr>
";
}
}
#else
#{
# $result=$result."<tr><td>$stagename</td><td>$res</td><td>$startdatetime</td><td>$Value</td></tr>
# ";
#}
}

C'est donc la ligne

Code :

$result=$result."<tr><td>$stagename</td><td>$res</td><td>$startdatetime</td><td>$Value</td></tr>

qui pose problème.

Dans les logs de mon serveur Web je vois pourtant que la page renvoie un code 200 même quand je tombe en timeout

Message édité par web_olivier le 15-06-2018 à 10:16:46

web_olivier

R1 Powaaaaa

J'ai trouver la solution

C'est la variable $res qui posait problème quand elle est vide.

J'ai donc ajouté ce contrôle dans le else:

Code :

else
{
if (!defined $res)
{
$res="";
}
$result=$result."<tr><td>$stagename</td><td>$res</td><td>$startdatetime</td><td></td></tr>
";
}

:bounce:

On peut peut-être faire plus propre ?

:hello:

FORUM HardWare.fr

Programmation

Perl

[Perl] Optimisation code perl CGI - Problème de performance

Sujets relatifs
Problème wordpress elementor	Code jeux du nombre aléatoire en python 3.6
[VBS] Problème déplacement fichier	Probleme signature html
Problème de redirection	Bouton skype (code javascript) pas reconnu dans html du site Jimdo
Probleme de PHP Formulaire de contact	Problème avec number_format()
Performance de ma table	[Perl] Détecter un champ en UTF-8
Plus de sujets relatifs à : [Perl] Optimisation code perl CGI - Problème de performance

Page générée en 0.213 secondes