Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
1683 connectés 

  FORUM HardWare.fr
  Programmation
  PHP

  Faire base de données(prix) à partir site d'un web

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Faire base de données(prix) à partir site d'un web

n°2253599
ticola
Posté le 18-03-2015 à 18:53:47  profilanswer
 

Bonjour,
 
J'aimerai récupérer des prix d'un tableau sur un site puis tracer un graphique. C'est faire en quelque sorte un historique des prix comme un peu un graphique de bourse.
Je pense que si on m'aide à récupérer les données proprement après je peux faire la partie traitement des graphiques dans un second temps.
   
Voici le site en question:
http://www.viagogo.fr/psg/Billets- [...] s/E-667345
 
Avec mon navigateur quand je fais inspecter l'élément j'ai du code où les prix apparaissent, on peut passer par là?
 
Après on peut parser le code, récupérer les prix puis les stocker dans un tableau. Je ne sais pas si c'est envisageable de stocker dans un fichier txt, comme ça c'est facile pour moi derrière de faire mes graphiques et mes calculs.
 
L'idéal c'est d'avoir le prix associé à la catégorie.
 
Merci.

mood
Publicité
Posté le 18-03-2015 à 18:53:47  profilanswer
 

n°2253606
scvo0ne
Posté le 18-03-2015 à 21:24:32  profilanswer
 

- Curl pour récupérer la page
- Xpath / Xquery pour sortir les de la page
- Mysql pour stocker tout ca. Le stockage dans les fichiers texte c'est vraiment du bricolage
 
T'as de quoi t'occuper

n°2253622
rufo
Pas me confondre avec Lycos!
Posté le 19-03-2015 à 09:52:11  profilanswer
 

Et en toute rigueur, pour effectuer un traitement automatisé sur un site web qui ne t'appartient pas, demander l'autorisation du proprio pour effectuer ce traitement...
 
En effet, suivant le nb de données que tu vas collecter et à quelle fréquence, ça pourrait perturber le bon fonctionnement du site (genre, si tu fais pleins de requêtes sur plusieurs pages dans un intervalle de temps court, ralentir le chargement des pages pour les autres visiteurs car trop de sollicitation du serveur).


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
n°2253646
ticola
Posté le 19-03-2015 à 14:59:13  profilanswer
 

scvo0ne a écrit :

- Curl pour récupérer la page
- Xpath / Xquery pour sortir les de la page
- Mysql pour stocker tout ca. Le stockage dans les fichiers texte c'est vraiment du bricolage
 
T'as de quoi t'occuper


 
Je n'ai jamais touché à ce genre de programmation et je suis débutant en java.
Avec des tutos et en cherchant à droite à gauche ça peut le faire?
 

rufo a écrit :

Et en toute rigueur, pour effectuer un traitement automatisé sur un site web qui ne t'appartient pas, demander l'autorisation du proprio pour effectuer ce traitement...
 
En effet, suivant le nb de données que tu vas collecter et à quelle fréquence, ça pourrait perturber le bon fonctionnement du site (genre, si tu fais pleins de requêtes sur plusieurs pages dans un intervalle de temps court, ralentir le chargement des pages pour les autres visiteurs car trop de sollicitation du serveur).


 
Alors, je ne compte pas saturer le site, puis que je note à la main les prix ou que ce soit le pc. Après je comprends le fait que cela peut être reproché. Merci de me prévenir. Si jamais que je vois que je cause du tord au site, j’arrêterai.

n°2253809
ticola
Posté le 20-03-2015 à 17:35:29  profilanswer
 

Bon j'ai du nouveau.
 
J'ai trouvé un site qui propose des api avec programmation partielle.
J'ai donc la possibilité d'exporter un json ou csv file. https://www.kimonolabs.com/api/dh15 [...] rj8LRpbFIz
 
https://www.kimonolabs.com/api/csv/ [...] rj8LRpbFIz
 
je suis entrain de voir pour nettoyer tout çà, et ne garder qu'un prix, le plus petit pour chaque catégorie.
 
Après j'ai trouvé un api highchats pour tracer le graphique.
 
 


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Programmation
  PHP

  Faire base de données(prix) à partir site d'un web

 

Sujets relatifs
Faire base de données à partir site d'un web publicIntégration de compte client dans site e-commerce
gestion nom domaine site wp sur mon synoSite converti en version mobile : risque de duplicate content ?
Appel d'une autre page a partir d'une page HTML ou PHPmodification de données
Débutant BDD en général / liens entre tables 
Plus de sujets relatifs à : Faire base de données(prix) à partir site d'un web


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR