Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
1500 connectés 

  FORUM HardWare.fr
  Programmation
  PHP

  Recuperation automatique de données sur le web

 
 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Recuperation automatique de données sur le web

n°1332553
Djule01
Posté le 26-03-2006 à 19:05:50  profilanswer
 

Bonjour  
 
J'ai pour projet d'automatiser la récupération de cours boursiers sur le site d’Euronext.
 
Voila le lien de la page à partir de laquelle je veux récupérer les données :
 
http://www.euronext.com/tools/data [...] chbox=true
 
Mon but est de pouvoir télécharger les cours mensuels de différentes valeurs et cela sur plusieurs années.
 
Sur la page que j'ai indiquée je dois remplir un formulaire avec les données suivantes :
 
- Sélection du bouton radio "Cours cotés par séance sur une période définie"
 
- puis indiquer la date voulu (1 année maximum par exemple 01/01/2004 au 01/01/2005)
 
- cocher le bouton radio "Ouverture" (seulement celui ci), il s'agit donc de décocher tous les autres (car cocher par default)
 
- cocher le bouton radio en bas correspondant au libellé de la valeur (car il peut y avoir plusieurs choix de valeur possibles)
 
- puis enfin envoyer la requête par la sélection du bouton « Téléchargement »
 
Je planche sur ce projet depuis pas mal de temps et j'avoue que je rame beaucoup beaucoup  :pt1cable:  
 
J'ai écris ce petit script aprés avoir étudier longuement le code source de mla page donnée précedement:
 

Code :
  1. $url = "http://www.euronext.com/tools/datacentre/dataCentreDownloadHTML/0,4591,1679_204211370,00.html";
  2.  $ch = curl_init();
  3.  curl_setopt($ch, CURLOPT_URL,  $url);
  4.  curl_setopt($ch, CURLOPT_POST, 1);
  5.  curl_setopt($ch, CURLOPT_POSTFIELDS,
  6.  'typeDownload=2&quote=""&time=""&dayvolume=""&opening="opening"&high=""&low=""&closing=""&volume=""&dateFrom="01/01/2004"&
  7.  dateTo="31/12/2004"&instrumentToDownload=138514&idInstrument=""&choice="1"&formatValue="txt"&indexCompo=""');
  8.  curl_exec($ch);
  9.  curl_close($ch);

 
 
A la ligne curl_setopt($ch, CURLOPT_POSTFIELDS, ....) j'y ai inscrit tous les données envoyées par le biais du formulaire que le serveur peut avoir besoin pour pouvoir afficher la page avec les cours qui m'interesse.
 
Malheuresement la page qui est renvoyée est bien la bonne mais elle apparait vierge , c'est à dire sans les cours pouvant etre exploités.
 
La code source de la page que j'ai indiqué semble trés complexe (beaucoup de formulaire), il se peut donc trés bien que j'ai ommis de "poster" des valeurs indispensables.  
 
Mais je coince completement  :??:  
 
Donc si quelqu'un avait un un peu de temps a consacrer a cela, ca serait super cool!!!

mood
Publicité
Posté le 26-03-2006 à 19:05:50  profilanswer
 

n°1332584
nargy
Posté le 26-03-2006 à 20:20:31  profilanswer
 

Tu es sûr que euronext autorise ce que tu veut faire?
 
Verifie qu ils ne mettent pas des protections pour éviter la copie: vérification du referrer, formulaire avec numéro identifiant aléatoire.

n°1332591
Djule01
Posté le 26-03-2006 à 20:37:56  profilanswer
 

Non il n'y a à premier vue aucune restriction de ce point de vue la puisque cette page et le telechargement de cours s'adresse a tout le monde. Tout le monde peut telecharger les cours de n'importe quelle valeur. Ce que j'essaye juste de faire c'est d'automatiser cette tache pour pouvoir faciliter le telechargement de données.

Message cité 1 fois
n°1332599
nargy
Posté le 26-03-2006 à 20:56:27  profilanswer
 

C est pas un formulaire ``post`` mais un ``get``.

n°1332609
gooopil
pfiew
Posté le 26-03-2006 à 21:33:24  profilanswer
 

Djule01 a écrit :

Non il n'y a à premier vue aucune restriction de ce point de vue la puisque cette page et le telechargement de cours s'adresse a tout le monde. Tout le monde peut telecharger les cours de n'importe quelle valeur. Ce que j'essaye juste de faire c'est d'automatiser cette tache pour pouvoir faciliter le telechargement de données.


 
Un accès gratuit ne veut pas dire une reproduction gratuite de ce qui est présenté sur le site. Si tu reproduis ce que tu récupère sur un site web contre la volonté/ sans autorisation des ayant-droits c'est du plagiat...Après si tu récupères ça pour toi, ben..bon boursicotage quoi ;)

Message cité 1 fois
Message édité par gooopil le 26-03-2006 à 21:34:40
n°1332611
Djule01
Posté le 26-03-2006 à 21:44:20  profilanswer
 


 
Tout d'abord je vous remercie de vous interesser a mon probleme ;)
 
J'ai essayer beaucoup plus simple par le biais d'un site que j'ai moi même créer pour vérifier le fonnctionement de mon bout de code et il n'a pas marché :
 
 

Code :
  1. $$value1="livre";
  2. $value2="Harry";
  3.                           $url = "http://127.0.0.1/Site%20ju/Recherche.php/";
  4.  $ch = curl_init();
  5.  curl_setopt($ch, CURLOPT_URL,  $url);
  6.  curl_setopt($ch, CURLOPT_POST, 1);
  7.  curl_setopt($ch, CURLOPT_POSTFIELDS,'categorie=$value1&mot-cle=$value2');
  8.  curl_exec($ch);
  9.  curl_close($ch);


 
Normalement le fichier recherche.php qui fonctionne trés bien  :D  analyse le contenu de catégorie et de  mot clé (tout deux poster par le biais d'un formulaire 'post') puis interroge la base de donné pour renvoyer la réponse.
 
Or la réponse est dans tous les cas "Désolé, nous n'avons trouvé aucun article en réponse à votre requête" qui signifie que les deux lignes de code :
 

Code :
  1. curl_setopt($ch, CURLOPT_POST, 1);
  2. curl_setopt($ch, CURLOPT_POSTFIELDS,'categorie=$value1&mot-cle=$value2');


 
n'ont pas eut d'effet. (Connaissant ma base de donnée la reuete aurait du etre fructueuse)  :sarcastic:  
 
Donc l'erreur viens donc de ces deux lignes de code reste a trouver pourquoi!!!!!!!!  :whistle:  

n°1332612
Djule01
Posté le 26-03-2006 à 21:48:12  profilanswer
 

gooopil a écrit :

Un accès gratuit ne veut pas dire une reproduction gratuite de ce qui est présenté sur le site. Si tu reproduis ce que tu récupère sur un site web contre la volonté/ sans autorisation des ayant-droits c'est du plagiat...Après si tu récupères ça pour toi, ben..bon boursicotage quoi ;)


 
 
oui oui ne vous inquiétez pas c'est pour mon simple usage personnel  :) , pour faciliter la mise en place de mes stratégies boursieres  :sol:  
Comme par la même occasion jsuis un peu programmeur j'essaye d'associer les deux  :jap:  

n°1332615
nargy
Posté le 26-03-2006 à 21:55:30  profilanswer
 

tu devrai faire la recherche que tu veut dans ton browser, ensuite tu copie l url, et tu utilise fil_get_contents($url) pour récupérer la page de résultats.
 
essaye ça pour avoir les cours de EDF:
http://www.euronext.com/tools/data [...] Download=2

n°1332619
Djule01
Posté le 26-03-2006 à 22:00:39  profilanswer
 

Si cela interesse toujours qqun, bon concernant mon propre site j'ai reussi a faire marcher ce que je voulais faire car  
 

Code :
  1. curl_setopt($ch, CURLOPT_POSTFIELDS,"categorie=$value&mot-cle=$value2" );


 
EST DIFFERENT DE
 

Code :
  1. curl_setopt($ch, CURLOPT_POSTFIELDS,"categorie=$value&mot-cle=$value2" );


 
 :D  
 
hé oui tt simplement, je cours me replonger ce pourquoi j'avais ouvert cette discussion : récuperation de cours sur euronext

n°1332622
Djule01
Posté le 26-03-2006 à 22:04:33  profilanswer
 

Si cela interesse toujours qqun, bon concernant mon propre site j'ai reussi a faire marcher ce que je voulais faire car  
 

Code :
  1. curl_setopt($ch, CURLOPT_POSTFIELDS,"categorie=$value&mot-cle=$value2" );


 
EST DIFFERENT DE
 

Code :
  1. curl_setopt($ch, CURLOPT_POSTFIELDS,'categorie=$value&mot-cle=$value2');


 
 :D  
 
hé oui tt simplement, je cours me replonger ce pourquoi j'avais ouvert cette discussion : récuperation de cours sur euronext
 
PS : pardon j'ai poster trop vite, l'erreur venait du ' different du "


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Programmation
  PHP

  Recuperation automatique de données sur le web

 

Sujets relatifs
Javascript est les bases de donnéesScript VBS : envoi mail automatique avec smtp & pièces jointes
Comment envoyer un message automatique apres paimentAfficher les données d'une BDD dans une page JSP
Données dans un tableau suite à une requête[PHP] récupération d'url
Perte de données de session dans formulaireexecution automatique
connexion à une base de données oracle en vb exceltaille automatique avec window.open
Plus de sujets relatifs à : Recuperation automatique de données sur le web

Forum MesDiscussions.Net, Version 2010.2
(c) 2000-2011 Doctissimo
Page générée en 0.050 secondes

Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR