J'aimerais concevoir une appli qui parcour plusieurs URL (d'un magasin de e-commerce) concernant la description de plusieurs produits en vente par exemple. (on passera d'un objet à un autre en itérant de 1 le numéro qui diférencie une page d'un autre)
Qui permettre ensuite de parcourir le code HTML de chaque page visité et de récupérer certaine information clé (qui sont délimités pas des balises spécifique) par exemple : le nom du produit et son prix.
Toutes ses info seront stockés sur un BD, ensuite j'utiliserais du PHP pour l'exploiter.
Est-ce réalisable, avec quelle langage, en PHP ça serait le top ( vu que je connais bien le langage) ?
Merci
Publicité
Posté le 31-05-2007 à 15:09:03
soju
One shot !
Posté le 31-05-2007 à 15:18:26
oui c'est faisable
le plus gros problème n'étant pas technique mais légale : as tu l'accord de ce magasin ?
defjay
Posté le 31-05-2007 à 15:30:04
Légalement il faut un accord tu penses ?
Meme si c'est un site de petites annonces ou quelque chose comme ça ?
Google a-til l'accord de toutes les sites web qu'il référencent ?
Message édité par defjay le 31-05-2007 à 15:30:39
defjay
Posté le 31-05-2007 à 15:52:15
Up
matafan
Posté le 31-05-2007 à 17:35:13
Je ne pense pas qu'il y ait de problème légal. Par contre il est de bon ton de respecter le /robots.txt.
nycius
Ich liebe dich !
Posté le 31-05-2007 à 17:51:08
La plus grosse difficulté est de construire un robot qui aille de page en page sur le site.
defjay
Posté le 31-05-2007 à 18:03:29
Et si toutes les URL à parcourir sont connus d'avance ?
Ce qui j'ai se passe effectivement, un id dans l'URL qui change (en s'incrémentant).
Pour le légal, qqun pourrais donner plus de détail ?
defjay
Posté le 01-06-2007 à 17:48:46
Up
HouseMD
Posté le 02-06-2007 à 02:13:38
Avec CURL en php, c'est pas très compliqué.
defjay
Posté le 04-06-2007 à 09:28:15
Merci pour le tuyau je vais essayer ça
Publicité
Posté le 04-06-2007 à 09:28:15
defjay
Posté le 04-06-2007 à 09:34:09
Et au niveau légal, si par ex je récupère des info sur des enchères sur ebay :
-prix de la vente
-catégorie de l'objet (disque dur, télé,....)
Est-ce que j'ai le droit ?
seozus
Posté le 04-06-2007 à 19:55:45
A propos de google, ce sont les magains en ligne qui paient pour afficher sur google, et non l'inverse ...
A propos de google, ce sont les magains en ligne qui paient pour afficher sur google, et non l'inverse ...
Il ne faut pas tout confondre. Dans google, t'as les pubs de "google adsence" et les "Liens commerciaux" du moteur de recherche qui sont payants. Le référencement par contre est gratuit.
Les magasins/sociétés qui sont dans la partie résultat de la recherche ne payent rien pour y être (même quand il y a plusieurs liens comme pour hardware.fr) mais il y a alors le risque de se retrouver en page 15 du résultat. Par contre ceux qui "louent" des mots clés payent à chaque fois qu'on clique sur le "lien commercial" correspondant. Quand au "google adsence", c'est une régie publicitaire comme une autre.
En tout cas, c'est sur que google n'a pas besoin de payer pour référencer des sites web ... sauf quand ils perdent des procés mais c'est une autre histoire.
Pour la légalité de la récupération d'infos sur ebay, contacte les. Ils sauront te répondre mieux que nous.