Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
647 connectés 

  FORUM HardWare.fr
  Programmation
  PHP

  Fonctionnement d'un moteur de recherche externe

 



 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Fonctionnement d'un moteur de recherche externe

n°1851403
Tristou
This is where the fun begins
Posté le 15-02-2009 à 02:47:24  profilanswer
 

Bonsoir,
 
ma question concerne les moteurs de recherche. Je parle bien d'un moteur de recherche "global" et pas un moteur de recherche interne à un site. En effet, j'ai vu ici et là sur le web était question de projets de codage de moteurs de recherche avec un bot qui se charge d'indexer les pages. Sachant qu'il me semble que ce sont des bots programmés en PHP, je me posais la question de savoir comment est-ce que du coup il récupère les infos pour ensuite les insérer en BDD de manière à ce que ce soit pas trop lent et efficace ?
 
Merci d'avance de vos éclaircissements ;) .


---------------
"About your cat Mr. Schrödinger : I have good news and bad news"
mood
Publicité
Posté le 15-02-2009 à 02:47:24  profilanswer
 

n°1851447
Tristou
This is where the fun begins
Posté le 15-02-2009 à 12:47:06  profilanswer
 

Je me permet de relancer :)


---------------
"About your cat Mr. Schrödinger : I have good news and bad news"
n°1851600
Tristou
This is where the fun begins
Posté le 16-02-2009 à 00:28:26  profilanswer
 

Ah bah y'a du taf' mais ça peut être intéréssant et ça permet d'apprendre aussi.
 
En fait, je voudrais faire tourner 2  types de bots : un qui s'occupe de l'indexation des pages soumies manuellement (et ça peut faire un point de départ du coup) et un autre - qui s'occupe de sillonner le web - du moins une partie, je n'ai pas la prétention de faire un truc énormissime -. Sachant que je vais déjà essayer de bien faire le premier avant de faire tourner le deuxième.
Et je vois le schéma comme ça :
 
1/ extraction des données de la page (en gros, on récupère un maximum)
2/ on fait le tri pour ne garder que ce qui doit être indexé
3/ on insère dans la BDD
 
Bon c'est en gros, je ne sais pas si ça a l'air très réaliste. mais les deux soluces ensembles, ça devrait faire un truc plus ou moins potable.


---------------
"About your cat Mr. Schrödinger : I have good news and bad news"
n°1851613
flo850
moi je
Posté le 16-02-2009 à 05:06:03  profilanswer
 

si c'est pour apprendre , pas de pb  
si c'est pour faire un truc utile , alors je te conseille solr (eventuellement avec nutch)ou sphinx , pour ameliorer ta recherche ( declinaison des mots , correction ortho , ...)


---------------

n°1851837
Tristou
This is where the fun begins
Posté le 16-02-2009 à 18:31:55  profilanswer
 

C'est avant tout pour apprendre wé, maintenant, cela n'empêche que  le moteur de base pourra être améliorer, ne serait-ce que pour la pertinence des résultats.


---------------
"About your cat Mr. Schrödinger : I have good news and bad news"
n°1851957
Tristou
This is where the fun begins
Posté le 16-02-2009 à 23:01:16  profilanswer
 

Euh question NazzTazz, à aucun moment dans ton fonctionnement, tu en fais appels aux fichiers, tout passe par une BDD en fait ?


---------------
"About your cat Mr. Schrödinger : I have good news and bad news"
n°1854101
tomsoft
Posté le 23-02-2009 à 11:55:02  profilanswer
 

je reflechissait justement hier a un probleme simillaire, et je me demandais quel point de depart prendre ? une idée ?

n°1854304
flo850
moi je
Posté le 23-02-2009 à 18:23:46  profilanswer
 

patrir de l'existant, si  c'ets pour faire qq chose qui marche :o


---------------

n°1854310
tomsoft
Posté le 23-02-2009 à 18:38:32  profilanswer
 

nan mais a partir de quel site par exemple commencer a explorer les liens ?

n°1854312
flo850
moi je
Posté le 23-02-2009 à 18:43:27  profilanswer
 

pas un  seul, mais plusieurs site que tu aura recensé comme étant relevant a ton projet ( a moins que tu ne veuille concurencé google avec un moteur généraliste )


---------------

mood
Publicité
Posté le 23-02-2009 à 18:43:27  profilanswer
 

n°1854315
tomsoft
Posté le 23-02-2009 à 18:51:54  profilanswer
 

ok :jap:

 

pas vraiment un projet, mais voir jusqu'ou il peut aller, combien de domaines il peut recenser, ...

 

l'idée c'est :

 

Partir d'un site, inserer le domaine dans la bdd,

 

lire le source html,
faire la liste des liens contenus dans une balise <a>,

 

parcourir la liste, si deja dans la bdd : rien faire,
si pas dans la bdd : l'ajouter, et explorer le site.

 

je me demande si je dois explorer les pages ou j'ai deja le domaine dans la bdd (genre ce forum, pour recolter les liens dans les messages)


Message édité par tomsoft le 23-02-2009 à 18:56:33

Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Programmation
  PHP

  Fonctionnement d'un moteur de recherche externe

 

Sujets relatifs
commande executer rechercheEtudiante en lettre recherche aide pour devoir !!2eme édition
Etudiante en lettre recherche aide pour devoir !!récupérer les résultats d'un moteur type Facebook
Webdev Déploiement (recherche)[Gesion de projets] Recherche de logiciel gratuit
Conseil pour fonctionnement d'un logiciel en réseauRecherche de la litérature sur la conception d'un modèle de données
Recherche Horde IMP discretCreer sur la meme page un formulaire de recherche fixe et les resul
Plus de sujets relatifs à : Fonctionnement d'un moteur de recherche externe


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR