Le principe général de l'indexation, c'est de stocker une petite partie de tes données de telle sorte que tu puisses retrouver le reste des données très rapidement.
Je prends un exemple. Imagine une base de données qui stockent des fiches qui décrivent des personnes : nom, prénom, âge, profession, etc. Tu veux pouvoir retrouver rapidement la fiche une personne dont tu possèdes le nom, sans avoir à parcourir toute ta base de données. C'est précisément le rôle de l'index.
Un index sur le nom de la personne va te permettre très rapidement de retrouver toutes les fiches des personnes de ce nom-là (pense aussi à un atlas : il y a un index à la fin).
Pour les moteurs de recherche, les techniques pour implémenter l'indexation sont un peu différentes, mais le principe reste le même. Ici, tout est texte, donc on appelle ça un index plein-texte (full-text index en anglais). En gros, le moteur de recherche possède une liste de mots, et, pour chacun de ces mots, l'ensemble des pages Web qui contiennent ce mot. Et à chaque fois qu'on indexe une nouvelle page, on ajoute (si nécessaire) tous les mots de la page dans la liste de mots, et, pour chacun de ces mots, on dit "cette page contient ce mot".
Résultat, quand tu demandes "donnes-moi toutes les pages contenant ce mot", il suffit d'aller voir dans l'index le mot en question, et toutes les pages que tu cherches y sont listées avec.
