Moteur d'indexation

Présentation

NOTE DE L'ÉDITEUR

03/04/2017

Cet article est la réédition actualisée de l’article H7240 intitulé « Moteurs de recherche web. Google, Bing et leurs challengers » paru en 2011, rédigé par le même auteur, Olivier ANDRIEU.

RÉSUMÉ

Les moteurs de recherche font partie de notre quotidien numérique et sont des carrefours essentiels pour nous permettre de rechercher de l'information sur Internet. Quels ont les principaux moteurs ? Comment fonctionnent-ils ? Cet article décrit les différentes phases de traitement de l'information par des outils comme Google ou Bing : crawl du Web, indexation des pages, analyse et utilisation de critères de pertinence in page /off page permettant de donner des notes aux documents explorés, puis affichage des résultats.

Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.

Lire l’article

ABSTRACT

Search Engines: Google, Bing and their competitors

Search engines are part of our daily digital life and are essential hubs for seeking information on the Internet. What are the main ones? How do they work? This article describes the different phases of information processing used by tools such as Google or Bing: web crawling, page indexing, relevancy criteria analysis and use of in page / off page rating and display of the results.

Auteur(s)

Olivier ANDRIEU : Consultant, Éditeur du site Abondance.com

INTRODUCTION

Les moteurs de recherche rythment la vie numérique des internautes actuels. Carrefours indispensables pour mener à bien toute investigation sur la Toile, ils ont fortement évolué depuis les premiers outils (Excite, Webcrawler, Lycos, Altavista, etc.) jusqu'au leader actuel, Google et son challenger, Bing, que bien peu de concurrents arrivent à talonner pour l'instant. Mais l'avenir sera peut-être différent. En tout état de cause, il est intéressant de se pencher sur le fonctionnement de ces outils et leur évolution au cours des années, car la connaissance de ce que l'on peut trouver « sous le capot des moteurs » peut également nous aider à mieux mener à bien nos recherches sur le Web…

Cet article est réservé aux abonnés.
Il vous reste 94% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !

L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.

+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.

De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

MOTS-CLÉS

moteur de recherche index Google Bing spiders robots crawl

KEYWORDS

VERSIONS

Il existe d'autres versions de cet article :

Version archivée 1 de mai 2011 par Olivier ANDRIEU
Version courante de avr. 2022 par Olivier ANDRIEU

DOI (Digital Object Identifier)

https://doi.org/10.51257/a-v2-h7240

CET ARTICLE SE TROUVE ÉGALEMENT DANS :

Accueil > Ressources documentaires > Archives > [Archives] Technologies logicielles et architecture des systèmes > Moteurs de recherche web - Google, Bing et leurs challengers > Moteur d'indexation

Cet article fait partie de l’offre

Documents numériques Gestion de contenu

(76 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS

Lecture en cours
Présentation

Page
suivante

Système de ranking

3. Moteur d'indexation

3.1 Index

Une fois les pages du Web crawlées, le spider envoie au moteur d'indexation les informations collectées. L'indexation s'effectue en texte intégral : tous les mots d'une page, et plus globalement son code HTML, sont alors pris en compte.

Les systèmes d'indexation se chargent ensuite d'identifier en « plein texte » l'ensemble des mots des textes contenus dans les pages ainsi que leur position à l'intérieur de celle-ci. Certains moteurs peuvent cependant limiter leur capacité d'indexation. Ainsi, pendant de longues années, Google s'est limité aux 101 premiers kilooctets des pages (ce qui représentait cependant une taille assez conséquente). Cette limite n'est plus aujourd'hui d'actualité. D'autres moteurs peuvent effectuer une sélection en fonction des formats de document (Excel, Powerpoint, PDF…).

Enfin, comme pour les logiciels documentaires et les bases de données, une liste de mots « vides » (par exemple, « le », « la », « les », « et »…), appelés stop words en anglais, est le plus souvent automatiquement exclue (pour économiser de l'espace de stockage) ou ces mots sont systématiquement éliminés à l'occasion d'une requête (pour améliorer la rapidité des recherches).

HAUT DE PAGE

3.2 Index inversé

Au fur et à mesure de l'indexation et de l'analyse du contenu des pages web, un index des mots rencontrés est automatiquement enrichi. Cet index est constitué :

d'un index principal ou maître, contenant l'ensemble du corpus de données capturé par le spider ;
de fichiers inverses ou index inversés, créés autour de l'index principal et contenant tous les termes d'accès (mots-clés) associés aux URL exactes des documents contenant ces termes sur le Web.

Les fichiers inverses sont des espaces où sont répertoriés les différents termes rencontrés, chaque terme étant associé à toutes les pages où il figure. La recherche des documents dans lesquels ils sont présents s'en trouve ainsi fortement accélérée.

Pour comprendre le fonctionnement d'un index inversé, prenons, par exemple (figure 6),...

Cet article est réservé aux abonnés.
Il vous reste 95% à découvrir.