Définitions et données générales
Moteurs de recherche web - Google, Bing et leurs challengers

1.1 Définitions

Un moteur de recherche est un ensemble de logiciels visant à créer une gigantesque banque de données de pages et de documents, pour les mettre par la suite à disposition de l'internaute. Ces logiciels parcourent le Web, indexent automatiquement les pages visitées puis les analysent et renvoient les résultats qui leur semblent les plus pertinents par rapport à la demande préalable de l'internaute.

Quatre étapes sont indispensables au bon fonctionnement d'un moteur de recherche :

• la collecte d'informations (ou crawl) grâce à des robots (également appelés spiders, crawlers ou agents) ;

• l'indexation des données collectées et la constitution d'une base de données de documents nommée « index » ;

• le traitement des requêtes, avec tout particulièrement un système d'interrogation de l'index et de classement des résultats en fonction de critères de pertinence, suite à la saisie de mots-clés par l'utilisateur ;

• la restitution des résultats identifiés, dans ce que l'on appelle communément des SERP (Search Engine Result Pages) ou pages de résultats, le plus souvent présentées sous la forme d'une liste de dix liens affichés les uns au-dessous des autres.

Les pages de résultats des moteurs de recherche affichent deux principaux types de contenu : les liens « organiques » ou « naturels », obtenus grâce au crawl du web et les liens sponsorisés, ou liens commerciaux (Adwords chez Google). Nous allons nous concentrer dans cet article sur les techniques utilisées par les moteurs de recherche pour indexer et retrouver des liens naturels. Nous n'abordons pas le traitement spécifique des liens sponsorisés qui obéissent à d'autres règles et ne font pas l'objet de cet article.

1.2 Portails et moteurs de recherche

En dehors des deux leaders du marché en 2017 Google et Microsoft Bing, de nombreux sites n'utilisent pas leurs propres technologies de recherche mais sous-traitent cette partie auprès de grands moteurs. C'est par exemple le cas de Yahoo !, qui utilise Bing, la technologie de Microsoft, pour son moteur de recherche, suite à la signature d'un accord entre les deux sociétés fin...