Bibliographie & annexes
Quiz & test
Présentation
En anglais
RÉSUMÉ
Les moteurs de recherche font partie de notre quotidien numérique et sont des carrefours essentiels pour nous permettre de rechercher de l'information sur Internet. Quels ont les principaux moteurs ? Comment fonctionnent-ils ? Cet article décrit les différentes phases de traitement de l'information par des outils comme Google ou Bing : crawl du Web, indexation des pages, analyse et utilisation de critères de pertinence in page /off page permettant de donner des notes aux documents explorés, puis affichage des résultats.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
Search engines are part of our daily digital life and are essential hubs for seeking information on the Internet. What are the main ones? How do they work? This article describes the different phases of information processing used by tools such as Google or Bing: web crawling, page indexing, relevancy criteria analysis and use of in page / off page rating and display of the results.
Auteur(s)
-
Olivier ANDRIEU : Consultant, Éditeur du site Abondance.com
INTRODUCTION
Les moteurs de recherche rythment la vie numérique des internautes actuels. Carrefours indispensables pour mener à bien toute investigation sur la Toile, ils ont fortement évolué depuis les premiers outils (Excite, Webcrawler, Lycos, Altavista, etc.) jusqu'au leader actuel, Google et son challenger, Bing, que bien peu de concurrents arrivent à talonner pour l'instant. En tout état de cause, il est intéressant de se pencher sur le fonctionnement de ces outils et leur évolution au cours des années, car la connaissance de ce que l'on peut trouver « sous le capot des moteurs » peut également nous aider à mieux mener à bien nos recherches sur le Web…
L'expertise technique et scientifique de référence
MOTS-CLÉS
KEYWORDS
Robot | search engine | Google | Bing
VERSIONS
- Version archivée 1 de mai 2011 par Olivier ANDRIEU
- Version archivée 2 de mars 2017 par Olivier ANDRIEU
DOI (Digital Object Identifier)
CET ARTICLE SE TROUVE ÉGALEMENT DANS :
Accueil > Ressources documentaires > Technologies de l'information > Documents numériques Gestion de contenu > Usages et management stratégique des documents numériques > Moteurs de recherche web - Google, Bing et leurs challengers > Système de crawl d’un moteur de recherche
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(238 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Moteur d’indexation
En anglais
2. Système de crawl d’un moteur de recherche
Comme nous l’avons vu précédemment, plusieurs étapes sont nécessaires pour le bon fonctionnement d’un moteur de recherche :
-
dans un premier temps, des logiciels explorent le Web de lien en lien et récupèrent les informations contenues dans les pages web (phase dite de crawl) ;
-
ces informations sont ensuite indexées par des moteurs d’indexation, les termes répertoriés enrichissant un index – une base de données des mots contenus dans les pages – régulièrement mis à jour ;
-
enfin, une interface de recherche permet de restituer des résultats aux utilisateurs en les classant par ordre de pertinence (phase dite de ranking).
2.1 Spiders / Robots
Les spiders (également appelés agents, crawlers, robots ou encore bots) sont des programmes de navigation visitant en permanence les pages web et leurs liens en vue d’indexer leurs contenus. Ils parcourent les liens hypertextes et reviennent périodiquement visiter les pages retenues pour prendre en compte leurs éventuelles modifications.
Un spider est donc un logiciel très simple mais redoutablement efficace. Il ne sait faire que deux choses (mais il les fait remarquablement bien pour les moteurs majeurs) (figure 2) :
-
lire des pages web et stocker leur contenu (code HTML) sur les disques du moteur ;
-
détecter les liens dans ces pages et les suivre pour identifier de nouvelles pages web.
Le processus est alors immuable : le spider trouve une page, la sauvegarde, détecte les liens qu’elle contient, se rend sur les pages de destination de ces liens, les sauvegarde, y détecte les liens, etc., et cela, 24 h/24… L’outil parcourt donc inlassablement le Web pour y détecter des pages web (puis les sauvegarder) en suivant des liens (figure 2).
Une image communément répandue pour un spider serait celle d’un internaute fou qui lirait et mémoriserait toutes les pages web qui lui sont proposées, tout en cliquant sur tous les liens qu’elles contiennent pour aller sur d’autres documents.
Tous les spiders ont un nom spécifique au moteur à qui ils appartiennent. Parmi les plus connus, citons notamment :
-
« Googlebot » de Google ;
-
« BingBot »...
L'expertise technique et scientifique de référence
TEST DE VALIDATION ET CERTIFICATION CerT.I. :
Cet article vous permet de préparer une certification CerT.I.
Le test de validation des connaissances pour obtenir cette certification de Techniques de l’Ingénieur est disponible dans le module CerT.I.
de Techniques de l’Ingénieur ! Acheter le module
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(238 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Système de crawl d’un moteur de recherche
BIBLIOGRAPHIE
-
(1) - BRIN (S.), PAGE (L.) - The anatomy of a large-scale hypertextual web search engine. Computer networks and ISDN Systems. - https://snap.stanford.edu/class/cs224w-readings/Brin98Anatomy.pdf (1998).
-
(2) - FORD (D.), GRIMES (C.), TASSONE (E.) - Keeping a search engine index fresh: risk and optimality in estimating refresh rates for web pages. - Google https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/34570.pdf
-
(3) - O’BRIEN (S.), GRIMES (C.) - Microscale evolution of web pages. - In WWW’08: Proceedings of the 17th International World Wide Web Conference (2008) https://www.researchgate.net/publication/221022492_Microscale_evolution_of_web_pages
-
(4) - GURMEET (S.M.), JAIN (A.), SARMA (A.D.) - Detecting near-duplicates for web crawling. - Stanford University. WWW 2007 - Track: Data Mining (2007) https://www2007.org/papers/paper215.pdf
-
(5) - NAJORK (M.), WIENER (J.L.) - Breadth-first search crawling yields high-quality pages. - Compaq WWW10 (2001) http://www.www10.org/cdrom/papers/208/.
- ...
DANS NOS BASES DOCUMENTAIRES
ANNEXES
Statistiques sur les motours de recherche dans le monde
La problématique de la mesure (et comparaison) des parts de marché des moteurs de recherche
Abondance
Secrets2Moteurs
https://www.secrets2moteurs.com/
Veille disponible sur http://www.seobythesea.com/
HAUT DE PAGE
SEO Campus et SEO Camp Days
https://www.seo-camp.org/agenda-des-evenements-seo-et-webmarketing/
SMX Paris
HAUT DE PAGEOrganismes – Fédérations – Associations (liste non exhaustive)
Seo Camp...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(238 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
QUIZ ET TEST DE VALIDATION PRÉSENTS DANS CET ARTICLE
1/ Quiz d'entraînement
Entraînez vous autant que vous le voulez avec les quiz d'entraînement.
2/ Test de validation
Lorsque vous êtes prêt, vous passez le test de validation. Vous avez deux passages possibles dans un laps de temps de 30 jours.
Entre les deux essais, vous pouvez consulter l’article et réutiliser les quiz d'entraînement pour progresser. L’attestation vous est délivrée pour un score minimum de 70 %.
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(238 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
