Le moteur de recherche fonctionne sur un concept radicalement différent de celui de l'annuaire. Des robots logiciels (appelés crawlers ou spiders) scrutent le Web, vont de page en page (en fait de lien en lien) et sauvegardent au fur et à mesure de leurs pérégrinations le contenu texte des documents rencontrés, constituant ainsi un "index", c'est-à-dire une collection plus ou moins grande de pages Web. La plupart du temps, les "index" des moteurs mondiaux contiennent plusieurs centaines de millions de pages web.
Le robot logiciel repasse selon des délais plus ou moins fréquents sur les pages qu'il a indexées au préalable, pour en sauvegarder une version plus récente. On dit alors qu'il "rafraîchit sa base (ou son index)".
Lorsque l'internaute saisit un mot clé dans le formulaire proposé, le moteur va en rechercher les occurrences dans son index, c'est-à-dire dans le contenu (le texte) des pages Web sauvegardées au préalable. Une fois identifié le "lot" de pages contenant le terme demandé, le moteur classe les pages par ordre de pertinence, selon un ordre et un algorithme (basé sur certains critères de tri) qui lui est spécifique.
Le moteur de recherche effectue donc ses recherches sur des pages Web, alors que l'annuaire, pour sa part, vous proposera des sites Web. Là est toute la différence qui explique qu'il est absolument impossible de comparer les résultats fournis par les deux types d'outils.
Les moteurs de recherche les plus connus sont AltaVista, Google, Fast et Inktomi. Au niveau francophone, Voila est parmi les plus efficaces.