Un crawl c’est l’action des robots des moteurs de recherche pour explorer un site web et collecter des données. Lorsqu’un robot d’exploration visite un site Web, il récupère l’intégralité du contenu du site et le stocke dans une banque de données. Il stocke également tous les liens externes et internes du site. C’est ainsi qu’il se déplacera d’un site web à l’autre.