Définition de crawler
En anglais, “crawler”, prononcé crawleur, est le nom de l’outil permettant de faire un crawl.
En français, l’anglicisme “crawler”, prononcé crawlé, est le verbe signifiant l’action de faire un crawl.
Les outils de crawl font partis des outils indispensables dans toute stratégie de SEO technique. Ils permettent d’explorer les pages d’un site Web, comme le font les robots des moteurs de recherche, afin d’obtenir de précieuses informations sur le référencement.
Pourquoi crawler un site ?
Les robots des moteurs de recherche crawlent constamment toutes les pages d’Internet pour découvrir les nouveaux contenus. C’est la première étape avant de passer à l’indexation, le classement puis la génération de trafic naturel pour les meilleures pages.
Crawler soi-même son site Internet permet de s’assurer que les robots de Google, aussi appelés Googlebot, ont bien accès à toutes les pages. Votre site peut fonctionner pour l’utilisateur mais avoir de nombreux points bloquants dans le code source, empêchant vos pages de générer du trafic.
En vérifiant les données récoltées, on s’assure que toutes les métriques essentielles au SEO sont correctes. Si ce n’est pas le cas, on saura alors ce qu’il faut optimiser pour améliorer le parcours de son site pour les robots et également vos visiteurs.
Par exemple :
- Est-ce que le nombre de pages accessibles est correct ?
- Est-ce que les pages sont correctement liées entre elles ?
- Est-ce que les pages sont rapidement accessibles ?
- Est-ce que vos titres sont correctement renseignés ?
- La présence de contenus dupliqués ?
- La liste est très longue mais vous avez compris l’idée 🙂
Comment fonctionne le crawler ?
Vous renseignez la page d’accueil de votre site, configurez les options de votre outil puis lancez l’outil.
il va alors récupérer les informations technique de la page et tous les liens présents. Ensuite, il va parcourir chaque lien pour recommencer la première étape jusqu’à parcourir l’ensemble de votre site.
Une fois terminé et suivant les outils de crawls, vous aurez un rapport, des données brutes et la possibilité d’exporter les données que vous souhaitez pour approfondir l’analyse en fichier excel.
Les exports sont très utiles pour la construction de tableaux de bord personnalisés, fournir des listes de pages à corriger à vos équipes et agréger des données d’autres sources. Les SEO les plus avancés vont croiser ces données de crawl avec l’analyse de logs serveurs.
Outils de crawl gratuits
Xenu Link Sleuth
Un des outils historique est Xenu Link Sleuth. L’origine du projet débute en 1997, à l’échelle de l’histoire d’Internet, cela commence à faire ! C’est le premier outil que j’ai utilisé pour mes premières analyses de SEO technique.
Aujourd’hui, il est très sommaire mais à le mérite d’être gratuit. Je le conseillerai aux personnes souhaitant faire un premier essai et se faire la main. Attention à la vitesse de crawl qui peut être très rapide et faire tomber votre site si le serveur ne supporte pas la charge !
Il est aussi réservé aux utilisateurs de Windows : pour le télécharger, voici le lien de sont auteur : https://home.snafu.de/tilman/xenulink.html
LinkExaminer
Un équivalent de Xenu que je n’ai pas utilisé personnellement. Il propose à peu près les mêmes fonctionnalités et reste réservé aux utilisateurs de Windows.
Vous pouvez le télécharger directement sur le site de l’auteur : http://www.analogx.com/contents/download/network/lnkexam/freeware.htm
Je n’ai pas trouvé d’outils gratuits pour MacOS, si ce n’est des versions d’essai d’outils payants qui peuvent également faire l’affaire pour un test avant de passer à la caisse.
Outils de crawl payants
Les outils payants vont vous permettre de passer à un stade supérieur. Beaucoup plus de données à analyser, des interfaces plus agréables et des options spécifiques à chaque outil qui s’adapteront à vos projets.
Il existes des outils payants à installer sur son ordinateur, nécessitant de laisser son ordinateur allumé le temps de l’analyse. Si votre site fait quelques milliers de pages maximum, cela reste acceptable.
Le principal avantage est aussi un tarif plus réduit que les outils de crawls payants en SAAS.
J’utilise pour ma part les deux, un outil sur mon bureau pour des recettes ponctuelles sur des points bien précis. Et depuis que je suis SEO freelance, plusieurs outils de crawls en ligne selon les besoins des projets clients ainsi que leur budget.
ScreamingFrog : la référence des crawlers desktop
Disponible sur Windows et Mac, cet outil est ultra complet pour toute analyse technique SEO de son site.
C’est l’outil que j’ai choisi pour toutes les recettes “one-shot” rapides de site au nombre de pages modéré.
Sa fonction de crawl de liste d’url est aussi très pratique pour vérifier des cas précis sans parcourir toutes les pages d’un site. Par exemple pour tester des redirections d’urls, des modifications de code source sur un groupe de pages, scrapper automatiquement des données, etc…
La licence est annuelle, pour un prix avoisinant les 150 €.
Les crawlers en SAAS
SAAS, pour Software As A service, est l’équivalent d’un logiciel accessible directement via votre navigateur web. L’avantage est qu’il n’y a plus de problématique de système d’exploitation.
Le deuxième avantage est que l’outil peut continuer l’analyse du crawl d’un site pendant que votre ordinateur est éteint ou que vous soyez en déplacement sans connexion Internet.
Si vous travaillez en équipe à distance, le partage de tableau de bord ou des données de crawl est facilité. Les fichiers générés peuvent rapidement atteindre plusieurs centaines de Mo, voir de Go et sont difficilement partageable.
Enfin, les plupart des outils de crawl en SAAS permettent de conserver son historique des différents crawls, on gagne ainsi de l’espace de stockage sur son ordinateur personnel, on évite la perte de données en cas de vol ou de crash d’ordinateurs, etc…
Il existe aujourd’hui plusieurs acteurs très sérieux sur le marché, permettant des analyses très poussées. J’ai 4 solutions favorites que j’utilise suivant les types de projets et le budget du client final.
Botify
C’est pour moi la Rolls Royce des outils. Le crawl est la base de l’analyse mais il y a tellement de données externes à croiser (logs, analytics, search console, etc…) qu’il ne s’agit plus d’un simple crawler. Je le conseillerai pour des sites très avancés, à fort volumétrie de pages, dont le chiffre d’affaire est dépendant du trafic Google. Le budget est sur devis il n’y a donc pas de prix affiché, cependant il y a la promesse d’avoir un retour sur investissement positif.
OnCrawl
Autre concurrent très sérieux. Je l’ai utilisé plus récemment, pour un SEO, il est très facile à configurer au niveau des crawls et de l’analyse de logs. Il offre également la possibilité de croiser de nombreuses sources de données externes pour avoir des analyses et tableaux de bord très poussés. Je le réserve aussi à des clients ayant un minimum de budget à consacrer à ce genre d’outil d’analyse si vous souhaiter absolument l’option d’analyse de logs.
La version crawler seule début à 49€ par mois ce qui est très accessible pour un outil de cette qualité.
Kelogs : le challenger français en SAAS
Acteur moins connu dans le milieu que les 2 outils précédents mais pas moins intéressant. Son gros point fort est un positionnement crawl + analyse de logs à tarif attractif. La partie dashboard analyse de logs est moins poussée mais à le mérite d’être accessible aux utlisateurs/clients qui n’ont pas le budget pour les concurrents. J’utilise les tableaux de bord en ligne pour regarder rapidement les métriques SEO essentielles globales et les tendances. Pour une analyse d’un point précis, j’exporte les données dans excel pour affiner les cas particuliers et identifier les axes d’améliorations du site.
La partie crawl est très poussée est permet de récolter toutes les données nécessaires aux analyses SEO structurelles. C’est finalement l’outil que j’utilise à 90% jusqu’à ce jour.
En fin d’analyse, Kelogs génère un dashboard rassemblant les principales métriques SEO technique. Un espace dédié permet de parcourir rapidement toutes les urls analysées afin de vérifier directement des points précis en ligne. Encore une fois, une fonctionnalité d’export Excel est présente pour traiter offline toutes ces données.
SEOlyzer
Autre acteur français arrivé récemment sur le marché. SEOlyzer propose une interface simple et efficace avec une connexion à l’analyse de logs très facile à mettre en place. Le pricing est très abordable pour des sites de tailles “normales”. Il y a un même une offre gratuite parfaite pour un petit blog perso. Si votre site à une taille conséquente et dépasse le millions d’urls à analyser par mois, l’offre se fera également sur devis.
Comment configurer son crawler ?
Chaque outil à se propre méthode en fonction des outils mais globalement la logique reste la même. Ce qui est important est de savoir ce que l’on cherche à analyser pour adapter sa configuration au plus juste.
Ajoutez ce site à vos favoris et connectez vous à la newsletter, je vous prépare très rapidement des contenus “tutos outils seo” pour vous lancer dans ces analyses SEO technique !
