Qu’est‑ce qu’Oncrawl et comment fonctionne cet outil SEO ?

Oncrawl est une plateforme de SEO technique qui aide à comprendre comment un site est parcouru par les robots, quelles pages peuvent être indexées et où se trouvent les freins structurels. Son intérêt principal est de réunir dans une même analyse le crawl du site, les journaux serveur et des sources comme Google Search Console. On l’utilise surtout pour les sites e-commerce, médias, marketplaces ou grands sites institutionnels, mais aussi lors d’une migration ou d’une chute inexpliquée de visibilité.

Oncrawl : à quoi sert concrètement cet outil de SEO technique ?

Un moteur de recherche ne lit pas un site comme un visiteur. Il découvre des URL, suit des liens, reçoit des réponses du serveur, interprète des balises et décide ensuite, ou non, d’ajouter une page à son index. Oncrawl donne une vue structurée de cette mécanique : quelles URL existent, lesquelles sont reliées entre elles, lesquelles renvoient une erreur, lesquelles sont bloquées et lesquelles attirent réellement les robots.

L’outil ne sert donc pas à « trouver des mots-clés » ni à rédiger des contenus. Il sert à répondre à des questions opérationnelles : des pages produits importantes sont‑elles accessibles en quelques clics ? Des filtres de navigation génèrent‑ils des milliers d’URL inutiles ? Les pages en erreur 404 reçoivent‑elles encore des liens ? Googlebot explore‑t‑il les pages que l’entreprise veut réellement faire indexer ? Une balise noindex, un canonique incohérent ou une redirection mal posée peuvent être détectés à cette étape.

Crawl SEO

Le crawl est l’exploration automatisée d’un site URL par URL par un robot. Il relève notamment les liens, les codes HTTP, les balises, les directives robots et la profondeur de navigation. Un crawl d’outil SEO est une photographie technique : il ne prouve pas à lui seul ce que Google a effectivement exploré ou indexé.

Comment Oncrawl collecte et croise les données d’un site

Le fonctionnement repose d’abord sur un robot d’exploration. Après avoir reçu une ou plusieurs URL de départ, il suit les liens internes et analyse les réponses du serveur. Le périmètre peut être encadré : sous-domaines inclus ou non, paramètres d’URL, limites de profondeur, vitesse de crawl, accès à un environnement protégé, sitemaps XML ou listes d’URL à contrôler.

Pour chaque page rencontrée, l’analyse peut notamment relever le code de réponse HTTP, le titre, la meta description, les en-têtes H1, les directives robots, la balise canonique, les liens entrants et sortants, la profondeur, le poids de page ou encore certains signaux de contenu. Cela permet de classer les URL par familles : fiches produit, catégories, articles, pages de filtres, pages paginées, pages de recherche interne ou pages hors taxonomie.

La seconde couche, particulièrement utile sur un gros domaine, est l’analyse des logs serveur. Un log enregistre les requêtes reçues par le serveur : URL demandée, date, code de réponse, agent utilisateur et parfois adresse IP selon sa configuration. En isolant les visites attribuables à Googlebot ou à d’autres robots, on ne regarde plus seulement ce que le site permet d’explorer : on voit ce que les robots ont effectivement demandé sur une période donnée.

Enfin, Oncrawl peut être connecté à des sources de données SEO et analytiques, en particulier Google Search Console selon les droits accordés. Le rapprochement devient alors plus parlant : une URL est‑elle crawlable, explorée dans les logs, présente dans les rapports Search Console et génératrice d’impressions ? Les écarts indiquent où enquêter, sans jamais constituer à eux seuls une preuve d’indexation.

Les problèmes qu’Oncrawl permet de repérer

Le premier bénéfice d’un audit est de faire apparaître les incohérences à grande échelle. Une page peut sembler correcte lorsqu’on l’ouvre dans un navigateur, tout en étant peu accessible depuis les liens internes, exclue du sitemap, redirigée en chaîne ou accompagnée d’une directive contradictoire. Ces cas sont difficiles à voir manuellement dès que le site dépasse quelques centaines d’URL.

• Des pages stratégiques trop profondes dans l’arborescence ou ne recevant presque aucun lien interne.
• Des réponses HTTP 4xx et 5xx, des boucles de redirection, ou des chaînes 301 qui rallongent le parcours du robot.
• Des URL indexables en trop : recherche interne, facettes, tri, paramètres de campagne, pages de filtres ou doublons de pagination.
• Des signaux contradictoires : URL incluse dans le sitemap mais marquée noindex, ou canonique pointant vers une page différente.
• Des pages orphelines, présentes dans un sitemap ou dans Search Console mais non découvertes par le crawl via les liens internes.
• Un gaspillage de l’exploration des robots sur des URL sans intérêt, tandis que des pages à enjeu sont peu visitées.

Le diagnostic doit toutefois rester nuancé. Un code HTTP 200 ne signifie pas qu’une URL doit être indexée ; une URL en 404 n’est pas forcément une erreur si le contenu a été supprimé sans équivalent ; un canonique différent est parfois volontaire. De même, une page non vue dans un export de logs limité ne permet pas d’affirmer que Google ne l’a jamais visitée.

Mettre en place un audit Oncrawl en 6 étapes

Crawl seul ou crawl enrichi des logs : quelle approche choisir ?

Un crawl standard suffit souvent pour assainir l’architecture et contrôler les balises d’un site de taille modérée. L’analyse de logs devient plus rentable lorsqu’il faut arbitrer des règles complexes : catalogue très volumineux, navigation à facettes, site média publiant beaucoup, internationalisation, migration ou budget de crawl potentiellement dispersé.

Limites, coûts et précautions avant de choisir Oncrawl

Oncrawl est conçu pour des besoins professionnels et son intérêt augmente avec la complexité du site. Pour quelques dizaines de pages vitrines, un crawler plus simple ou un contrôle manuel de base peut suffire. À l’inverse, une plateforme de plusieurs centaines de milliers d’URL peut justifier un outil capable de segmenter, historiser et croiser les données.

Les offres étant habituellement établies sur devis, il est plus prudent de raisonner en besoins qu’en tarif affiché. Demandez ce qui est compris : nombre d’URL ou crédits de crawl, fréquence des analyses, conservation de l’historique, accès à l’analyse de logs, connecteurs, nombre d’utilisateurs, accompagnement et conditions de dépassement. Le prix dépend fortement de ces paramètres ; comparer deux montants sans comparer le volume et les fonctionnalités ne veut rien dire.

Avant de lancer un robot tiers, prévenez l’hébergeur et les équipes techniques si le site est sensible. Réglez une vitesse de crawl conservatrice, évitez les actions qui déclencheraient des recherches internes ou des URL à paramètres sans fin, et ne transmettez jamais d’identifiants de production sans procédure de sécurité validée. Si vous devez distinguer le vrai Googlebot d’un agent utilisateur imité, une simple chaîne « Googlebot » dans un log ne suffit pas : les équipes techniques doivent valider l’origine selon la méthode de vérification recommandée par Google.

Après le rapport : transformer les données en corrections SEO

Le bon livrable n’est pas un export massif d’erreurs. C’est une liste courte de chantiers, chacun avec un périmètre, un propriétaire et un test de validation. Par exemple : « supprimer les liens internes vers les produits expirés », « corriger la règle de canonique des pages filtrées », « ajouter les catégories indexables au sitemap », ou « réduire les redirections successives dans le menu ».

Classez chaque chantier selon trois critères : le nombre d’URL touchées, l’importance business ou éditoriale des pages et le comportement observé des robots. Une anomalie qui affecte 20 000 URL de filtre visitées quotidiennement mérite souvent plus d’attention qu’un titre manquant sur trois pages sans trafic. Après la mise en production, relancez le même périmètre de crawl et comparez les résultats plutôt que de vous fier uniquement à l’intuition.

Dernier réflexe utile : conservez avant toute correction une exportation datée des URL concernées et de leurs métriques. Lorsqu’une règle de template, de robots.txt ou de redirection change, ce point de comparaison permet de vérifier l’effet réel et de revenir en arrière rapidement si une section importante disparaît du crawl.