Le site ralentit sans raison, parfois jusqu’à ne plus répondre. Les statistiques de visites, elles, ne montrent rien d’anormal. Pourtant le serveur tourne à plein.
De plus en plus souvent, la cause est la même : des robots, ceux des moteurs d’IA en tête, qui parcourent le site des milliers de fois par heure. Voici comment nous les repérons et les filtrons.
Pourquoi les statistiques ne les voient pas
Les outils de mesure d’audience comptent les visiteurs qui exécutent leur script dans un navigateur. Les robots ne le font pas : ils demandent les pages et repartent.
Seuls les journaux d’accès du serveur montrent la réalité. C’est là que nous regardons en premier.
Ce que font ces robots
Les robots des moteurs d’IA collectent des pages pour entraîner ou nourrir leurs modèles. D’autres relèvent les prix des concurrents, ou cherchent des failles.
Sur une boutique, le pire est la combinaison des filtres : couleur, taille, prix, marque. Chaque combinaison est une adresse différente, et un robot peut en demander des centaines de milliers. Aucune n’est en cache : le serveur les calcule toutes.
Un exemple précis : ce qu’on lit dans un journal d’accès
GET /chaussures?couleur=rouge&taille=42&prix=50-80 "GPTBot/1.2"
GET /chaussures?couleur=rouge&taille=43&prix=50-80 "GPTBot/1.2"
GET /chaussures?couleur=bleu&taille=42&prix=50-80 "GPTBot/1.2"Trois lignes par seconde, pendant des heures, d’un seul robot. Ce motif suffit souvent à expliquer un serveur saturé.
Comment nous les filtrons
- Les règles du fichier robots.txt, que les robots sérieux respectent : on leur ferme les filtres et la recherche.
- Un filtrage devant le serveur, avec Cloudflare par exemple, pour ceux qui ne respectent rien : limite de requêtes, blocage ou vérification.
- Des adresses de filtres non indexables, pour que les moteurs ne les découvrent plus.
- Une liste de robots utiles, Google et Bing en tête, qui restent toujours autorisés.
Plus de serveur n’est pas la réponse
Augmenter la taille du serveur repousse le problème de quelques jours : les robots consomment simplement plus. Le filtrage, lui, règle le problème durablement, et pour presque rien.
Si le serveur est vraiment trop petit une fois les robots filtrés, voyez la page changer d’hébergeur sans couper son site et notre page hébergement et maintenance.