AI Crawler Log Analyzer gratuit Quels crawlers d'IA lisent vraiment vos pages ?
Collez vos logs serveur ou déposez le fichier. Vous verrez quels crawlers d'IA sont passés, quelles pages ils ont lues, où ils sont tombés sur des erreurs, et quelles visites venaient de faux bots.
Pourquoi regarder les crawlers d'IA dans vos logs
Vos logs serveur sont le seul endroit où l'on voit les crawlers d'IA vraiment au travail : lesquels passent, à quelle fréquence, quelles pages ils lisent et lesquelles échouent. Un robots.txt dit seulement qui a le droit d'entrer. Les logs disent qui est venu.
Beaucoup de visites qui se présentent comme GPTBot ou ChatGPT-User ne viennent pas du tout d'OpenAI. Cet outil vérifie chaque visite avec les plages d'IP publiées par les opérateurs, laisse les fausses en dehors des totaux, et vous donne les pages lues, les erreurs et l'évolution dans le temps. Tout se passe dans votre navigateur : vos logs ne sont jamais envoyés.
Questions fréquentes
Mes logs sont-ils envoyés quelque part ?
Non. Le fichier est lu et analysé par votre navigateur, sur votre ordinateur. Rien n'est envoyé ni stocké, et les adresses IP n'apparaissent jamais dans les résultats ni dans l'export CSV.
Quels formats de logs fonctionnent ?
Les logs d'accès Nginx et Apache au format combined, le JSON lines (un objet JSON par ligne, comme la plupart des exports de logs d'hébergeurs et de CDN), et les CSV simples avec une ligne d'en-tête. Le format est détecté pour vous. Jusqu'à 200 000 lignes sont analysées à la fois.
Comment distinguez-vous un vrai crawler d'un faux ?
Par son adresse IP. OpenAI, Google, Perplexity, Anthropic, Apple, Amazon et d'autres publient les plages d'adresses de leurs crawlers. Une visite qui se présente comme l'un d'eux mais vient d'ailleurs est marquée fausse et sortie des totaux. Certains opérateurs ne publient rien : leurs visites restent non vérifiables.
Une visite de crawler veut-elle dire que je serai cité ?
Non. Une visite veut dire que le crawler a pu récupérer la page, pas qu'un assistant va la citer. Perplexity, par exemple, répond souvent à partir de son propre index sans revenir.
Pourquoi je ne vois pas Gemini ?
L'exploration IA de Google passe par Googlebot, et quand Gemini ouvre une page en direct pour quelqu'un, la visite indique seulement « Google ». Les deux apparaissent sous Google dans les résultats.