Urls bizarres dans la console search
-
Bonjour, le site passé en PhenixSuite est en ligne et fonctionne très bien. Par curiosité, j'ai été voir dans la console search quelles pages étaient indexées. Et, très curieusement, il y a une flopée d'url style https://www.monsite/EpgeController.php?back=index. Cela varie à chaque ligne sauf la partie Controller.php?back=index.
J'ai cliqué sur la loupe pour examiner une des pages, et il indique que la page n'est pas indexée car bloquée par le robots.txt. D'autres sont indexées malgré le blocage de robots.txt.
D'où sortent ces urls ??? Je ne vois aucun fichier bizarre dans l'installation
Merci d'avance -
C'est un piège anti bots aspirateurs de site et non-respectueux du robots.txt.
-
Merci Eolia, mais désolée, j'ai pas tout compris
-
Avec la montée en puissance des IA et des comparateurs de prix les sites sont assaillis de requêtes simultanées qui peuvent faire tomber vos serveurs.
C'est une protection désactivable dans les Paramètres avancés.
Peu importe que Google les voit et heureusement qu'il ne les indexe pas. -
A priori, les robots IA sont bien interdits. C'est eux qui génèrent tous ces liens ?? Manifestement, Google en indexe. D'ailleurs, indexées ou pas, elles sont affichées dans les pages indexées de la console..
-
Non, Google les a détectées mais pas indexées.
-
De fait, j'ai dû cliquer sur une bonne page au lieu d'une de ces urls, et je l'ai vue indexée. Du coup, j''ai vérifié une partie de ces urls, et aucune n'est indexée. Mais elles sont dans les exemples quand on clique sur "Afficher les données concernant les pages indexées", ce qui m'a induite en erreur. Mais un paquet est aussi dans les urls non indexées car bloquées par robots.txt, et ça augmente. Et donc, si j'ai bien compris (désolée, je comprends vite mais faut m'expliquer longtemps), ces urls sont des pièges à robots ?
-
Oui
Il y a marqué nofollow et noindex mais Google ne respecte plus les nofollows et tente quand même d'accéder à tous les liens qu'il trouve. -
Okayyy, j'ai compris :-). . Et comme j'aime comprendre le pourquoi du comment, où les trouve-t-il ?
-
dans le footer, elles sont générées aléatoirement à chaque page.
-
Merci ! je l'ai trouvé
un "pot de miel" en quelque sorte -
Exactement. On lui dit de ne pas le suivre, de ne pas l'indexer et comme il est suivi de ?back= qui est interdit dans le robots.txt, si le lien a été cliqué/suivi c'est un ban direct de 24h (sauf pour Google qui lui ne respecte rien mais dont on a besoin)
