Urls bizarres dans la console search



  • Bonjour, le site passé en PhenixSuite est en ligne et fonctionne très bien. Par curiosité, j'ai été voir dans la console search quelles pages étaient indexées. Et, très curieusement, il y a une flopée d'url style  https://www.monsite/EpgeController.php?back=index. Cela varie à chaque ligne sauf la partie Controller.php?back=index.

    J'ai cliqué sur la loupe pour examiner une des pages, et il indique que la page n'est pas indexée car bloquée par le robots.txt. D'autres sont indexées malgré le blocage de robots.txt.
    D'où sortent ces urls ??? Je ne vois aucun fichier bizarre dans l'installation
    Merci d'avance



  • C'est un piège anti bots aspirateurs de site et non-respectueux du robots.txt.



  • Merci Eolia, mais désolée, j'ai pas tout compris :-)



  • Avec la montée en puissance des IA et des comparateurs de prix les sites sont assaillis de requêtes simultanées qui peuvent faire tomber vos serveurs.
    C'est une protection désactivable dans les Paramètres avancés.
    Peu importe que Google les voit et heureusement qu'il ne les indexe pas.


Se connecter pour répondre