Récemment
-
Urls bizarres dans la console search
PhenixSuite10 -
Erreurs 410 dans BO
PhenixSuite2 -
Images produit qui disparaissent
Bugs & Améliorations10 -
la classe search
Bugs & Améliorations2 -
Probleme depuis MAJ phenix 1.6.2.36
PhenixSuite8 -
[resolu] Le module mondial relay 3.4.5
Bugs & Améliorations1 -
controlleur fournisseurs.
Bugs & Améliorations11 -
J'en profite (la fougue de la jeunesse) (ah ah ah)
Bugs & Améliorations5 -
Bon dernier du jour mais cela me turlupine classe search
Bugs & Améliorations4 -
se connecter comme un client idntifié
Bugs & Améliorations1 -
la bonne blague
Discussion générale2 -
Passage de la 16.1.9 a la PhenixSuite 1.6.2.36
Bugs & Améliorations8 -
Echec de l'installation de Creative Elements
Bugs & Améliorations3 -
[Résolu] Modification données client dans l'admin
PhenixSuite10 -
googletagmanager
PhenixSuite2 -
2 téléphones obligatoires
PhenixSuite11 -
Liens qui disparaissent
PhenixSuite5 -
Smart cache JS et Iphone
PhenixSuite1 -
Hack ancien PS 1.6 avant mise à jour Phenix
PhenixSuite3 -
[RESOLU]Souci Revolut et Hipay
Modules11
Urls bizarres dans la console search
-
Bonjour, le site passé en PhenixSuite est en ligne et fonctionne très bien. Par curiosité, j'ai été voir dans la console search quelles pages étaient indexées. Et, très curieusement, il y a une flopée d'url style https://www.monsite/EpgeController.php?back=index. Cela varie à chaque ligne sauf la partie Controller.php?back=index.
J'ai cliqué sur la loupe pour examiner une des pages, et il indique que la page n'est pas indexée car bloquée par le robots.txt. D'autres sont indexées malgré le blocage de robots.txt.
D'où sortent ces urls ??? Je ne vois aucun fichier bizarre dans l'installation
Merci d'avance
-
C'est un piège anti bots aspirateurs de site et non-respectueux du robots.txt.
-
Merci Eolia, mais désolée, j'ai pas tout compris :-)
-
Avec la montée en puissance des IA et des comparateurs de prix les sites sont assaillis de requêtes simultanées qui peuvent faire tomber vos serveurs.
C'est une protection désactivable dans les Paramètres avancés.
Peu importe que Google les voit et heureusement qu'il ne les indexe pas.
-
A priori, les robots IA sont bien interdits. C'est eux qui génèrent tous ces liens ?? Manifestement, Google en indexe. D'ailleurs, indexées ou pas, elles sont affichées dans les pages indexées de la console..
-
Non, Google les a détectées mais pas indexées.
-
De fait, j'ai dû cliquer sur une bonne page au lieu d'une de ces urls, et je l'ai vue indexée. Du coup, j''ai vérifié une partie de ces urls, et aucune n'est indexée. Mais elles sont dans les exemples quand on clique sur "Afficher les données concernant les pages indexées", ce qui m'a induite en erreur. Mais un paquet est aussi dans les urls non indexées car bloquées par robots.txt, et ça augmente. Et donc, si j'ai bien compris (désolée, je comprends vite mais faut m'expliquer longtemps), ces urls sont des pièges à robots ?
-
Oui :)
Il y a marqué nofollow et noindex mais Google ne respecte plus les nofollows et tente quand même d'accéder à tous les liens qu'il trouve.
-
Okayyy, j'ai compris :-). . Et comme j'aime comprendre le pourquoi du comment, où les trouve-t-il ?
-
dans le footer, elles sont générées aléatoirement à chaque page.
