Vous êtes ici : : Accueil > Bonnes pratiques > Fiche no84
La racine ou les pages du site contiennent des instructions pour les robots d'indexation.
permettre un référencement ciblé
améliorer le guidage pour les outils de recherche
Pour définir les répertoires, fichiers ou types de fichiers non indexables, utiliser les instructions User-agent et Disallow dans un fichier texte unique appelé robots.txt placé dans le répertoire racine du site. Voir à ce sujet A Standard for Robot Exclusion
Alternativement, pour agir au niveau d'une page spécifique, utiliser dans celle-ci la balise <meta name="robots" content="attribut1,attribut2"> où :
index (indexer cette page) ou noindex (ne pas indexer cette page) ;follow (suivre les liens contenus dans cette page) ou nofollow (ne pas suivre les liens) ;Validateur de robots.txt:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi