Vous êtes ici : : Accueil > Bonnes pratiques > Fiche no84
User-agent et Disallow dans un fichier texte unique appelé robots.txt placé dans le répertoire racine du site. Voir à ce sujet A Standard for Robot ExclusionAlternativement, pour agir au niveau d'une page spécifique, utiliser dans celle-ci la balise <meta name="robots" content="attribut1,attribut2"> où :
index (indexer cette page) ou noindex (ne pas indexer cette page) ;follow (suivre les liens contenus dans cette page) ou nofollow (ne pas suivre les liens) ;