Robots.txt

Robots.txt est un fichier texte que les webmestres créent pour apprendre aux robots du Web (généralement des robots de moteurs de recherche) comment explorer les pages de leur site web. 

En pratique, les fichiers robots.txt indiquent si certains agents utilisateurs (logiciels de navigation sur le Web) peuvent ou non explorer des parties d’un site web. Ces instructions d’exploration sont spécifiées en interdisant ou en autorisant le comportement de certains (ou de tous) les agents utilisateurs.

Le fichier robots.txt fait partie du protocole d’exclusion des robots (REP), un groupe de normes web qui régit la manière dont les robots explorent le web, accèdent au contenu et l’indexent, et le servent aux utilisateurs. Le REP comprend également des directives telles que les méta-robots, ainsi que des instructions relatives à la page, au sous-répertoire ou au site dans son ensemble pour savoir comment les moteurs de recherche doivent traiter les liens (comme « follow » ou « nofollow »).