ArualWeb

Le fichier robots.txt est un fichier qui autorise ou non l’indexation par un robot d’exploration tel que celui de Google d’une page d’un site. En d’autres termes, il permet de choisir les pages qui seront présentes dans les résultats de Google.

La version 2.0 inclus un système qui génère automatiquement ce fichier sans aucune intervention de la part de l’utilisateur du site.