Google propose un générateur de fichier robots.txt
3 avril 2008 | Catégorie : Google, Informatique, Moteur de recherche, TechnoArticle publié originellement chez Abondance, le 28 Mars, 2008
Les « Webmasters Tools » de Google proposent depuis cette semaine un nouvel outil avec un générateur de fichier « robots.txt » : vous spécifiez ce qu’il doit contenir (permettre l’accès ou bloquer les robots, quelles actions vous voulez que chaque robot désiré ait sur votre site, etc.) et l’outil génère à la volée le fichier robots.txt idoine que vous n’avez plus qu’à copier/coller et à transférer sur votre site. Très utile (même si ce n’est pas le premier outil de ce type qui existe sur le Web).
A noter que Google proposait déjà un outil d’analyse de fichier robots.txt déjà en ligne. Le nouveau générateur complète donc la panoplie que le moteur de recherche propose aux webmasters…
http://www.google.com/webmasters/tools/
