La mise en place d’un fichier robots.txt va permettre d’autoriser ou d’interdire des parties de votre site aux bots des moteurs de recherche. Je m’explique, si vous avez sur votre Ftp un dossier qui s’appelle par exemple « photos-Vacances » où vous avez stocké des données personnelles que vous ne voulez pas diffuser, vous les avez placées ici uniquement parce que le ftp vous offrait un espace de stockage eh bien vous allez pouvoir spécifier dans le fichier robots.txt que vous interdisez l’accès à ce dossier.

Vous pouvez également autoriser certains moteurs de recherche et en interdire d’autres, pour ma part je n’ai pas encore essayé d’interdire certains bots, l’essentiel étant qu’on peut le faire si on le souhaite pour une raison ou pour une autre…

Exemple de fichier robots.txt:

User-agent: *
Disallow: /album.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /photo_comments.php
Disallow: /photo_search.php
Disallow: /p.php
Disallow: /feeds/

L’étoile présente sur la ligne User-agent signifie que les règles qui suivent s’adressent à tous les moteurs de recherche. (le fichier robots.txt qui est ci-dessus est celui du site Facebook lorsque j’ai publié mon article, ca a bien changé depuis !)

A bientôt.