Ce petit fichier est essentiel. Il permet d’informer le robot qui indexera votre site sur ce qui doit être indexé de ce qui ne doit pas l’être. Vous pouvez aussi utiliser la balise meta robot qui aura la même efficacité.
Ce fichier permet aussi d’informer la méthode d’indexation de votre site (suivi des liens, indexation totale, indexation sauf certains dossiers et/ou fichiers).